HuggingFace 聯(lián)創(chuàng)發(fā)推：高質(zhì)量微調(diào)數(shù)據(jù)集才是“卷”大模型的正確姿勢(shì)

量子位的朋友們 2023-11-07 17:57:20 來(lái)源：量子位

最近，NLP大牛、HuggingFace聯(lián)合創(chuàng)始人Thomas Wolf 發(fā)了一條推特，內(nèi)容很長(zhǎng)，講了一個(gè) “全球三大洲的人們公開(kāi)合作，共同打造出一個(gè)新穎、高效且前沿的小型AI模型” 的故事。

故事是這樣開(kāi)始的，在幾個(gè)月前，巴黎的一個(gè)新團(tuán)隊(duì)發(fā)布了他們首個(gè)模型：Mistral 7B，這個(gè)模型體積小巧但性能強(qiáng)勁，在基準(zhǔn)測(cè)試中的表現(xiàn)超過(guò)了所有同類(lèi)模型。

這還是個(gè)開(kāi)源項(xiàng)目，意味著大家都可以在此基礎(chǔ)上進(jìn)行開(kāi)發(fā)。

另一個(gè)研究模型微調(diào)和對(duì)齊的H4團(tuán)隊(duì)的兩名成員，在Hugging Face舉辦的一次小聚中，他們邊喝咖啡邊討論用斯坦福大學(xué)新發(fā)表的DPO方法對(duì)Mistral 7B這個(gè)模型進(jìn)行微調(diào)的可能性，最后他們決定用已經(jīng)構(gòu)建好的代碼庫(kù)先來(lái)嘗試下。

之后，他們?cè)贖F hub上找到了一些公開(kāi)的數(shù)據(jù)集，包括由面壁智能和清華大學(xué)NLP共同支持的OpenBMB新近開(kāi)源的兩個(gè)大規(guī)模、高質(zhì)量的微調(diào)數(shù)據(jù)集：UltraFeedback和UltraChat。

UltraFeedback，一個(gè)大規(guī)模、多樣化、細(xì)粒度 的偏好數(shù)據(jù)集，包括 25萬(wàn) 條對(duì)話數(shù)據(jù)以及相應(yīng)的偏好標(biāo)注數(shù)據(jù)。在非社區(qū)標(biāo)注的偏好數(shù)據(jù)集中，這一數(shù)據(jù)規(guī)模排在首位。并且，其中每條偏好標(biāo)注均包含四個(gè)方面的細(xì)粒度得分與的詳細(xì)文字說(shuō)明。

UltraChat則是高質(zhì)量的對(duì)話數(shù)據(jù)集，包含了 150 余萬(wàn)條多輪指令數(shù)據(jù)。調(diào)用多個(gè) ChatGPT API 相互對(duì)話，從而生成多輪對(duì)話數(shù)據(jù)。

經(jīng)過(guò)幾輪實(shí)驗(yàn)證明，使用OpenBMB兩個(gè)數(shù)據(jù)集訓(xùn)練出來(lái)的新模型非常強(qiáng)大，是H4團(tuán)隊(duì) 在伯克利和斯坦福的基準(zhǔn)測(cè)試中見(jiàn)過(guò)的最強(qiáng)模型。

不久，這個(gè)名為“Zephyr”的模型、研究論文以及所有細(xì)節(jié)都向世界公開(kāi)了，此后全球各地的公司開(kāi)始應(yīng)用這一模型。LlamaIndex，一個(gè)知名的數(shù)據(jù)框架和社區(qū)，分享了這個(gè)模型在實(shí)際用例基準(zhǔn)測(cè)試中超乎預(yù)期的表現(xiàn)，與此同時(shí)，研究者和實(shí)踐者們?cè)贖ugging Face hub上熱烈討論著這篇論文和相關(guān)工作。

Zephyr-7B性能 超越參數(shù)十倍之大的 LLaMA2-70B-Chat。

短短幾周就創(chuàng)造了這個(gè) 開(kāi)源神話。Thomas Wolf指出，這一切都得益于世界各地（歐洲、加利福尼亞、中國(guó)）對(duì)知識(shí)、模型、研究和數(shù)據(jù)集的開(kāi)放獲取，以及人們?cè)贏I上相互建設(shè)、相互借鑒，共同創(chuàng)造出真正有價(jià)值的高效開(kāi)放模型的理念。

開(kāi)源精神以自由和合作為信條，讓人類(lèi)再次聯(lián)合起來(lái)重建通天巴別塔。開(kāi)源旨在打破人為壁壘，通過(guò)開(kāi)放透明的方式促進(jìn)技術(shù)和知識(shí)的創(chuàng)新共享。對(duì)于個(gè)體或組織而言，擁抱開(kāi)源則是一種強(qiáng)者心態(tài)。

值得一提的是，OpenBMB開(kāi)源社區(qū)背后的國(guó)內(nèi)領(lǐng)先的人工智能公司 面壁智能，一直聯(lián)合清華大學(xué)NLP實(shí)驗(yàn)室為大模型事業(yè)做高質(zhì)量的開(kāi)源貢獻(xiàn)的同時(shí)，一直深耕大模型底層的數(shù)據(jù)工作。

就拿此次被Zephyr-7B運(yùn)用的UltraFeedback為例，UltraFeedback 從多個(gè)社區(qū)開(kāi)源的指令數(shù)據(jù)集中收集了約 6 萬(wàn)條指令?；谶@些指令，UltraFeedback 從 17 種不同架構(gòu)、參數(shù)量、訓(xùn)練數(shù)據(jù)的模型中隨機(jī)選取 4 種不同模型，為每條指令生成4種有區(qū)分度的回復(fù)，極大地提升了指令和模型的多樣性。

基于 UltraFeedback，團(tuán)隊(duì)還訓(xùn)練了UltraRM、UltraCM兩個(gè)模型來(lái)進(jìn)一步輔助模型評(píng)測(cè)和模型反饋學(xué)習(xí)。

在大家都在卷模型參數(shù)時(shí)，一個(gè)基于高質(zhì)量數(shù)據(jù)集的7B模型就打敗了參數(shù)十倍之大的 LLaMA2-70B-Chat。這說(shuō)明了什么？

說(shuō)明，底層的數(shù)據(jù)工作才是最稀缺的和有時(shí)間價(jià)值的，這或許是各家各派大模型在百模大戰(zhàn)中的突破口之一。