HuggingFace 聯(lián)創(chuàng)發(fā)推：高質(zhì)量微調(diào)數(shù)據(jù)集才是“卷”大模型的正確姿勢

量子位的朋友們 2023-11-07 17:57:20 來源：量子位

最近，NLP大牛、HuggingFace聯(lián)合創(chuàng)始人Thomas Wolf 發(fā)了一條推特，內(nèi)容很長，講了一個(gè) “全球三大洲的人們公開合作，共同打造出一個(gè)新穎、高效且前沿的小型AI模型” 的故事。

故事是這樣開始的，在幾個(gè)月前，巴黎的一個(gè)新團(tuán)隊(duì)發(fā)布了他們首個(gè)模型：Mistral 7B，這個(gè)模型體積小巧但性能強(qiáng)勁，在基準(zhǔn)測試中的表現(xiàn)超過了所有同類模型。

這還是個(gè)開源項(xiàng)目，意味著大家都可以在此基礎(chǔ)上進(jìn)行開發(fā)。

另一個(gè)研究模型微調(diào)和對(duì)齊的H4團(tuán)隊(duì)的兩名成員，在Hugging Face舉辦的一次小聚中，他們邊喝咖啡邊討論用斯坦福大學(xué)新發(fā)表的DPO方法對(duì)Mistral 7B這個(gè)模型進(jìn)行微調(diào)的可能性，最后他們決定用已經(jīng)構(gòu)建好的代碼庫先來嘗試下。

之后，他們?cè)贖F hub上找到了一些公開的數(shù)據(jù)集，包括由面壁智能和清華大學(xué)NLP共同支持的OpenBMB新近開源的兩個(gè)大規(guī)模、高質(zhì)量的微調(diào)數(shù)據(jù)集：UltraFeedback和UltraChat。

UltraFeedback，一個(gè)大規(guī)模、多樣化、細(xì)粒度 的偏好數(shù)據(jù)集，包括 25萬 條對(duì)話數(shù)據(jù)以及相應(yīng)的偏好標(biāo)注數(shù)據(jù)。在非社區(qū)標(biāo)注的偏好數(shù)據(jù)集中，這一數(shù)據(jù)規(guī)模排在首位。并且，其中每條偏好標(biāo)注均包含四個(gè)方面的細(xì)粒度得分與的詳細(xì)文字說明。

UltraChat則是高質(zhì)量的對(duì)話數(shù)據(jù)集，包含了 150 余萬條多輪指令數(shù)據(jù)。調(diào)用多個(gè) ChatGPT API 相互對(duì)話，從而生成多輪對(duì)話數(shù)據(jù)。

經(jīng)過幾輪實(shí)驗(yàn)證明，使用OpenBMB兩個(gè)數(shù)據(jù)集訓(xùn)練出來的新模型非常強(qiáng)大，是H4團(tuán)隊(duì) 在伯克利和斯坦福的基準(zhǔn)測試中見過的最強(qiáng)模型。

不久，這個(gè)名為“Zephyr”的模型、研究論文以及所有細(xì)節(jié)都向世界公開了，此后全球各地的公司開始應(yīng)用這一模型。LlamaIndex，一個(gè)知名的數(shù)據(jù)框架和社區(qū)，分享了這個(gè)模型在實(shí)際用例基準(zhǔn)測試中超乎預(yù)期的表現(xiàn)，與此同時(shí)，研究者和實(shí)踐者們?cè)贖ugging Face hub上熱烈討論著這篇論文和相關(guān)工作。

Zephyr-7B性能 超越參數(shù)十倍之大的 LLaMA2-70B-Chat。

短短幾周就創(chuàng)造了這個(gè) 開源神話。Thomas Wolf指出，這一切都得益于世界各地（歐洲、加利福尼亞、中國）對(duì)知識(shí)、模型、研究和數(shù)據(jù)集的開放獲取，以及人們?cè)贏I上相互建設(shè)、相互借鑒，共同創(chuàng)造出真正有價(jià)值的高效開放模型的理念。

開源精神以自由和合作為信條，讓人類再次聯(lián)合起來重建通天巴別塔。開源旨在打破人為壁壘，通過開放透明的方式促進(jìn)技術(shù)和知識(shí)的創(chuàng)新共享。對(duì)于個(gè)體或組織而言，擁抱開源則是一種強(qiáng)者心態(tài)。

值得一提的是，OpenBMB開源社區(qū)背后的國內(nèi)領(lǐng)先的人工智能公司 面壁智能，一直聯(lián)合清華大學(xué)NLP實(shí)驗(yàn)室為大模型事業(yè)做高質(zhì)量的開源貢獻(xiàn)的同時(shí)，一直深耕大模型底層的數(shù)據(jù)工作。

就拿此次被Zephyr-7B運(yùn)用的UltraFeedback為例，UltraFeedback 從多個(gè)社區(qū)開源的指令數(shù)據(jù)集中收集了約 6 萬條指令?；谶@些指令，UltraFeedback 從 17 種不同架構(gòu)、參數(shù)量、訓(xùn)練數(shù)據(jù)的模型中隨機(jī)選取 4 種不同模型，為每條指令生成4種有區(qū)分度的回復(fù)，極大地提升了指令和模型的多樣性。

基于 UltraFeedback，團(tuán)隊(duì)還訓(xùn)練了UltraRM、UltraCM兩個(gè)模型來進(jìn)一步輔助模型評(píng)測和模型反饋學(xué)習(xí)。

在大家都在卷模型參數(shù)時(shí)，一個(gè)基于高質(zhì)量數(shù)據(jù)集的7B模型就打敗了參數(shù)十倍之大的 LLaMA2-70B-Chat。這說明了什么？

說明，底層的數(shù)據(jù)工作才是最稀缺的和有時(shí)間價(jià)值的，這或許是各家各派大模型在百模大戰(zhàn)中的突破口之一。