一句話讓AI訓(xùn)練AI！20分鐘微調(diào)羊駝大模型，從數(shù)據(jù)收集到訓(xùn)練全包了

豐色 2023-08-20 12:18:40 來(lái)源：量子位

豐色 發(fā)自 凹非寺

量子位 | 公眾號(hào) QbitAI

只需一句話，描述你想要大模型去做什么。

就有一系列AI自己當(dāng)“模型訓(xùn)練師”，幫你完成從生成數(shù)據(jù)集到微調(diào)的所有工作。

比如讓70億參數(shù)羊駝大模型學(xué)會(huì)優(yōu)化GPT-4提示詞，整個(gè)過(guò)程只要20分鐘。

秘訣就是網(wǎng)友分享的一個(gè)可以幫咱自動(dòng)訓(xùn)練模型的AI工具：

它能幫你搞定數(shù)據(jù)收集、寫代碼等一系列操作，你要做的就是用人話描述你要什么，然后坐等即可。

可能是全世界最簡(jiǎn)單的大模型微調(diào)方法了（手動(dòng)狗頭）。

并且成本也不高，羊駝這個(gè)例子花費(fèi)就不超15美元（合100來(lái)塊人民幣）。

好消息，小哥已將它直接開(kāi)源（GitHub1k標(biāo)星），你也可以試試。

AI模型訓(xùn)練師操作指南

如上圖所示，此工具名叫gpt-llm-trainer。

如果你也想用它來(lái)自動(dòng)微調(diào)某個(gè)大模型，首先需要準(zhǔn)備：

1、Google Colab或者本地Jupyter notebook；
2、如果選前者，請(qǐng)切換到可用的最佳GPU（執(zhí)行“Runtime -> change runtime type”）；
3、以及一個(gè)OpenAI API key（主要還是用的GPT-4能力）。

然后就可以進(jìn)入具體操作了：

1、先寫你的提示詞，也就是你希望這個(gè)微調(diào)后的模型需要具備什么功能。

可以肯定的是，描述得越清晰越好。

比如開(kāi)頭的羊駝例子，作者就給了這么一大段（紅字部分）：

官方也給了一個(gè)簡(jiǎn)單的示例：

A model that takes in a puzzle-like reasoning-heavy question in English, and responds with a well-reasoned, step-by-step thought out response in Spanish.

2、設(shè)定兩個(gè)值：

（1）temperature，生成數(shù)據(jù)集的“溫度”（取值0-1），值越高代表創(chuàng)意性越強(qiáng)，越低代表越精確；
（2）number_of_examples，要生成的示例數(shù)量，推薦從100開(kāi)始。

3、無(wú)腦“下一步”，運(yùn)行所有cell，完成“生成數(shù)據(jù)集”、“自動(dòng)分為訓(xùn)練集和驗(yàn)證集”、“安裝各種必備庫(kù)”、“定義超參數(shù)”、“加載數(shù)據(jù)集并訓(xùn)練”這一系列自動(dòng)步驟。

之后，你就能得到一個(gè)微調(diào)好的新模型了。

需要注意的是，這個(gè)過(guò)程可能在10分鐘到幾個(gè)小時(shí)不等，取決于你設(shè)置的示例生成數(shù)量。

4、最后執(zhí)行“Run Inference”測(cè)試效果，完畢。

相當(dāng)簡(jiǎn)單有沒(méi)有。

值得一提的是，作者已經(jīng)盤點(diǎn)出了一些待改進(jìn)的地方，比如：

• 改進(jìn)示例生成pipeline，讓生成效率更高，成本更低；
• 添加示例修剪功能，刪除相似的樣本從而提高性能；
• 根據(jù)示例和數(shù)據(jù)集的詳細(xì)信息（比如示例數(shù)量），利用GPT-4自動(dòng)選擇超參數(shù)，甚至是要微調(diào)的模型；
• 訓(xùn)練多個(gè)變體，推出評(píng)估損失（eval loss）最少的那個(gè)；
  ……

大家也可以淺淺期待一波。

如此神器，出自誰(shuí)手？

我們簡(jiǎn)單挖了一下，發(fā)現(xiàn)作者的來(lái)頭還不小。

他叫Matt Shumer，推特粉絲1.7萬(wàn)。

Matt自己開(kāi)了家公司，產(chǎn)品名叫HyperWriteAI。

這是一個(gè)厲害的瀏覽器操作agent，可以像人一樣操作谷歌瀏覽器來(lái)完成一系列任務(wù)，比如訂披薩。

和gpt-llm-trainer一樣，你只需要用文字描述目標(biāo)，它就會(huì)一邊列步驟，一邊執(zhí)行。

號(hào)稱“比AutoGPT強(qiáng)”——

目前，HyperWriteAI已經(jīng)可以在谷歌擴(kuò)展程序中安裝了，顯示用戶已達(dá)10w+。

最后，我們翻看這位大佬的推特，發(fā)現(xiàn)他當(dāng)天最新的一條推文是：

幾周之后，大語(yǔ)言模型的前景就可能要變天了。

可能又在醞釀什么大動(dòng)作？（手動(dòng)狗頭）

更新：大佬又發(fā)了一個(gè)類似的自動(dòng)工具，名叫gpt-oracle-trainer。

只需上傳一個(gè)產(chǎn)品文檔，就能自動(dòng)訓(xùn)練出一個(gè)可以回答有關(guān)該產(chǎn)品問(wèn)題的聊天機(jī)器人。

友情鏈接：
[1]https://github.com/mshumer/gpt-llm-trainer
[2]https://github.com/mshumer/gpt-oracle-trainer