不花一分錢(qián)！GPT-4o微調(diào)限時(shí)免費(fèi)開(kāi)放，每日附贈(zèng)百萬(wàn)訓(xùn)練token

一水 2024-08-21 13:42:28 來(lái)源：量子位

一覺(jué)醒來(lái)，OpenAI又上新功能了：

GPT-4o正式上線微調(diào)功能。

并且官方還附贈(zèng)一波福利：每個(gè)組織每天都能免費(fèi)獲得100萬(wàn)個(gè)訓(xùn)練token，用到9月23日。

也就是說(shuō)，開(kāi)發(fā)人員現(xiàn)在可以使用自定義數(shù)據(jù)集微調(diào)GPT-4o，從而低成本構(gòu)建自己的應(yīng)用程序。

要知道，OpenAI在公告中透露了：

GPT-4o微調(diào)訓(xùn)練成本為每100萬(wàn)token 25 美元（意味著每天都能節(jié)省25美元）

收到郵件的開(kāi)發(fā)者們激動(dòng)地奔走相告，這么大的羊毛一定要趕快薅。

使用方法也很簡(jiǎn)單，直接訪問(wèn)微調(diào)儀表盤(pán)，點(diǎn)擊”create”，然后從基本模型下拉列表中選擇gpt-4o-2024-08-06。

對(duì)了，OpenAI還提到，只需訓(xùn)練數(shù)據(jù)集中的幾十個(gè)示例就可以產(chǎn)生良好效果。

還曬出了成功案例

消息公布后，一眾網(wǎng)友躍躍欲試，表示很想知道模型微調(diào)后的實(shí)際效果。

OpenAI官方早有準(zhǔn)備，隨公告一同發(fā)布了合作伙伴微調(diào)GPT-4o的實(shí)際案例。

首先是一款代碼助手Genie，來(lái)自AI初創(chuàng)公司Cosine，專(zhuān)為協(xié)助軟件開(kāi)發(fā)人員而設(shè)計(jì)。

據(jù)Cosine官方介紹，Genie的開(kāi)發(fā)過(guò)程采用了一種專(zhuān)有流程，使用數(shù)十億個(gè)高質(zhì)量數(shù)據(jù)對(duì)非公開(kāi)的GPT-4o變體進(jìn)行了訓(xùn)練和微調(diào)。

這些數(shù)據(jù)包括21%的JavaScript和Python、14%的TypeScript和TSX，以及3%的其他語(yǔ)言（包括Java、C++和Ruby）。

經(jīng)過(guò)微調(diào)，Genie在上周二OpenAI全新發(fā)布的代碼能力基準(zhǔn)測(cè)試SWE-Bench Verified上，取得了43.8%的SOTA分?jǐn)?shù)。

與此同時(shí)，Genie還在SWE-Bench Full上的SOTA分?jǐn)?shù)達(dá)到了30.08%，破了之前19.27%的SOTA紀(jì)錄。

相較之下，Cognition的Devin在SWE-Bench的部分測(cè)試中為13.8%。

另一個(gè)案例來(lái)自Distyl，這是一家為財(cái)富500強(qiáng)企業(yè)提供AI解決方案的公司，最近在領(lǐng)先的文本到SQL基準(zhǔn)測(cè)試BIRD-SQL中排名第一。

經(jīng)過(guò)微調(diào)，其模型在排行榜上實(shí)現(xiàn)了71.83%的執(zhí)行準(zhǔn)確率，并在查詢重構(gòu)、意圖分類(lèi)、思維鏈和自我糾正等任務(wù)中表現(xiàn)出色，尤其是在SQL生成方面表現(xiàn)尤為突出。

除了提供案例，OpenAI還在公告中特意強(qiáng)調(diào)了數(shù)據(jù)隱私和安全問(wèn)題，總結(jié)下來(lái)就是：

開(kāi)發(fā)者的業(yè)務(wù)數(shù)據(jù)（包括輸入和輸出）不會(huì)被共享或用于訓(xùn)練其他模型。
針對(duì)微調(diào)模型實(shí)施了分層安全緩解措施，例如不斷對(duì)微調(diào)模型運(yùn)行自動(dòng)安全評(píng)估并監(jiān)控使用情況。

網(wǎng)友：微調(diào)比不上提示詞緩存

一片熱鬧之際，有網(wǎng)友認(rèn)為微調(diào)仍然比不上提示詞緩存。

微調(diào)很酷，但它仍然不如提示詞緩存……

之前量子位也介紹過(guò)，提示詞緩存的作用，就是一次給模型發(fā)送大量prompt，然后讓它記住這些內(nèi)容，并在后續(xù)請(qǐng)求中直接復(fù)用，避免反復(fù)輸入。

今年5月，谷歌的Gemini就已經(jīng)支持了提示詞緩存，Claude也在上周上新了這項(xiàng)功能。

由于不需要反復(fù)輸入重復(fù)的腳本，提示詞緩存具有速度更快、成本更低這兩大優(yōu)勢(shì)。

有網(wǎng)友認(rèn)為，提示詞緩存功能對(duì)開(kāi)發(fā)者更友好（無(wú)需異步微調(diào)），且?guī)缀蹩梢垣@得與微調(diào)相同的好處。

提示詞緩存可以讓您付出1%的努力獲得99%的好處。

不過(guò)也有人給微調(diào)打call，認(rèn)為微調(diào)在塑造響應(yīng)方面更有效。例如確保JSON格式正確、響應(yīng)更簡(jiǎn)潔或使用表情符號(hào)等。

眼見(jiàn)OpenAI的競(jìng)爭(zhēng)對(duì)手們相繼用上了提示詞緩存，還有人好奇了：

想知道OpenAI是否會(huì)堅(jiān)持微調(diào)或轉(zhuǎn)向提示詞緩存（或兩者兼而有之）。

對(duì)于這個(gè)問(wèn)題，有其他網(wǎng)友也嗅出了一些蛛絲馬跡。

OpenAI在其延遲優(yōu)化指南中提到了緩存技術(shù)。

我們也第一時(shí)間找了下指南原文，其中在談到如何減少輸入token時(shí)提到：

通過(guò)在提示中稍后放置動(dòng)態(tài)部分（例如RAG結(jié)果、歷史記錄等），最大化共享提示前綴。這使得您的請(qǐng)求對(duì)KV緩存更加友好，意味著每個(gè)請(qǐng)求處理的輸入token更少。

不過(guò)有網(wǎng)友認(rèn)為，僅根據(jù)這一段內(nèi)容，無(wú)法直接推出OpenAI采用了提示詞緩存技術(shù)。

BTY，拋開(kāi)爭(zhēng)議不談，OpenAI的羊毛還是得薅起來(lái)~

除了GPT-4o，還可以免費(fèi)微調(diào)GPT-4o mini，9月23日之前OpenAI免費(fèi)提供每天200萬(wàn)個(gè)訓(xùn)練token。