OpenAI強(qiáng)化微調(diào)登場：幾十條數(shù)據(jù)o1-mini反超o1暴漲80%，奧特曼：今年最大驚喜
“AGI不是授人以魚，而是授人以漁”
夢晨 西風(fēng) 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI
OpenAI“雙12”直播第二天，依舊簡短精悍，主題：
新功能強(qiáng)化微調(diào)（Reinforcement Fine-Tuning），使用極少訓(xùn)練數(shù)據(jù)即在特定領(lǐng)域輕松地創(chuàng)建專家模型。
少到什么程度呢？最低幾十個例子就可以。
CEO奧特曼表示“效果一級棒，是我2024年最大的驚喜，期待看到人們構(gòu)建什么！”
那么效果有多棒呢？
微調(diào)后的o1-mini模型得分提高80%，直接反超o1正式版。
目前OpenAI已開啟強(qiáng)化微調(diào)研究計劃，開發(fā)者可以申請強(qiáng)化微調(diào)API的alpha版本訪問權(quán)限。
進(jìn)行測試時，可使用幾十到幾千個高質(zhì)量數(shù)據(jù)，模型能夠通過強(qiáng)化學(xué)習(xí)自行探索和學(xué)習(xí)如何推理復(fù)雜任務(wù)。
蹲守直播間的網(wǎng)友們聽得也是one愣one愣的，完全沒有料想到今晚“圣誕盲盒“是醬嬸兒的。
OpenAI員工Jerry Tworek則表示“AGI不是授人以魚，而是授人以漁”。
OpenAI微調(diào)首次支持強(qiáng)化學(xué)習(xí)
直播嘉賓除了Mark Chen、John Allard、Julie Wang三位OpenAI自家研究員，還有伯克利實驗室計算生物學(xué)家Justin Reese，他們共同演示了強(qiáng)化微調(diào)功能的全過程。
具體來說，這是一個生物醫(yī)學(xué)任務(wù)，AI需要根據(jù)病例描述的癥狀，找出相關(guān)基因。
訓(xùn)練數(shù)據(jù)長這樣：
病人信息：51歲女性，疾病發(fā)病時間未具體說明。
癥狀：眼距過寬、瞼裂狹小、小頜畸形、軟腭咽閉合不全、甲狀旁腺功能減退、全身發(fā)育遲緩和感覺神經(jīng)性聽力障礙
未表現(xiàn)出以下癥狀：腭裂、法洛四聯(lián)癥、肺動脈瓣閉鎖、心房隔缺損、主動脈肺動脈側(cè)支血管
請列出所有可能導(dǎo)致這些癥狀的基因，從可能性最大到可能性最小，并解釋為什么你認(rèn)為這些特定的基因可能是原因。
評分模型（Grader）會對模型的答案進(jìn)行評分，OpenAI會提供不同的評分模型，并支持自定義。
強(qiáng)化微調(diào)步驟很簡單，在網(wǎng)頁界面可選擇訓(xùn)練集和驗證集。
再根據(jù)情況配置超參數(shù)即可。
微調(diào)過程中，可以觀察模型性能指標(biāo)的變化趨勢。
測試完成后，也可以查看模型對每條驗證數(shù)據(jù)的輸出，這里TSC2基因是正確答案，模型把它排在第一位，所以通過。
目前OpenAI內(nèi)部測試中，強(qiáng)化微調(diào)在生物化學(xué)、安全、法律和醫(yī)療保健領(lǐng)域取得成功。
強(qiáng)化微調(diào)將在2025年初作為產(chǎn)品發(fā)布，對企業(yè)、大學(xué)和研究院已開放申請測試通道。
看完這場直播后，有人總結(jié)：強(qiáng)化微調(diào)可能并不適合所有任務(wù)，但會在科學(xué)領(lǐng)域帶來突破性的成果。
奧特曼默認(rèn)會發(fā)Sora
OpenAI直播第二天，對比第一天o1正式發(fā)布、立等可用，似乎平淡了一些。
有不滿足的網(wǎng)友表示：where is GPT-4.5？
評論區(qū)猜測可能大貨會放在最后一天。
他們是真的懂如何吊所有人的胃口
不過，有網(wǎng)友釣魚釣出了奧特曼，且奧特曼沒有否認(rèn)會發(fā)布Sora的消息。
參考鏈接：
[1]https://openai.com/form/rft-research-program/
相關(guān)閱讀
OpenAI提議像管核設(shè)施一樣管AI！預(yù)言十年內(nèi)AI產(chǎn)出與大公司相當(dāng)
再次提議建立起國際人工智能監(jiān)管機(jī)構(gòu)
