還在為改論文頭禿?新AI幫你搞定它,加注釋查錯增刪細(xì)節(jié)樣樣在行,Meta AI團隊出品
110億參數(shù)打造
蕭簫 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI
改論文,有時候比寫論文痛苦。
無論是導(dǎo)師“刷屏”的一個個建議,還是期刊給回來的審稿意見,都能折磨得人頭發(fā)狂掉。
好消息是,現(xiàn)在AI終于可以幫你改論文了。
像是給論文引用的某個算法/觀點加上原始參考文獻:
又或是修改文中的一些事實性錯誤:
都只需要描述一句話(直接粘貼導(dǎo)師的修改意見),AI就能準(zhǔn)確領(lǐng)會你的意圖,并上手改動論文。
最關(guān)鍵的是,改動的地方AI還會給出解釋,讓你流利應(yīng)對導(dǎo)師的“突擊檢查”:
這是Meta AI搞出來的最新協(xié)同語言模型PEER,要解決的就是AI會生成文章、卻不會改文章的問題。
△人均撲克高手(doge)
看到這里,一名在讀博士生狂喜:“沒寫完的博士論文有著落了!”
還有網(wǎng)友表示:
很棒的工作,如果LLM沒有交互性,那終將成為一個死胡同?!躲y河系漫游指南》的作者一定會喜歡它的。
那么,這只AI究竟是怎么學(xué)會“改文章”的?
用AI幫AI一步步“捋順?biāo)悸贰?/h1>
此前AI會寫卻不會改論文,主要有三點原因:
①無法控制文章細(xì)節(jié),搞不懂自己要改啥;②無法聽懂人類的命令;③解釋不了自己生成了什么。
為此,Meta AI的研究人員用4個編解碼器組成PEER,每個編解碼器干不同的活。
它們被分別命名為PEER-Edit(整體規(guī)劃&編輯)、PEER-Undo(還原編輯步驟)、PEER-Explain(解釋編輯目的)、PEER-Document(搜集素材)。
這幾個編解碼器并非獨立工作,它們的作用是相輔相成的。
例如,PEER-Undo的出現(xiàn),實際上就是為了加強PEER-Edit的編輯能力。
PEER-Edit是4個編解碼器中的核心骨干,它會在輸入一段待修改文本和參考素材后,決定如何對文本進行編輯,并給出編輯結(jié)果。
但如果直接用待修改文本和參考素材訓(xùn)練PEER-Edit,會發(fā)現(xiàn)它的編輯能力不穩(wěn)定。
因此,需要用PEER-Undo來根據(jù)PEER-Edit的輸出和素材,盡可能還原PEER-Edit編輯過的每個步驟,有點像是“幫對方捋順編輯思路”。
這樣一來,PEER-Edit就會意識到“原來我打算這樣編輯”,并借助PEER-Undo生成的結(jié)果,有意識加強訓(xùn)練效果。
在PEER-Edit和PEER-Undo之外,PEER-Explain和PEER-Document的作用就相對好理解了。
其中,PEER-Explain負(fù)責(zé)將最終編輯的結(jié)果“變成人話”;PEER-Document則負(fù)責(zé)到網(wǎng)上收集修改用的素材(包括但不限于維基百科),給PEER-Edit“打零工”。
4個編解碼器加在一起,就組成了一個既能與人溝通、了解修改意圖,也能上手查找資料、編輯論文的協(xié)同語言模型PEER。
團隊將它與其他模型的能力進行了比較。
110億參數(shù)實現(xiàn)SOTA
具體來說,比較的模型包括一些基于T5(Text-to-Text Transfer Transformer)的模型和一些1750億參數(shù)的解碼器模型(GPT-3)等。
從圖中可見,PEER系列的模型參數(shù)最高也就110億左右,但在一些相關(guān)評估上都刷新了SOTA。
從可以實現(xiàn)的效果來看,基本上能直接通過交互,讓AI寫出一段論文并修改:
例如“刪掉沒信源的表述”、以及“把步驟列出來”,這只AI都能準(zhǔn)確理解并實現(xiàn):
不過對于這個模型,也有網(wǎng)友提出了一個設(shè)想:
如果讓PEER去審查PEER自己的文章,會怎樣呢?(手動狗頭)
論文地址:
https://arxiv.org/abs/2208.11663
參考鏈接:
https://twitter.com/timo_schick/status/1562818684049309698
- 字節(jié)突然開源Seed-OSS,512K上下文主流4倍長度,推理能力刷紀(jì)錄2025-08-21
- “現(xiàn)在讀AI博士已經(jīng)太晚了”2025-08-19
- 谷歌AI攻克亞洲語言難題,2300種語言數(shù)字化計劃正在推進2025-08-18
- AMD蘇姿豐公開懟扎克伯格!反對1億年薪挖人,使命感比鈔票更重要2025-08-18