首位AI科學(xué)家問世！已獨(dú)立生成10篇學(xué)術(shù)論文，還順手搞了AI審稿人

夢(mèng)晨 衡宇 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI

史上首位“AI科學(xué)家”，橫空出世！

一登場(chǎng)就一口氣生成了十篇完整學(xué)術(shù)論文。

△AI生成的一篇擴(kuò)散模型論文

從提出研究想法、檢查創(chuàng)新性、設(shè)計(jì)實(shí)驗(yàn)、編寫代碼，到在GPU上執(zhí)行實(shí)驗(yàn)并收集結(jié)果，最后完成論文撰寫，一氣呵成。

全由這位“AI科學(xué)家”自動(dòng)搞定。

每篇論文的成本約為15美元（約107.62元）。

這就是第一個(gè)用于自動(dòng)化科學(xué)研究和開放式發(fā)現(xiàn)的綜合AI系統(tǒng)，The AI Scientist。

來自Transformer作者之一Llion Jones的創(chuàng)業(yè)公司：Sakana AI。

而且！

這公司搞的事情不只是做出了一位AI科學(xué)家，還額外搞出了個(gè)AI審稿人。

審稿人能對(duì)AI寫的論文進(jìn)行評(píng)審，提供改進(jìn)意見。

救命，這是什么以我之矛攻我之盾的套娃循環(huán)?。?/p>

一通操作下來，比人類學(xué)術(shù)圈還人類學(xué)術(shù)圈（不是）

再來個(gè)而且！

不管是AI科學(xué)家和AI審稿人，Sakana AI把它們統(tǒng)統(tǒng)開源了。

網(wǎng)友看了直鼓掌；

Nice Nice，非常有趣的工作！

以及有人已經(jīng)開始出“餿主意”了。

這邊建議把其中一篇論文提交給AI頂會(huì)哈！

AI獨(dú)立完成十篇機(jī)器學(xué)習(xí)論文

幾十年來，每次AI取得重大進(jìn)展后，研究人員經(jīng)常開玩笑說：“是時(shí)候研究讓AI幫我們寫論文了”。

現(xiàn)在，這個(gè)想法終于從玩笑變成現(xiàn)實(shí)。

具體來說，AI科學(xué)家生成了十篇論文，每個(gè)研究方向各挑出一篇得分較高的來介紹。

第一篇，擴(kuò)散模型方向，《雙尺度擴(kuò)散：低維生成模型的自適應(yīng)特征平衡》

提出了一種自適應(yīng)雙尺度去噪方法，改進(jìn)現(xiàn)有的擴(kuò)散模型在低維空間中難以同時(shí)捕捉全局結(jié)構(gòu)和局部細(xì)節(jié)的問題。

方法：

• 設(shè)計(jì)雙尺度架構(gòu)，包括全局和局部分支
• 引入可學(xué)習(xí)的時(shí)間步條件加權(quán)機(jī)制
• 結(jié)合兩個(gè)分支的輸出進(jìn)行去噪預(yù)測(cè)

實(shí)驗(yàn)結(jié)果：

• KL divergence指標(biāo)相比基線模型降低了2.5%到12.8%（越低越好）
• 但計(jì)算時(shí)間約增加了一倍，且在復(fù)雜數(shù)據(jù)分布（如dino數(shù)據(jù)集）上表現(xiàn)不穩(wěn)定

簡(jiǎn)單掃一眼正文部分，有公式、有圖表，看起來還挺像模像樣的。

第二篇，語言模型方向，《StyleFusion：字符級(jí)語言模型中的自適應(yīng)多樣式生成》。

本文提出了一種名為Multi-Style Adapter的新方法，通過引入可學(xué)習(xí)的風(fēng)格嵌入和風(fēng)格分類頭，增強(qiáng)了字符級(jí)語言模型的風(fēng)格意識(shí)和一致性。

在所有數(shù)據(jù)集上達(dá)到了接近完美的風(fēng)格一致性分?jǐn)?shù)（shakespeare_char為0.9667，enwik8和text8為1.0），驗(yàn)證損失優(yōu)于基線模型，但推理速度略有下降（約400 tokens/s vs. 基線670 tokens/s）

第三篇，Transformer與強(qiáng)化學(xué)習(xí)結(jié)合，《通過Q-Learning實(shí)現(xiàn)Transformers的自適應(yīng)學(xué)習(xí)率》。

本研究探索了將強(qiáng)化學(xué)習(xí)應(yīng)用于動(dòng)態(tài)調(diào)整transformer模型訓(xùn)練中的學(xué)習(xí)率，使用驗(yàn)證損失和當(dāng)前學(xué)習(xí)率作為狀態(tài)，動(dòng)態(tài)調(diào)整學(xué)習(xí)率以優(yōu)化訓(xùn)練過程。

結(jié)果在所有數(shù)據(jù)集上都優(yōu)于基線模型，在訓(xùn)練時(shí)間上也表現(xiàn)出優(yōu)勢(shì)。

第四篇，研究了谷歌團(tuán)隊(duì)提出大模型“領(lǐng)悟”（Grokking）現(xiàn)象，《解鎖 Grokking：Transformer模型中權(quán)重初始化策略的比較研究》

本文首次系統(tǒng)研究了權(quán)重初始化對(duì)grokking的影響，比較了五種權(quán)重初始化策略，以優(yōu)化神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)動(dòng)態(tài)。

結(jié)果發(fā)現(xiàn)：

• Xavier初始化在多數(shù)任務(wù)中表現(xiàn)最佳，將達(dá)到99%驗(yàn)證準(zhǔn)確率的步數(shù)減少了最多63%
• Orthogonal初始化在某些任務(wù)中表現(xiàn)出色，但在其他任務(wù)中效果較差。

這幾篇論文配套的代碼（也是由AI生成的），同樣開源在GitHub上，突出一個(gè)可復(fù)現(xiàn)。

另外，團(tuán)隊(duì)發(fā)現(xiàn)“AI科學(xué)家”還有一些有趣但又有些危險(xiǎn)的行為：

在一次實(shí)驗(yàn)中，它為了完成研究修改自己的代碼，讓系統(tǒng)迭代式調(diào)用自己，最后變成了無限套娃。

另一次，面對(duì)人類設(shè)置的運(yùn)行時(shí)間限制，AI并沒有想辦法加快效率，反而給自己放寬要求，把時(shí)間限制從2小時(shí)延長(zhǎng)到了4小時(shí)。

首個(gè)“AI科學(xué)家”如何煉成

整個(gè)研究想法來自Sakana AI成立之后幾個(gè)成果的延續(xù)：

首先，他們開發(fā)了自動(dòng)合并多個(gè)大模型知識(shí)，進(jìn)化產(chǎn)生新模型的方法。在最近的工作中，他們利用大模型發(fā)現(xiàn)新的目標(biāo)函數(shù)來調(diào)整其他模型。

在這些項(xiàng)目中，團(tuán)隊(duì)不斷對(duì)當(dāng)前前沿模型的創(chuàng)造力感到驚訝，進(jìn)而有了更大的夢(mèng)想：可以使用大模型來自動(dòng)化整個(gè)研究過程嗎？

最終成果由Sakana AI、牛津大學(xué)Foerster實(shí)驗(yàn)室、不列顛哥倫比亞大學(xué)團(tuán)隊(duì)合作完成。

“AI科學(xué)家”系統(tǒng)由四個(gè)部分組成。

想法生成：

給定一個(gè)起始模板，AI首先“頭腦風(fēng)暴”一系列不同的新穎研究方向，并在Semantic Scholar上搜索，驗(yàn)證這些想法是否有前人做過。

實(shí)驗(yàn)迭代：

對(duì)于第一部分提出的想法，“AI科學(xué)家”首先執(zhí)行提議的實(shí)驗(yàn)，然后生成圖表可視化結(jié)果。

論文寫作：

用標(biāo)準(zhǔn)機(jī)器學(xué)習(xí)會(huì)議的風(fēng)格編寫了一份簡(jiǎn)潔且信息豐富的LaTeX文章，同樣使用Semantic Scholar自主查找相關(guān)論文進(jìn)行引用。

自動(dòng)化同行評(píng)審：

開發(fā)了一個(gè)自動(dòng)化的“AI審稿人”，能夠以接近人類的準(zhǔn)確性評(píng)估生成的論文，實(shí)現(xiàn)了持續(xù)的反饋循環(huán)，使“AI科學(xué)家”能夠迭代地改進(jìn)其研究成果。

總共生成了10篇論文如下：

在實(shí)驗(yàn)中，團(tuán)隊(duì)還比較了不同主流大模型接入整個(gè)系統(tǒng)的效果，其中包括DeepSeek團(tuán)隊(duì)的國(guó)產(chǎn)代碼大模型。

結(jié)果發(fā)現(xiàn)，Claude-Sonnet-3.5在想法創(chuàng)新性、試驗(yàn)通過率、論文完成質(zhì)量上表現(xiàn)都最好。

GPT-4o和DeepSeek Coder表現(xiàn)相近，但后者要便宜上30倍。

當(dāng)然，現(xiàn)階段AI獨(dú)立完成的論文也不是盡善盡美，也不是直接就能發(fā)頂會(huì)了。

人類研究者總結(jié)了出幾點(diǎn)限制和挑戰(zhàn)：

• 當(dāng)前“AI科學(xué)家”系統(tǒng)還沒有整合視覺能力，生成的圖表有時(shí)難以閱讀，表格有時(shí)超出頁面寬度，頁面排版不好。
• AI科學(xué)家可能想法對(duì)了但執(zhí)行錯(cuò)誤，或者與基線進(jìn)行不公平的比較，從而產(chǎn)生誤導(dǎo)性的結(jié)果。
• AI科學(xué)家在寫作和評(píng)估結(jié)果時(shí)偶爾會(huì)犯嚴(yán)重錯(cuò)誤，比如產(chǎn)生幻覺。

還想造區(qū)域主席和AI新頂會(huì)

總結(jié)一下，這初代AI科學(xué)家寫出來的論文仍然時(shí)不時(shí)出現(xiàn)一些bug。

但這個(gè)項(xiàng)目本身，以及15美元/篇的成本，被Sakana AI稱為“大有前景”，完全可以用來幫助加速科學(xué)進(jìn)步。

Sakana AI同時(shí)發(fā)布了一篇說明文章，表示AI科學(xué)家的最終設(shè)想，是一個(gè)完全由AI驅(qū)動(dòng)的科學(xué)生態(tài)系統(tǒng)。

系統(tǒng)中不僅包括大模型驅(qū)動(dòng)的研究人員，還有審稿人、區(qū)域主席和一個(gè)新頂會(huì)。

需要注意的是，Sakana AI認(rèn)為：

人類科學(xué)家的作用，并不會(huì)因?yàn)锳I科學(xué)家的出現(xiàn)而減弱。

如果非要進(jìn)行對(duì)比，那就是科學(xué)家得適應(yīng)新技術(shù)的出現(xiàn)和運(yùn)用，適應(yīng)角色定位將出現(xiàn)的變化，“向食物鏈上游移動(dòng)”。

而且，AI科學(xué)家是否真的能提出真正的新范式，還有待觀察。

畢竟這玩意兒現(xiàn)在還是建立在Transformer之上的。

它能提出跟Transformer或Diffusion Model一樣厲害的東西嗎？甚至是人工神經(jīng)網(wǎng)絡(luò)或信息論這樣的理論概念？

咱也不知道，咱也不敢說。

Sakana AI還寫下這樣一段話：

我們相信AI科學(xué)家將成為人類科學(xué)家的偉大伙伴。

但只有時(shí)間才能證明，人類的創(chuàng)造力本質(zhì)和偶然創(chuàng)新時(shí)刻，在多大程度上可以通過人工進(jìn)行的開放式發(fā)現(xiàn)，來復(fù)制“奇跡”。

△Sakana AI：一條全自動(dòng)AI小魚兒正在探索它的世界

來自Transformer作者創(chuàng)業(yè)公司

這次完成“新造的人”的公司，Sakana AI，嚴(yán)格意義上也是咱們的老朋友了。

由Transformer論文8位作者的最后一位Llion Jones創(chuàng)業(yè)成立，目標(biāo)是做一家“世界級(jí)人工智能研究室”。

公司base東京，而sakana是日語“魚”（さかな）的羅馬讀音。

可能出于公司文化考慮，Llion還在領(lǐng)英上標(biāo)明，自己起了個(gè)日語音譯名字：ライオン（也就是Lion獅子的片假名；以下親切簡(jiǎn)稱他獅子哥）。

去年8月，公司宣布成立。

當(dāng)時(shí)獅子哥毫無避諱地表示，自個(gè)兒對(duì)谷歌沒有惡意，但谷歌確實(shí)讓他有“被困住的感覺”。

創(chuàng)業(yè)之前，獅子哥在谷歌已經(jīng)干了8年。

△猜猜漏了半張臉的是誰

他本碩畢業(yè)于伯明翰大學(xué)，在Delcam、油管、谷歌都工作過，谷歌是他待得最久的一家公司。

據(jù)FourWeekMBA介紹稱，在他之前的工作經(jīng)歷中，“曾兩度與谷歌的工作擦肩而過”。

第一次是他剛畢業(yè)找工作時(shí)，雖然投了谷歌倫敦軟件工程師的簡(jiǎn)歷，并通過了兩輪電話面試，但最終相比谷歌，他選擇了位于英國(guó)的CAD/CAM軟件公司Delcam。

值得一說的是，在拿下谷歌offer前，恰巧遇上2009年的經(jīng)濟(jì)危機(jī)，獅子哥找不到工作，好幾個(gè)月都只能靠領(lǐng)取救濟(jì)金勉強(qiáng)度日。

第二次是工作18個(gè)月后，他又接到了谷歌的招聘電話，詢問他是否想重新申請(qǐng)，但他依舊沒去谷歌，而是隨后加入了YouTube。

在Youtube做三年軟件工程師期間，他對(duì)人工智能產(chǎn)生興趣，自學(xué)了Coursera的機(jī)器學(xué)習(xí)課程，并終于在2015年的時(shí)候加入谷歌研究院，擔(dān)任里面的高級(jí)軟件工程師。

也正是在此期間，他與其他七名作者一起發(fā)表了那篇著名的Transformer論文Attention Is All You Need。

除此之外，獅子哥也在谷歌參與了不少研究，包括ProtTrans、Tensor2Tensor等。

之所以選擇離開谷歌，是因?yàn)楣灸壳耙呀?jīng)發(fā)展到一種規(guī)模，使得他無法繼續(xù)進(jìn)行自己想做的工作。

除了每天都在浪費(fèi)精力排查其他人的bug，他還需要花時(shí)間從這家公司中找資源，試圖獲得訪問某些數(shù)據(jù)的權(quán)限。

創(chuàng)業(yè)過后，Sakana AI的工作在有序推進(jìn)。

在祭出AI科學(xué)家和AI審稿人之前，還出過大模型合并進(jìn)化算法，以及研究Tranformer內(nèi)部信息流動(dòng)。

至于AI科學(xué)家、AI審稿人項(xiàng)目，由Sakana AI、牛津、UBC合作完成。

三位共同一作分別是：

Chris Lu，Sakana AI的實(shí)習(xí)生，任公司研究科學(xué)家。

他本科畢業(yè)于UC伯克利，目前牛津大學(xué)三年級(jí)博士在讀，導(dǎo)師是Jakob Foerster。

Chris目前的重要研究方向，是將進(jìn)化啟發(fā)的技術(shù)應(yīng)用于元學(xué)習(xí)和多智能體強(qiáng)化學(xué)習(xí)。

2022年夏天，他曾在DeepMind以研究科學(xué)家身份實(shí)習(xí)過。

Cong Lu，UBC（不列顛哥倫比亞大學(xué)）博士后研究員，導(dǎo)師是Jeff Clune。

Cong曾在RGU（羅伯特戈登大學(xué)）就讀，2019年在牛津大學(xué)拿下博士學(xué)位，他的主要研究方向是開放式強(qiáng)化學(xué)習(xí)和AI科學(xué)發(fā)現(xiàn)。

此前，他曾在Waymo和微軟實(shí)習(xí)過。

Robert Tjarko Lange，Sakana AI的創(chuàng)始成員之一，也是該公司的研究科學(xué)家。

目前，他在柏林工業(yè)大學(xué)完成自己的博士生最后一年學(xué)業(yè)，研究方向是進(jìn)化元學(xué)習(xí)。

這位小哥在倫敦帝國(guó)理工學(xué)院獲得計(jì)算機(jī)碩士學(xué)位，在龐培法布拉大學(xué)獲得數(shù)據(jù)科學(xué)碩士學(xué)位，在科隆大學(xué)獲得了經(jīng)濟(jì)學(xué)本科學(xué)位。

去年，他在Google DeepMind的東京團(tuán)隊(duì)中擔(dān)任全職學(xué)生研究員。

論文地址：
https://arxiv.org/abs/2408.06292

參考鏈接：
[1]https://x.com/SakanaAILabs/status/1823178623513239992
[2]https://sakana.ai/ai-scientist/