最強(qiáng)AI程序員砸飯碗：84秒跑通代碼，像人一樣思考！團(tuán)隊(duì)僅5人

西風(fēng) 2024-08-13 13:07:51 來(lái)源：量子位

金磊 西風(fēng) 發(fā)自 凹非寺

量子位 | 公眾號(hào) QbitAI

繼Devin之后，又一個(gè)AI軟件工程師被刷屏了——

它叫Genie，號(hào)稱目前地表最強(qiáng)，已經(jīng)可以像人一樣思考和行動(dòng)了！

那么這個(gè)“地表最強(qiáng)”，到底強(qiáng)到什么程度？

先來(lái)看下評(píng)測(cè)分?jǐn)?shù)。

在權(quán)威榜單SWE-Bench中，Genie以解決了30.07%問(wèn)題的成績(jī)奪得榜首。

（SWE-Bench是一個(gè)用來(lái)評(píng)估大模型解決現(xiàn)實(shí)中軟件問(wèn)題的基準(zhǔn)。）

而這個(gè)成績(jī)可謂是遙遙領(lǐng)先第二名19.27%，解鎖了提升SOTA的最大增幅——57%！

至于Genie的實(shí)際效果，用團(tuán)隊(duì)的話來(lái)說(shuō)就是：

它可以做到像人類工程師一樣解決現(xiàn)實(shí)生活中的軟件問(wèn)題。

首先，你可以用4種方式讓Genie開(kāi)始工作，分別是提示詞、GitHub Issue、Linear Ticket或者API。

以解決GitHub Issue為例，先喂給Genie一個(gè)repo的鏈接，它就開(kāi)始自動(dòng)解析問(wèn)題了：

Genie會(huì)自動(dòng)迭代思考如果想要解決這個(gè)問(wèn)題它都需要哪些文件，直到它覺(jué)得找到了自己滿意的為止：

緊接著，它將對(duì)問(wèn)題做一個(gè)自動(dòng)迭代分析的過(guò)程：

然后Genie就開(kāi)始“唰唰唰”地自動(dòng)寫+跑代碼了：

如果運(yùn)行代碼過(guò)程中出現(xiàn)bug，Genie會(huì)只針對(duì)出問(wèn)題的地方再重復(fù)分析、寫代碼和運(yùn)行的過(guò)程，直至跑通為止。

而整個(gè)過(guò)程，僅僅耗時(shí)84秒！

用團(tuán)隊(duì)的話來(lái)說(shuō)：

Genie已經(jīng)觀察并學(xué)習(xí)人類程序員如何解決軟件問(wèn)題的次數(shù)達(dá)到了數(shù)百萬(wàn)次。

這是任何一個(gè)人類程序員一輩子都無(wú)法達(dá)到的數(shù)量。

但更令人意想不到的是，Genie背后的團(tuán)隊(duì)——Cosine，才僅僅5人。

而且CEO Alistair還發(fā)文感謝OpenAI：

沒(méi)有你們，我們做不出來(lái)Genie。

那么Cosine團(tuán)隊(duì)，究竟是如何打造Genie的呢。

最強(qiáng)AI工程師是如何煉成的？

Genie的主要特點(diǎn)，是能夠模仿人類工程師的認(rèn)知過(guò)程、邏輯和工作流。

為做到這一點(diǎn)，Genie團(tuán)隊(duì)透露過(guò)去一年收集了一個(gè)包含真實(shí)人類程序員開(kāi)發(fā)活動(dòng)的數(shù)據(jù)集。

其中不僅使用了成果分析、靜態(tài)分析、自我對(duì)弈、逐步驗(yàn)證等方法，還用到了基于大量標(biāo)記數(shù)據(jù)訓(xùn)練的AI模型。好處是，當(dāng)基礎(chǔ)模型能力提升時(shí)，它們能夠提取的數(shù)據(jù)質(zhì)量也會(huì)相應(yīng)提高。

最終Genie使用該專有數(shù)據(jù)進(jìn)行訓(xùn)練。

數(shù)據(jù)集中編碼了人類推理的完整過(guò)程，包括完美的信息溯源、增量知識(shí)發(fā)現(xiàn)，還有基于軟件工程師實(shí)際工作案例的逐步?jīng)Q策過(guò)程。

Genie的推理過(guò)程包括規(guī)劃、檢索、代碼編寫和代碼運(yùn)行四個(gè)主要步驟，突破了其它AI工程師依靠在基礎(chǔ)模型之上添加網(wǎng)頁(yè)瀏覽器、代碼解釋器等額外工具的限制，能夠像人一樣處理多樣化的、高度情境的、前所未見(jiàn)的問(wèn)題。

這種訓(xùn)練方法，讓網(wǎng)友們立刻想到，之前Karpathy也提出的類似想法：

對(duì)于LLM來(lái)說(shuō)，理想的訓(xùn)練數(shù)據(jù)并不是你所寫的內(nèi)容本身，而是你在寫作過(guò)程中的完整思考過(guò)程和每一個(gè)編輯動(dòng)作。然而，我們只能盡力利用現(xiàn)有的資源。

除此之外，Genie訓(xùn)練中還引入了自我改進(jìn)機(jī)制。

初始訓(xùn)練數(shù)據(jù)多為可正常運(yùn)行的沒(méi)有錯(cuò)誤的代碼，導(dǎo)致Genie導(dǎo)致難以應(yīng)對(duì)錯(cuò)誤情況。為解決這個(gè)問(wèn)題，團(tuán)隊(duì)使用初代版本的Genie生成包含錯(cuò)誤的合成數(shù)據(jù)，然后用這些數(shù)據(jù)訓(xùn)練下一版模型。

具體來(lái)說(shuō)，使用舊版本Genie提出解決方案，如果解決方案錯(cuò)誤，就利用掌握的任務(wù)最終狀態(tài)來(lái)教它從當(dāng)前狀態(tài)達(dá)到正確狀態(tài)。

不斷重復(fù)這一過(guò)程，Genie提出的初始解決方案逐漸變得更準(zhǔn)確，在多數(shù)情況下能直接給出正確答案，即使出錯(cuò)也只需在數(shù)據(jù)集中作較少的修正。

Genie能力提升的另一大關(guān)鍵，在于OpenAI提供的大模型支持。

團(tuán)隊(duì)表示，最初開(kāi)發(fā)Genie時(shí)，只能訪問(wèn)微調(diào)16-32k范圍內(nèi)的短上下文模型，他們用這些模型進(jìn)行了大量早期開(kāi)發(fā)，用超1億token的數(shù)據(jù)訓(xùn)練模型，雖然發(fā)現(xiàn)設(shè)計(jì)的架構(gòu)有一定優(yōu)勢(shì)，但從根本上受限于模型在特定時(shí)間內(nèi)可以處理的信息量。

嘗試了各種壓縮/分塊方法后，唯一的解決方法就是使用更大上下文的模型。

OpenAI提供了長(zhǎng)上下文模型支持，最新版本的Genie經(jīng)過(guò)了數(shù)十億token的數(shù)據(jù)訓(xùn)練。

團(tuán)隊(duì)認(rèn)為，相比超參數(shù)調(diào)整和數(shù)據(jù)量，數(shù)據(jù)的質(zhì)量才是關(guān)鍵。因此他們還在數(shù)據(jù)混合方面進(jìn)行了大量實(shí)驗(yàn)，包括語(yǔ)言、任務(wù)類型、任務(wù)長(zhǎng)度等多個(gè)維度，以下是訓(xùn)練Genie的不同編程語(yǔ)言數(shù)據(jù)的占比：

還有不同類型實(shí)例的數(shù)據(jù)占比：

只有5個(gè)人的團(tuán)隊(duì)

正如我們?cè)谏衔奶岬降?，Cosine這個(gè)初創(chuàng)團(tuán)隊(duì)人數(shù)目前僅僅為5人。

在官網(wǎng)的介紹中，他們也非常直接的將自己形容為：

Small but mighty.
雖小但有力。

從介紹來(lái)看，成員有的是從獨(dú)角獸企業(yè)出身，有的擁有管理全球團(tuán)隊(duì)的經(jīng)驗(yàn)，甚至還有從8歲就開(kāi)始編程的。

但Cosine最初成立之際是僅有3人，他們的目標(biāo)是想把人類推理這件事兒給搞明白。

值得一提的是，團(tuán)隊(duì)成員中還有一位是華人，Yang Li，是Cosine的聯(lián)合創(chuàng)始人，在2021年登上過(guò)福布斯30 under 30。

除此之外，對(duì)于Genie本身，CEO Alistair還表示：

早在2022年我們就開(kāi)始構(gòu)想Genie了，但當(dāng)時(shí)從技術(shù)角度來(lái)說(shuō)是不可行的。

直到過(guò)去半年多來(lái)，隨著大模型的逐步成熟，Genie才能走入現(xiàn)實(shí)。

嗯，不得不說(shuō)，大模型又立功了。

Genie目前是可以申請(qǐng)Waitlist了，感興趣的小伙伴可以戳文末鏈接~

Waitlist地址：
https://cosine.sh/register

參考鏈接：
[1]https://x.com/alistairpullen/status/1822981361608888619?s=46
[2]https://cosine.sh/blog/genie-technical-report
[3]https://cosine.sh/blog/state-of-the-art
[4]https://x.com/AlistairPullen/status/1823030874579120223
[5]https://x.com/yangli_