ChatGPT只算L1階段，谷歌提出AGI完整路線圖

豐色 2023-11-08 14:36:54 來(lái)源：量子位

豐色 發(fā)自 凹非寺

量子位 | 公眾號(hào) QbitAI

AGI應(yīng)該如何發(fā)展、最終呈什么樣子？

現(xiàn)在，業(yè)內(nèi)第一個(gè)標(biāo)準(zhǔn)率先發(fā)布：

AGI分級(jí)框架，來(lái)自谷歌DeepMind。

該框架認(rèn)為，發(fā)展AGI必須遵循6個(gè)基本原則：

• 關(guān)注能力，而非過(guò)程
• 同時(shí)衡量技能水平和通用性
• 專注于認(rèn)知和元認(rèn)知任務(wù)
• 關(guān)注最高潛力，而非實(shí)際落地水平
• 注重生態(tài)有效性
• 關(guān)注整條AGI之路的發(fā)展，而非單一的終點(diǎn)

在此原則之上，AGI將呈現(xiàn)6大發(fā)展階段，每個(gè)階段都有對(duì)應(yīng)的深度（性能）和廣度（通用性）指標(biāo)。

我們當(dāng)前的AI產(chǎn)品走到哪一階段了？這里也有答案。

詳細(xì)來(lái)看。

6項(xiàng)基本原則

什么是AGI？

對(duì)于這個(gè)問(wèn)題，許多科學(xué)家、研究機(jī)構(gòu)都給出了自己的理解。

比如圖靈提出的圖靈測(cè)試認(rèn)為機(jī)器是否能“思考”就是一個(gè)衡量指標(biāo)；強(qiáng)人工智能的概念提出者則認(rèn)為，AGI是一個(gè)擁有意識(shí)的系統(tǒng)；還有人說(shuō)AGI一定是能在復(fù)雜性和速度上與人腦一樣甚至超越人腦……

谷歌認(rèn)為，這些定義都不全面。

像圖靈測(cè)試，一些LLM已經(jīng)可以通過(guò)，但我們能稱那些模型為AGI嗎？

像類人腦說(shuō)法，Transformer架構(gòu)的成功就已表明，嚴(yán)格基于大腦的思考過(guò)程對(duì)于AGI來(lái)說(shuō)并不是必須的。

通過(guò)分析這些定義（一共9種，詳情可翻閱原文）的優(yōu)缺點(diǎn)，谷歌重新理出了6項(xiàng)基本原則：

一、關(guān)注能力，而非過(guò)程。

這可以幫助我們?nèi)コ恍┎灰欢ㄊ菍?shí)現(xiàn)AGI的必備要求：

比如AGI不一定要用類似人類的方式思考或理解，也不意味著系統(tǒng)必須具有主觀意識(shí)等能力（主要是這種能力無(wú)法也通過(guò)固定的方法去測(cè)量）。

二、注重通用性和技能水平。

目前所有的AGI定義都強(qiáng)調(diào)了通用性，這一點(diǎn)不必多說(shuō)。但谷歌強(qiáng)調(diào)，性能也是AGI的關(guān)鍵組成部分（也就是可以達(dá)到人類的幾分水平）。在后面的具體階段制定中，主要也是根據(jù)這倆指標(biāo)進(jìn)行分類的。

三、專注于認(rèn)知和元認(rèn)知任務(wù)。

前者目前基本為共識(shí)，即AGI可以執(zhí)行各種非體力任務(wù)。不過(guò)谷歌在此強(qiáng)調(diào)，AI系統(tǒng)執(zhí)行物理任務(wù)的能力也需要加強(qiáng)，因?yàn)樗鼘?duì)于認(rèn)知能力是有推動(dòng)作用的。

此外，元認(rèn)知能力，如學(xué)習(xí)新任務(wù)或知道何時(shí)向人類尋求幫助，是系統(tǒng)走向通用性的關(guān)鍵先決條件。

四、關(guān)注最高潛力，而非實(shí)際落地水平

證明一個(gè)系統(tǒng)可以在給定的標(biāo)準(zhǔn)上完成任務(wù)，就足以宣布該系統(tǒng)為AGI，我們不要求一定得在開(kāi)放世界中完全部署出水平相同的系統(tǒng)。

因?yàn)?，這可能會(huì)面臨一些非技術(shù)阻礙，比如法律和社會(huì)考慮、潛在道德問(wèn)題。

五、注重生態(tài)有效性。

所謂生態(tài)有效性，谷歌指的是選擇真正有用的現(xiàn)實(shí)任務(wù)去benchmark系統(tǒng)的進(jìn)步，這些任務(wù)不僅包括經(jīng)濟(jì)價(jià)值也包括社會(huì)和藝術(shù)價(jià)值，要避開(kāi)那些容易自動(dòng)匹配和量化的傳統(tǒng)AI指標(biāo)。

六、關(guān)注整條AGI之路的發(fā)展，而非單一的終點(diǎn)。

這也是為什么谷歌要制定我們接下來(lái)將要看到的6個(gè)發(fā)展階段。

6大必經(jīng)階段

AGI之路的6個(gè)階段由深度指標(biāo)（即技能水平，與人類相比）和廣度指標(biāo)（通用性）進(jìn)行劃分。

第零階段為“No AI”，計(jì)算軟件、編譯器等屬于該范疇，在通用性上只能執(zhí)行human-in-the-loop任務(wù)。

第一階段為“涌現(xiàn)級(jí)”（Emerging），技能相當(dāng)于或略比沒(méi)有相關(guān)技能的人類要強(qiáng)。

ChatGPT、Bard和Llama 2等大模型就屬于該階段，并且已經(jīng)滿足了該階段要達(dá)到的通用性。

第二階段可理解為“剛剛合格級(jí)”（Competent），可以達(dá)到正常成年人50%的水平。

像語(yǔ)音助手Sir、能在短文寫(xiě)作/簡(jiǎn)單編碼等任務(wù)中達(dá)到SOTA水平的大模型都屬于這一階段。

不過(guò)，它們都只是在技能指標(biāo)上合格了，通用性還夠不上，也沒(méi)有其它能夠達(dá)到這一階段通用性水平的AI產(chǎn)品。

第三階段為“專家級(jí)”（Expert），可達(dá)到正常成年人90%的水平。

谷歌認(rèn)為，拼寫(xiě)和語(yǔ)法檢查器如Grammarly、圖像生成模型Imagen等可以劃為該階段，主要也是在技能水平上達(dá)標(biāo)了，通用性還不夠。

第四階段為“大師級(jí)”（Virtuoso），可達(dá)到正常人類99%的水平。

深藍(lán)、AlphaGo等都屬于。同樣，還沒(méi)有哪個(gè)AI產(chǎn)品可以達(dá)到屬于這一級(jí)別的通用能力。

最后一階段為“超人級(jí)”（Superhuman），在技能指標(biāo)上，已經(jīng)可以超越頂尖科學(xué)家的AlphaFold、AlphaZero也可劃入該階段。

毫無(wú)疑問(wèn)，具備超人智能級(jí)通用性的AI還沒(méi)誕生。

從中我們看出，按照谷歌這個(gè)標(biāo)準(zhǔn)來(lái)看，大多數(shù)已有AI產(chǎn)品其實(shí)都分別進(jìn)入了不同的AGI階段，但只僅限于在技能水平上——要談及通用性，目前只有ChatGPT等模型完全合格。

但它們也只還處于最底層的“一級(jí)AGI”階段。

不過(guò)，正如原則2所說(shuō)，評(píng)價(jià)AGI就是要看這技能水平和通用性這兩個(gè)指標(biāo)，這樣劃分也算說(shuō)得過(guò)去。

值得一提的是，我們可以看到，像DALLE-2這樣的圖像生成模型已經(jīng)可以歸類于“三級(jí)AGI”。

谷歌給出的理由是，因?yàn)樗傻膱D像已經(jīng)比大多數(shù)人都要強(qiáng)了（也就是超越90%人類）。

這一劃分并未考慮大多數(shù)用戶由于提示技巧不佳，無(wú)法達(dá)成最佳性能的情況。

因?yàn)樽裱瓌t4，我們只需要關(guān)注一個(gè)系統(tǒng)的潛力到了就夠了。

另外，對(duì)于最終階段的AGI，谷歌暢想，它除了蛋白質(zhì)結(jié)構(gòu)預(yù)測(cè)，還可能能同時(shí)進(jìn)行與動(dòng)物交流、分析大腦信號(hào)、進(jìn)行高質(zhì)量預(yù)測(cè)等各種人類難以企及的任務(wù)，這樣才不枉費(fèi)我們的期待。

最后，對(duì)于這個(gè)層級(jí)劃分，谷歌也承認(rèn)還有很多事情要做：

比如在通用性維度上，應(yīng)該用哪些標(biāo)準(zhǔn)任務(wù)集進(jìn)行測(cè)量？完成多大比例的任務(wù)才行？有哪些任務(wù)是一定要滿足的？

這些問(wèn)題一時(shí)都不大可能全部摸清。

你同意谷歌提出的這些原則和階段劃分嗎？

原文：
https://huggingface.co/papers/2311.02462