Ilya宣判：預(yù)訓(xùn)練即將終結(jié)！NeurIPS現(xiàn)場(chǎng)沸騰

十三 2024-12-14 11:48:48 來(lái)源：量子位

金磊 發(fā)自 凹非寺

量子位 | 公眾號(hào) QbitAI

繼李飛飛、Bengio、何愷明之后，在剛剛的NeurIPS 2024中，Ilya Sutskever最新演講也來(lái)了。

雖然時(shí)長(zhǎng)僅有15分鐘左右，但內(nèi)容依舊看頭十足。

例如這一句：

Pre-training as we know it will end.
我們所熟知的預(yù)訓(xùn)練即將終結(jié)。

而之于未來(lái)，Ilya還預(yù)測(cè)道：

what comes next is superintelligence: agentic, reasons, understands and is self aware.
接下來(lái)將是超級(jí)智能：代理、推理、理解和自我意識(shí)。

那么為何會(huì)有如此？我們一起來(lái)看看完整演講。

回顧十年技術(shù)發(fā)展

Ilya先是用一張十年前的PPT截圖開(kāi)啟了這次演講，那時(shí)候深度學(xué)習(xí)還處于探索階段。

在2014年的蒙特利爾，他和團(tuán)隊(duì)（還有Oriol Vinyals和Quoc Le）首次提出了如今成為AI領(lǐng)域基石的深度學(xué)習(xí)理念。

Ilya展示了當(dāng)時(shí)的一張PPT，揭示了他和團(tuán)隊(duì)的核心工作：自回歸模型、大型神經(jīng)網(wǎng)絡(luò)和大數(shù)據(jù)集的結(jié)合。

在十年前，這些元素并不被廣泛看作成功的保證，而今天，它們已經(jīng)成為人工智能領(lǐng)域最重要的基礎(chǔ)。

例如在談到深度學(xué)習(xí)假設(shè)時(shí)，Ilya強(qiáng)調(diào)了一個(gè)重要觀點(diǎn)：

如果有一個(gè)10層的大型神經(jīng)網(wǎng)絡(luò)，它就能在0.1秒鐘內(nèi)完成人類能做的任何事情。

他解釋說(shuō)，深度學(xué)習(xí)的核心假設(shè)是人工神經(jīng)元與生物神經(jīng)元的相似性。

基于這一假設(shè)，如果人類能夠在0.1秒鐘內(nèi)完成某項(xiàng)任務(wù)，那么同樣的任務(wù)，一個(gè)訓(xùn)練良好的10層神經(jīng)網(wǎng)絡(luò)也能完成。

這一假設(shè)推動(dòng)了深度學(xué)習(xí)的研究，并最終實(shí)現(xiàn)了當(dāng)時(shí)看似大膽的目標(biāo)。

Ilya還介紹了自回歸模型的核心思想：通過(guò)訓(xùn)練模型預(yù)測(cè)序列中的下一個(gè)token，當(dāng)模型預(yù)測(cè)得足夠準(zhǔn)確時(shí)，它就能捕捉到整個(gè)序列的正確分布。

這一思想為后來(lái)的語(yǔ)言模型奠定了基礎(chǔ)，特別是在自然語(yǔ)言處理領(lǐng)域的應(yīng)用。

當(dāng)然除了“押對(duì)寶”的技術(shù)之外，也有“押錯(cuò)”的。

LSTM（長(zhǎng)短期記憶網(wǎng)絡(luò)）就是其中之一。

Ilya提到LSTM是深度學(xué)習(xí)研究者在Transformer之前的主要技術(shù)之一。

盡管LSTM在當(dāng)時(shí)為神經(jīng)網(wǎng)絡(luò)提供了強(qiáng)大的能力，但它的復(fù)雜性和局限性也顯而易見(jiàn)。

另一個(gè)便是并行化（parallelization）。

盡管現(xiàn)在我們知道pipeline并不是一個(gè)好主意，但當(dāng)時(shí)他們通過(guò)在每個(gè)GPU上運(yùn)行一層網(wǎng)絡(luò)，實(shí)現(xiàn)了3.5倍的速度提升。

Ilya認(rèn)為，規(guī)模假設(shè)（scaling hypothesis）是深度學(xué)習(xí)成功的關(guān)鍵。

這一假設(shè)表明，如果你有一個(gè)非常大的數(shù)據(jù)集，并訓(xùn)練一個(gè)足夠大的神經(jīng)網(wǎng)絡(luò)，那么成功幾乎是可以預(yù)見(jiàn)的。

這個(gè)觀點(diǎn)已經(jīng)成為今天深度學(xué)習(xí)領(lǐng)域的核心法則。

Ilya進(jìn)一步闡述了連接主義的思想，認(rèn)為人工神經(jīng)元與生物神經(jīng)元之間的相似性給了我們信心，認(rèn)為即使不完全模仿人腦的結(jié)構(gòu)，巨大的神經(jīng)網(wǎng)絡(luò)也能完成與人類相似的任務(wù)。

預(yù)訓(xùn)練時(shí)代即將結(jié)束

基于上述技術(shù)的發(fā)展，也讓我們迎來(lái)了預(yù)訓(xùn)練的時(shí)代。

預(yù)訓(xùn)練是推動(dòng)所有進(jìn)步的動(dòng)力，包括大型神經(jīng)網(wǎng)絡(luò)和大規(guī)模數(shù)據(jù)集。

但I(xiàn)lya接下來(lái)預(yù)測(cè)說(shuō)：

雖然計(jì)算能力在不斷增長(zhǎng)，硬件和算法的進(jìn)步使得神經(jīng)網(wǎng)絡(luò)的訓(xùn)練效率得到了提升，但數(shù)據(jù)的增長(zhǎng)卻已接近瓶頸。

他認(rèn)為，數(shù)據(jù)是AI的化石燃料，隨著全球數(shù)據(jù)的限制，未來(lái)人工智能將面臨數(shù)據(jù)瓶頸。

雖然當(dāng)前我們?nèi)匀豢梢允褂矛F(xiàn)有數(shù)據(jù)進(jìn)行有效訓(xùn)練，但I(xiàn)lya認(rèn)為這一增長(zhǎng)趨勢(shì)終將放緩，預(yù)訓(xùn)練的時(shí)代也會(huì)逐步結(jié)束。

超級(jí)智能將是未來(lái)

在談到未來(lái)的發(fā)展方向時(shí)，Ilya提到了“Agent”和“合成數(shù)據(jù)”的概念。

許多專家都在討論這些話題，認(rèn)為Agent系統(tǒng)和合成數(shù)據(jù)將是突破預(yù)訓(xùn)練瓶頸的關(guān)鍵。

Agent系統(tǒng)指的是能夠自主推理和決策的人工智能，而合成數(shù)據(jù)則可以通過(guò)模擬環(huán)境創(chuàng)造新的數(shù)據(jù)，彌補(bǔ)現(xiàn)實(shí)世界數(shù)據(jù)的不足。

Ilya還引用了一個(gè)生物學(xué)上的例子，展示了哺乳動(dòng)物身體與大腦大小的關(guān)系，暗示不同生物可能通過(guò)不同的“規(guī)模法則”進(jìn)化出不同的智能表現(xiàn)。

這一思想為深度學(xué)習(xí)領(lǐng)域的進(jìn)一步擴(kuò)展提供了啟示，表明人工智能也許可以通過(guò)不同的方式突破目前的規(guī)模限制。

Ilya最后談到了超級(jí)智能的前景。

他指出，雖然當(dāng)前的語(yǔ)言模型和AI系統(tǒng)在某些任務(wù)上表現(xiàn)出超人類的能力，但它們?cè)谕评頃r(shí)仍顯得不穩(wěn)定和不可預(yù)測(cè)。

推理越多，系統(tǒng)變得越不可預(yù)測(cè)，這一點(diǎn)在一些復(fù)雜任務(wù)中表現(xiàn)得尤為突出。

他還提到：

目前的AI系統(tǒng)還不能真正理解和推理，雖然它們能模擬人類的直覺(jué)，但未來(lái)的AI將會(huì)在推理和決策方面展現(xiàn)出更加不可預(yù)測(cè)的能力。

Ilya進(jìn)一步推測(cè)，未來(lái)的AI將不僅僅是執(zhí)行任務(wù)的工具，而會(huì)發(fā)展成“Agent”，能夠自主進(jìn)行推理和決策，甚至可能具備某種形式的自我意識(shí)。

這將是一個(gè)質(zhì)的飛躍，AI將不再是人類的延伸，而是一個(gè)具有獨(dú)立智能的存在。

參考鏈接：
https://x.com/vincentweisser/status/1867719020444889118