白交 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI
千呼萬喚始出來，馬毅教授的AI綜述論文終于出爐！
耗時(shí)三個(gè)多月，聯(lián)合神經(jīng)科學(xué)家曹穎、計(jì)算機(jī)大牛沈向洋，協(xié)作完成。
據(jù)本人描述，這篇論文是將他“過去五年的工作以及智能七十多年的發(fā)展有機(jī)結(jié)合起來”，并且還表示：
一生從未在一篇文章上花這么多精力和時(shí)間。
具體而言，就是“理出了智能的起源以及計(jì)算原理的基本輪廓和框架，能讓大家認(rèn)識到這種理論聯(lián)系實(shí)踐的可能性?！?/p>
此前在社交網(wǎng)絡(luò)上預(yù)告時(shí)，許多網(wǎng)友都期待十足。
結(jié)果今天剛發(fā)不久，就有學(xué)者表示，正好要設(shè)計(jì)新的生成模型，給了我靈感。
來看看這是篇怎樣的論文？
兩大原則：簡約和自洽
過去十年中，人工智能的進(jìn)展主要依賴于訓(xùn)練同質(zhì)化的黑箱模型，決策過程、特征表示等方面在很大程度上都是難以解釋的。
而這種端到端的粗暴訓(xùn)練，不僅導(dǎo)致了模型大小、訓(xùn)練數(shù)據(jù)以及計(jì)算成本不斷增長，而且在實(shí)踐中還伴隨著許多問題。
學(xué)到的表征缺乏豐富性；訓(xùn)練中缺乏穩(wěn)定性；缺乏適應(yīng)性，容易出現(xiàn)災(zāi)難性遺忘……
基于這樣的背景，研究人員假設(shè)，在實(shí)踐中出現(xiàn)這些問題的根本原因之一，是對智能系統(tǒng)的功能和組織原則缺乏系統(tǒng)和綜合的理解。
而這背后是否存在一個(gè)統(tǒng)一的方法來解釋。
為此這篇文章提出了兩個(gè)基本原則——簡約和自洽，分別回答兩個(gè)關(guān)于學(xué)習(xí)的基本問題。
1、學(xué)什么：從數(shù)據(jù)中學(xué)習(xí)的目標(biāo)是什么，如何衡量？
2、如何學(xué)：我們?nèi)绾瓮ㄟ^高效和有效的計(jì)算來實(shí)現(xiàn)這樣一個(gè)目標(biāo)？
他們認(rèn)為這兩個(gè)原則制約著任何智能系統(tǒng)的功能和設(shè)計(jì)，而且完全可以以可測量和可計(jì)算的方式重新表述。
以簡約性為例。智能的基礎(chǔ)是環(huán)境中的低維結(jié)構(gòu)，這讓預(yù)測和泛化變成可能，這也就是簡約原則。而應(yīng)該如何來度量？本文提出了個(gè)幾何公式來衡量簡約性。
基于這兩個(gè)原則， 得出了感知/智能的通用架構(gòu)：壓縮器和生成器之間的閉環(huán)轉(zhuǎn)錄。
它暗示了兩者之間的交互應(yīng)該是一種追逃游戲。在這個(gè)游戲中，他們扮演聯(lián)合目標(biāo)函數(shù)的對立面，而非自動編碼器。
這也是此框架的主要優(yōu)勢之一，通過自我監(jiān)督和自我批判進(jìn)行自我學(xué)習(xí)，這是最自然和有效的。
從根本上說，這個(gè)框架可以擴(kuò)展到完全無監(jiān)督的環(huán)境中， 這時(shí)候只需將每個(gè)新樣本和它的增量做看作新的累。
自監(jiān)督類型+自我批評的游戲機(jī)制，這樣一個(gè)閉環(huán)轉(zhuǎn)錄就會很容易學(xué)會。
值得一提的是，這種學(xué)習(xí)特征的結(jié)構(gòu)，類似于在靈長類動物的大腦中觀察到的類別選擇區(qū)域的結(jié)構(gòu)。
作者之一曹穎表示，這個(gè)框架與此前諸多想法類似，包括預(yù)測編碼、對比學(xué)習(xí)、生成模型、Transformer……
除此之外，他們還給出了些新方向，比如CV與圖形學(xué)之間的閉環(huán)關(guān)系。
最后整合在一起，一個(gè)自主的智能體，學(xué)習(xí)某種任務(wù)的最佳策略，是將感知（反饋）、學(xué)習(xí)、優(yōu)化和行動整合到一個(gè)閉環(huán)中。
它統(tǒng)一并解釋了現(xiàn)代深度網(wǎng)絡(luò)和許多人工智能實(shí)踐的演變。雖然整個(gè)文章主要以視覺數(shù)據(jù)的建模為例。
但研究人員相信這兩個(gè)原則，將統(tǒng)一對廣泛自主智能系統(tǒng)的理解，并為理解大腦提供一個(gè)框架。
最后，他們還以熱力學(xué)之父的話作為結(jié)尾。
大致意思是只有當(dāng)你能測量，并用數(shù)字來表示你所講的東西時(shí)，你就對它有了解；如若不然，它可能是知識的開始，但在你的思想中，你幾乎沒有推進(jìn)到科學(xué)的階段。
One More Thing
有意思的是，就在提交arXiv之際，馬毅教授還在網(wǎng)絡(luò)上求助：
有人就不能寫一個(gè)接口嗎？一鍵提交論文的那種。而不是花費(fèi)大量時(shí)間在修改論文。
網(wǎng)友們也紛紛支招：使用LaTeX 編譯器，而不是PdfLaTeX。
還有人直接上圖。
好了，感興趣的旁友可戳下方鏈接了解更多～
論文鏈接：
https://arxiv.org/abs/2207.04630
參考鏈接：
[1]https://weibo.com/u/3235040884?profile_ftype=1&is_all=1#1657668935671
[2]https://twitter.com/YiMaTweets/status/1546703643692384256
[3]https://twitter.com/doristsao/status/1546722505091534851
— 完 —
量子位 QbitAI · 頭條號簽約
關(guān)注我們，第一時(shí)間獲知前沿科技動態(tài)
