剛剛，諾貝爾物理學(xué)獎(jiǎng)?lì)C給AI教父！

衡宇 2024-10-08 19:00:30 來源：量子位

編輯部 發(fā)自 凹非寺

量子位 | 公眾號(hào) QbitAI

諾貝爾物理學(xué)獎(jiǎng)，今年頒給AI！

機(jī)器學(xué)習(xí)先驅(qū)Hinton、Hopfield共同獲獎(jiǎng)，出乎所有人意料。

沒錯(cuò)，不是事前預(yù)測中熱門的凝聚態(tài)或量子物理等方向，就是AI，是機(jī)器學(xué)習(xí)，更具體來說，神經(jīng)網(wǎng)絡(luò)。

以表彰他們?yōu)槔萌斯ど窠?jīng)網(wǎng)絡(luò)進(jìn)行機(jī)器學(xué)習(xí)做出的基礎(chǔ)性發(fā)現(xiàn)和發(fā)明”。

那么，他們的貢獻(xiàn)與物理關(guān)聯(lián)何在呢？

諾貝爾獎(jiǎng)委員會(huì)揭秘：

他們利用了物理學(xué)方法來尋找信息的特征，構(gòu)建了為當(dāng)今強(qiáng)大的機(jī)器學(xué)習(xí)奠定基礎(chǔ)的方法。

Hopfield提出的“Hopfield神經(jīng)網(wǎng)絡(luò)”，以相當(dāng)于物理學(xué)中自旋系統(tǒng)能量的方式進(jìn)行描述。

Hinton提出的“玻爾茲曼機(jī)”，則使用了統(tǒng)計(jì)物理學(xué)中的工具。

后來Hinton在這項(xiàng)工作的基礎(chǔ)上，幫助啟動(dòng)了當(dāng)前機(jī)器學(xué)習(xí)的爆炸性發(fā)展，也就是我們熟知的深度學(xué)習(xí)革命了。

人工神經(jīng)網(wǎng)絡(luò)的第一塊重要基石

約翰·霍普菲爾德（John Joseph Hopfield）出生于1933年7月15日。

1954年獲得斯沃斯莫爾學(xué)院物理學(xué)學(xué)士學(xué)位。1958年在康奈爾大學(xué)獲得博士學(xué)位。

他早期聚焦于物理化學(xué)和凝聚態(tài)領(lǐng)域研究。后來在貝爾實(shí)驗(yàn)室工作期間，對分子生物學(xué)產(chǎn)生了濃厚興趣。

從20世紀(jì)40年代起，研究人員開始推理大腦神經(jīng)元和突觸網(wǎng)絡(luò)背后的數(shù)學(xué)邏輯。

后來，人們便開始嘗試?yán)糜?jì)算機(jī)來模擬大腦網(wǎng)絡(luò)功能。也就是開始構(gòu)建人工神經(jīng)網(wǎng)絡(luò)。

在這些網(wǎng)絡(luò)中，大腦的神經(jīng)元被賦予不同值的節(jié)點(diǎn)所模仿，突觸由節(jié)點(diǎn)之間的連接表示，這些連接可以變得更強(qiáng)或更弱。唐納德·赫布的假設(shè)仍然被用作通過稱為訓(xùn)練的過程更新人工網(wǎng)絡(luò)的基本規(guī)則之一。

之后很長一段時(shí)間里，學(xué)界都在嘗試用數(shù)學(xué)、物理的方法來探索生物神經(jīng)學(xué)。

比如Hopfield，他曾利用他在物理學(xué)的背景來探索分子生物學(xué)的理論問題。

當(dāng)他被邀請參加一個(gè)關(guān)于神經(jīng)科學(xué)的會(huì)議時(shí)，他遇到了關(guān)于大腦結(jié)構(gòu)的研究。他對所學(xué)到的東西感到著迷，并開始思考簡單神經(jīng)網(wǎng)絡(luò)的動(dòng)態(tài)。

當(dāng)神經(jīng)元一起作用時(shí)，它們可以產(chǎn)生新的和強(qiáng)大的特性，這些特性對于只觀察網(wǎng)絡(luò)單獨(dú)組件的人來說并不明顯。

1980年，Hopfield離開了他在普林斯頓大學(xué)的職位，他的研究興趣已經(jīng)超出了他在物理學(xué)的同事們工作的領(lǐng)域，他跨越大陸搬到了加利福尼亞州帕薩迪納的加州理工學(xué)院（Caltech），那里他可以免費(fèi)使用計(jì)算機(jī)資源進(jìn)行實(shí)驗(yàn)，并發(fā)展他對神經(jīng)網(wǎng)絡(luò)的想法。

然而，他并沒有放棄他在物理學(xué)方面的基礎(chǔ)，并在其中找到了靈感，理解了如何系統(tǒng)地使用許多小組件一起工作可以產(chǎn)生新的和有趣的現(xiàn)象。

他特別受益于對磁性材料的學(xué)習(xí)，這些材料由于它們的原子自旋——一種使每個(gè)原子成為微小磁鐵的屬性——具有特殊特性。

鄰近原子的自旋相互影響；這可以允許形成自旋方向相同的域。他能夠通過使用描述材料如何發(fā)展的物理學(xué)來構(gòu)建一個(gè)具有節(jié)點(diǎn)和連接的模型網(wǎng)絡(luò)，當(dāng)自旋相互影響時(shí)。

大腦的神經(jīng)網(wǎng)絡(luò)是由具有先進(jìn)內(nèi)部機(jī)制的活細(xì)胞神經(jīng)元構(gòu)成的。它們可以通過突觸向彼此發(fā)送信號(hào)。當(dāng)我們學(xué)習(xí)事物時(shí)，一些神經(jīng)元之間的連接變得更強(qiáng)，而其他連接變得更弱。

人工神經(jīng)網(wǎng)絡(luò)是由編碼有值的節(jié)點(diǎn)構(gòu)建的。節(jié)點(diǎn)相互連接，當(dāng)網(wǎng)絡(luò)被訓(xùn)練時(shí)，同時(shí)活躍的節(jié)點(diǎn)之間的連接變得更強(qiáng)，否則它們變得更弱。

Hopfield構(gòu)建的網(wǎng)絡(luò)節(jié)點(diǎn)通過不同強(qiáng)度的連接相互連接。

每個(gè)節(jié)點(diǎn)可以存儲(chǔ)一個(gè)單獨(dú)的值——在Hopfield的第一次工作中，這可以是0或1，就像黑白圖片中的像素格一樣。

Hopfield用一個(gè)屬性來描述網(wǎng)絡(luò)的總體狀態(tài)，這相當(dāng)于物理學(xué)中自旋系統(tǒng)中的能量；能量是使用一個(gè)公式計(jì)算的，該公式使用所有節(jié)點(diǎn)的值和它們之間所有連接的強(qiáng)度?；羝辗茽柕戮W(wǎng)絡(luò)通過將圖像輸入到節(jié)點(diǎn)，賦予它們黑色（0）或白色（1）的值來編程。

然后，網(wǎng)絡(luò)的連接使用能量公式進(jìn)行調(diào)整，以便保存的圖像獲得低能量。當(dāng)另一個(gè)模式輸入到網(wǎng)絡(luò)時(shí)，有一個(gè)規(guī)則是逐個(gè)檢查節(jié)點(diǎn)，看看如果改變該節(jié)點(diǎn)的值，網(wǎng)絡(luò)的能量是否會(huì)降低。

如果發(fā)現(xiàn)如果黑色像素是白色，能量會(huì)降低，它就會(huì)改變顏色。這個(gè)過程繼續(xù)進(jìn)行，直到無法找到進(jìn)一步的改進(jìn)。

當(dāng)達(dá)到這一點(diǎn)時(shí)，網(wǎng)絡(luò)通常已經(jīng)在它被訓(xùn)練的原始圖像上復(fù)制了自己。

如果只保存一個(gè)模式，這可能看起來并不那么引人注目。

也許你想知道為什么你不只是保存圖像本身并與正在測試的另一個(gè)圖像進(jìn)行比較，但Hopfield的方法之所以特別，是因?yàn)榭梢酝瑫r(shí)保存多張圖片，網(wǎng)絡(luò)通常可以在它們之間進(jìn)行區(qū)分。

Hopfield將搜索網(wǎng)絡(luò)以尋找保存的狀態(tài)比作在有摩擦減緩其運(yùn)動(dòng)的山峰和山谷景觀中滾動(dòng)一個(gè)球。

如果球被放在一個(gè)特定的位置，它會(huì)滾進(jìn)最近的山谷并在那里停止。如果網(wǎng)絡(luò)被給予一個(gè)接近保存模式之一的模式，它將以同樣的方式繼續(xù)前進(jìn)，直到它最終到達(dá)能量景觀中的山谷底部，從而找到記憶中最接近的模式。

Hopfield等人之后更進(jìn)一步深入研究霍普菲爾德網(wǎng)絡(luò)，包括可以存儲(chǔ)任何值的節(jié)點(diǎn)，不僅僅是0或1。

如果將節(jié)點(diǎn)視為圖片中的像素，它們可以有不同的顏色，不僅僅是黑色或白色。

改進(jìn)的方法使得保存更多圖片成為可能，并且即使它們非常相似，也能區(qū)分它們。同樣可以識(shí)別或重建任何信息，只要它由許多數(shù)據(jù)點(diǎn)構(gòu)建。

不過記住一個(gè)圖像是一回事，解釋它所代表的內(nèi)容是另一回事。

即使是非常小的孩子也可以指向不同的動(dòng)物，并自信地說它是狗、貓還是松鼠。

他們可能偶爾出錯(cuò)，但是能很快正確分辨。孩子甚至可以在沒有看到任何圖表或解釋物種或哺乳動(dòng)物等概念的情況下學(xué)習(xí)這一點(diǎn)。在遇到每種動(dòng)物的幾個(gè)例子后，不同的類別在孩子的腦海中形成了。人們通過體驗(yàn)周圍的環(huán)境來學(xué)習(xí)識(shí)別貓，或理解一個(gè)詞，或進(jìn)入一個(gè)房間并注意到有些事情已經(jīng)改變。

當(dāng)Hopfield發(fā)表他的聯(lián)想記憶文章時(shí)，Hinton正在卡內(nèi)基梅隆大學(xué)工作。

他之前在英國和蘇格蘭學(xué)習(xí)實(shí)驗(yàn)心理學(xué)和人工智能，并想知道機(jī)器是否能夠以類似于人類的方式學(xué)習(xí)處理模式，為排序和解釋信息找到自己的類別。

Hinton：現(xiàn)在是圖靈諾貝爾雙料得主

Hinton的研究正是建立在霍普菲爾德神經(jīng)網(wǎng)絡(luò)之上。

當(dāng)時(shí)Hinton在卡內(nèi)基梅隆大學(xué)工作，他之前曾在英國研究過實(shí)驗(yàn)心理學(xué)和人工智能，想知道機(jī)器是否可以學(xué)習(xí)，是否可以與人類類似的方式處理信息。

他與同事Terrence Sejnowski一起，利用統(tǒng)計(jì)物理學(xué)的思想擴(kuò)展霍普菲爾德網(wǎng)絡(luò)。

統(tǒng)計(jì)物理學(xué)描述由許多相似元素組成的系統(tǒng)，例如氣體中的分子。

追蹤氣體中的所有單獨(dú)分子是困難或不可能的，但可以將它們集中考慮以確定氣體的壓力或溫度等總體特性。

氣體分子有許多潛在的方式以各自的速度在其體積中擴(kuò)散，可以使用統(tǒng)計(jì)物理學(xué)來分析各個(gè)組件可以共同存在的狀態(tài)，并計(jì)算它們發(fā)生的概率。

十九世紀(jì)物理學(xué)家路德維?！げ柶澛梅匠堂枋隽擞行顟B(tài)比其他狀態(tài)更有可能發(fā)生。

Hinton利用了該方程，提出玻爾茲曼機(jī)。

玻爾茲曼機(jī)與今天的深度神經(jīng)網(wǎng)絡(luò)一樣，可以從例子中學(xué)習(xí)，通過更新網(wǎng)絡(luò)連接中的值來進(jìn)行訓(xùn)練。

最初版本的玻爾茲曼機(jī)效率相當(dāng)?shù)停?strong>到20世紀(jì)90年代，許多研究人員對人工神經(jīng)網(wǎng)絡(luò)失去了興趣，Hinton是少數(shù)堅(jiān)持下來的人。

到2006年，他和同事們一起在玻爾茲曼機(jī)的基礎(chǔ)上開發(fā)了“深度信念網(wǎng)絡(luò)”（Deep Belief Nets），其中提出了無監(jiān)督的逐層訓(xùn)練方法，后來成為深度學(xué)習(xí)的基礎(chǔ)。

在最后，諾貝爾獎(jiǎng)委員會(huì)提到，Hopfield和Hinton兩人在80年代的工作為2010年左右開始的機(jī)器學(xué)習(xí)革命奠定了基礎(chǔ)。

物理學(xué)為機(jī)器學(xué)習(xí)的發(fā)展貢獻(xiàn)了工具，相應(yīng)的，現(xiàn)在機(jī)器學(xué)習(xí)也惠及了物理研究。

例如，機(jī)器學(xué)習(xí)長期應(yīng)用于希格斯粒子發(fā)現(xiàn)等諾獎(jiǎng)?lì)I(lǐng)域，用于處理海量數(shù)據(jù);它還可用于減少引力波測量中的噪聲，或搜尋系外行星。

近年來，這項(xiàng)技術(shù)還開始被用于計(jì)算和預(yù)測分子及材料的性質(zhì)，如計(jì)算決定蛋白質(zhì)功能的分子結(jié)構(gòu)，或設(shè)計(jì)性能更佳、可用于高效太陽能電池的新型材料。

One More Thing

眾所周知，作為深度學(xué)習(xí)三巨頭之一的Hinton，也是2018年圖靈獎(jiǎng)得主。

往前看，在Hinton之前，同樣一手諾貝爾獎(jiǎng)一手圖靈獎(jiǎng)的科學(xué)家，有且僅有一位。

赫伯特·亞歷山大·西蒙（Herbert Alexander Simon，中文名司馬賀）。

與Hinton一樣，西蒙也是先拿圖靈獎(jiǎng)，再拿諾貝爾獎(jiǎng)——

1975年，西蒙和艾倫·紐厄爾（Allen Newell）因在人工智能、人類心理識(shí)別和列表處理等方面進(jìn)行的基礎(chǔ)研究，榮獲圖靈獎(jiǎng)。

（他倆是符號(hào)主義的創(chuàng)始人和代表人物，提出了物理符號(hào)系統(tǒng)假說）

1978年，西蒙因?yàn)椤坝邢蘩硇哉f”和“決策理論”獲諾貝爾經(jīng)濟(jì)學(xué)獎(jiǎng)。

參考鏈接：
[1]https://www.nobelprize.org/
[2]https://www.cs.toronto.edu/~fritz/absps/ncfast.pdf