物理諾獎(jiǎng)得主最新演講，Hinton帶傷飛到瑞典，LSTM之父：都是剽竊

奇月 2024-12-12 12:42:20 來源：量子位

奇月 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI

2024年諾貝爾物理學(xué)獎(jiǎng)的兩位獲獎(jiǎng)?wù)逬ohn Hopfield和Geoffrey Hinton最近在斯德哥爾摩大學(xué)發(fā)表了最新的演講。

現(xiàn)場(chǎng)的氛圍非常熱烈！

看到Hopfield教授即使借助拐杖也親自到達(dá)現(xiàn)場(chǎng)發(fā)表了演講，Hinton教授也忍著腰痛專程飛到瑞典，讓觀眾們非常敬佩。

在這次活動(dòng)中，John Hopfield教授的演講主題是“物理學(xué)是一種觀點(diǎn)”，講述他個(gè)人的科研經(jīng)歷和做科研的思考模式。

他坦白了很多關(guān)于科研和對(duì)物理的想法：

如何選擇問題是科研成果的關(guān)鍵因素
大腦是如何產(chǎn)生思想的，這對(duì)我來說是人類最深?yuàn)W的問題
我認(rèn)為物理學(xué)有助于理解人類和世界

Geoffrey Hinton教授則用通俗易懂的方式講述了Hopfield網(wǎng)絡(luò)和玻爾茲曼機(jī)器的原理與發(fā)展，全程沒有用一個(gè)方程式。

當(dāng)我們最終了解了大腦是如何學(xué)習(xí)的時(shí)候，我相信睡眠的作用一定是非常重要的，對(duì)此我非常樂觀

兩位教授結(jié)束演講時(shí)，臺(tái)下的觀眾也是忍不住都站起來向他們鼓掌致敬。

以下是現(xiàn)場(chǎng)演講內(nèi)容，在不改變?cè)獾那闆r下，量子位對(duì)部分篇幅做了調(diào)整。

John Hopfield：物理學(xué)是一種觀點(diǎn)

約翰·霍普菲爾德于1933年出生于芝加哥，1954年在威廉·莫爾學(xué)院獲得第一個(gè)學(xué)位，1958年在康奈爾大學(xué)獲得博士學(xué)位。1964年，他被任命為普林斯頓大學(xué)物理學(xué)教授，1980年成為加州理工學(xué)院化學(xué)和生物學(xué)教授，之后他回到普林斯頓大學(xué)，目前是分子生物學(xué)名譽(yù)教授。

（以下為John Hopfield教授發(fā)言）

我的第一份全職工作是在比爾電話公司發(fā)明晶體管的實(shí)驗(yàn)室，我加入了一個(gè)六人小組。初入實(shí)驗(yàn)室時(shí)，我在新辦公室打開書籍期刊，參觀庫(kù)存室獲取文具后，思考著下一步工作。

在科研中，多數(shù)人常按部就班，很少深入思考研究方向的選擇，而這恰是科研成果的關(guān)鍵因素。我在科研中撰寫了40余篇論文，幾年前形成的工作基礎(chǔ)最終發(fā)展成霍普菲爾德模型，相關(guān)觀點(diǎn)源于對(duì)隨機(jī)事件的分析。

我成長(zhǎng)于物理學(xué)家家庭，自幼受物理學(xué)觀念熏陶，喜歡探索事物原理，如拆解自行車、進(jìn)行化學(xué)實(shí)驗(yàn)等，這讓我能夠理解復(fù)雜系統(tǒng)運(yùn)作。上高中時(shí)，化學(xué)老非老師常出色，物理老師卻對(duì)電磁學(xué)原理理解不足，這影響了我大學(xué)專業(yè)選擇，但最終我決定在斯沃斯莫爾學(xué)院專注物理。

進(jìn)入物理學(xué)研究生院后，我在康奈爾大學(xué)學(xué)習(xí)，期間與Albert Overhauser合作，從他的研究列表中選定晶體中激子輻射壽命相關(guān)問題，開啟研究。獲得博士學(xué)位后，我在理論小組任職，后結(jié)識(shí)化學(xué)家David G. Thomas，成立理論實(shí)驗(yàn)聯(lián)盟，取得成果并獲奧利弗里·巴克利固體物理學(xué)獎(jiǎng)。

之后，我在研究中遇到瓶頸，前往劍橋大學(xué)尋找新方向，回普林斯頓后擔(dān)任半導(dǎo)體組顧問，接觸到血紅蛋白相關(guān)實(shí)驗(yàn)，為我從凝聚態(tài)物理轉(zhuǎn)向生物物理提供契機(jī)，我也受Linus Pauling觀點(diǎn)啟發(fā)研究蛋白質(zhì)合成問題并取得成果。

1974年論文影響我對(duì)生物學(xué)問題的研究思路，促使我思考神經(jīng)元網(wǎng)絡(luò)特性等。1977年在哥本哈根舉辦研討會(huì)后，我尋求跨學(xué)科突破，受邀參加神經(jīng)科學(xué)會(huì)議，雖然當(dāng)時(shí)一無所知，后來加入項(xiàng)目獲得神經(jīng)生物學(xué)靈感。

1979年，我轉(zhuǎn)任化學(xué)和生物學(xué)教授，發(fā)現(xiàn)了學(xué)科聯(lián)系，提出新計(jì)算見解并撰寫論文，該論文推動(dòng)了相關(guān)領(lǐng)域發(fā)展。

后來，我發(fā)現(xiàn)霍普菲爾德模型網(wǎng)絡(luò)問題，2015年與他人合作提出密集聯(lián)想記憶模型，期望推動(dòng)人工智能發(fā)展。

我非常尊重各個(gè)領(lǐng)域的專家，積極參與跨學(xué)科互動(dòng)，我認(rèn)為物理學(xué)有助于理解人類與宇宙。

Hinton：Hopfield網(wǎng)絡(luò)與Boltzmann機(jī)的發(fā)展

杰弗里·辛頓，1947年生于英國(guó)倫敦，獲劍橋大學(xué)實(shí)驗(yàn)心理學(xué)博士學(xué)位，曾在愛丁堡大學(xué)從事人工智能博士后研究，在多所大學(xué)任職，現(xiàn)從事學(xué)術(shù)研究，并在谷歌公司任職。

（以下為Geoffrey Hinton教授發(fā)言）

今天我將不用任何方程式，向普通觀眾講解Hopfield網(wǎng)絡(luò)。

先來看一個(gè)二元神經(jīng)元版本的小霍普菲爾德網(wǎng)絡(luò)，其神經(jīng)元間有對(duì)稱加權(quán)連接，網(wǎng)絡(luò)全局狀態(tài)是配置，配置有優(yōu)良性（單元對(duì)權(quán)重總和），能量是優(yōu)良性相反數(shù)，網(wǎng)絡(luò)會(huì)穩(wěn)定于能量最小值。

霍普菲爾德提出用能量最小值對(duì)應(yīng)記憶，通過二元決策規(guī)則清理不完整記憶，實(shí)現(xiàn)內(nèi)容可尋址內(nèi)存。

特里·西諾斯基和我提出用網(wǎng)絡(luò)構(gòu)建感官輸入解釋，網(wǎng)絡(luò)含可見和隱藏神經(jīng)元，可見接收感官輸入（如二進(jìn)制圖像），隱藏構(gòu)建解釋，能量代表解釋好壞程度，我們需要低能量解釋。

以線條畫為例，有不同三維解釋，我們要讓網(wǎng)絡(luò)給出解釋。

先將線條轉(zhuǎn)化為線條神經(jīng)元激活，線條神經(jīng)元與三維邊緣神經(jīng)元連接，考慮感知光學(xué)因素讓邊緣神經(jīng)元相互抑制，還要依據(jù)圖像線條連接原則建立連接，希望通過設(shè)置連接強(qiáng)度使網(wǎng)絡(luò)解決兩種替代解釋。

這產(chǎn)生兩個(gè)問題：一是避免陷入局部最優(yōu)的搜索問題；二是神經(jīng)網(wǎng)絡(luò)自動(dòng)學(xué)習(xí)連接的問題。

對(duì)于搜索問題，我們通過使神經(jīng)元有噪聲解決，有噪聲神經(jīng)元狀態(tài)是二元的但決策具有概率性。

用隱藏神經(jīng)元解釋二進(jìn)制圖像時(shí)，在可見單元固定圖像，隨機(jī)選隱藏神經(jīng)元根據(jù)輸入決定其狀態(tài)，持續(xù)操作使系統(tǒng)達(dá)熱平衡，此時(shí)隱藏神經(jīng)元狀態(tài)是平衡解釋，網(wǎng)絡(luò)學(xué)習(xí)正確權(quán)重使低能量狀態(tài)對(duì)應(yīng)更好的解釋，熱平衡是系統(tǒng)穩(wěn)定于概率分布（波爾茲曼分布），低能量配置概率大。

玻爾茲曼機(jī)學(xué)習(xí)目的是使網(wǎng)絡(luò)生成的圖像類似它感知到的真實(shí)圖像，有簡(jiǎn)單學(xué)習(xí)算法，含喚醒和睡眠階段。

喚醒階段固定圖像于可見單元，讓隱藏單元達(dá)熱平衡后調(diào)整連接權(quán)重，睡眠階段類似做夢(mèng)更新神經(jīng)元達(dá)熱平衡后反向調(diào)整權(quán)重，該算法平均上能讓網(wǎng)絡(luò)生成圖像過程類似感知圖像，涉及對(duì)數(shù)似然梯度概念，通過改變權(quán)重使網(wǎng)絡(luò)關(guān)注wake階段看到的數(shù)據(jù)。

但玻爾茲曼機(jī)存在問題，權(quán)重變大時(shí)熱平衡過程慢，雖然想法很好但算法太簡(jiǎn)單，可以做復(fù)雜的事情但速度受限。

后來我發(fā)現(xiàn)了受限玻爾茲曼機(jī)（RBM），其隱藏單元不相互連接，喚醒階段更新隱藏神經(jīng)元更簡(jiǎn)單，睡眠階段有捷徑雖不完全正確但實(shí)踐有效。Netflix公司就是用受限玻爾茲曼機(jī)結(jié)合其他方法推薦電影。

為構(gòu)建特征檢測(cè)器層可堆疊RBM，將前一個(gè)RBM隱藏單元活動(dòng)模式當(dāng)數(shù)據(jù)給下一個(gè)RBM，以此捕捉復(fù)雜相關(guān)性學(xué)習(xí)多組權(quán)重，堆疊后視為前饋網(wǎng)絡(luò)可進(jìn)行監(jiān)督學(xué)習(xí)，這樣初始化網(wǎng)絡(luò)學(xué)習(xí)更快。因?yàn)榫W(wǎng)絡(luò)已學(xué)習(xí)了數(shù)據(jù)結(jié)構(gòu)，后面用于學(xué)事物名稱相對(duì)容易，如識(shí)別物體方面。

One More Thing

就在演講視頻發(fā)布不久后，你懂的，LSTM之父又來搞事情了。

知名計(jì)算機(jī)科學(xué)家Jürgen Schmidhuber發(fā)表推文稱，Hopfield & Hinton的2024年諾貝爾物理學(xué)獎(jiǎng)是抄襲得來的。

Jürgen聲稱，這兩位教授重新發(fā)表了烏克蘭研究者Ivakhnenko和日本研究者Amari在20世紀(jì)60年代和1970年代開發(fā)的方法以及其他技術(shù)，且沒有引用原作者。

目前這一帖子在X上已經(jīng)獲得了2.1k點(diǎn)贊、超過44萬次瀏覽。

有網(wǎng)友表示如果事情是真的，那將比剽竊更糟糕：

不過也有網(wǎng)友覺得這是Jürgen吃不到葡萄就說葡萄酸的心理：

Jürgen還發(fā)表了一個(gè)詳細(xì)的技術(shù)報(bào)告，列出了兩位諾貝爾獲獎(jiǎng)?wù)吖ぷ鞯拇嬉芍?，感興趣的朋友可以點(diǎn)擊參考鏈接2進(jìn)一步閱讀。

參考鏈接：
[1]https://www.youtube.com/watch?v=lPIVl5eBPh8

[2]https://people.idsia.ch/~juergen/physics-nobel-2024-plagiarism.html#DLP