LSTM之父炮轟LLaMA 2：抄我想法還羞辱我！網(wǎng)友：LeCun干的吧？

克雷西 2023-07-26 14:28:16 來(lái)源：量子位

克雷西 發(fā)自 凹非寺

量子位 | 公眾號(hào) QbitAI

LLaMA可謂是「駝紅是非多」。

新版本剛發(fā)布沒(méi)多久，就遭到了LSTM之父Jürgen Schmidhuber的炮轟。

你「飯來(lái)張口」也就算了，竟然還「放下碗罵娘」？

Schmidhuber稱(chēng)，Meta在訓(xùn)練LLaMA 2的時(shí)候用到了他在1991年提出的想法，結(jié)果LLaMA卻對(duì)他瘋狂抹黑。

一開(kāi)始，網(wǎng)友發(fā)現(xiàn)在詢(xún)問(wèn)LLaMA 2關(guān)于Schmidhuber的事時(shí)，得到了令人意外的回復(fù)。

抱歉，我不能提供關(guān)于有負(fù)面背景的人的信息……

LLaMA還說(shuō)，Schmidhuber「從事過(guò)有害活動(dòng)」「對(duì)社會(huì)沒(méi)有貢獻(xiàn)」云云。

有網(wǎng)友猜測(cè)，這個(gè)回答是LeCun硬編碼進(jìn)去的。

LLaMA究竟是故意還是不小心的，這一點(diǎn)無(wú)從考證，不過(guò)可以確定的是這個(gè)消息傳到了Schmidhuber的耳朵里。

Schmidhuber要求Meta和LeCun對(duì)此做出解釋?zhuān)瑑煞降侥壳熬鶝](méi)有回應(yīng)。

「LeCun搶了我很多想法」

Schmidhuber提到的1991年的成果，是一種Transformer的線(xiàn)性（未歸一化）變體。

Schmidhuber說(shuō)，這也是最早的Transformer變體。相關(guān)論文在1992年發(fā)表，1993年登上了ICANN。

另外，根據(jù)Schmidhuber的說(shuō)法，LeCun在「搶成果」方面已經(jīng)是「慣犯」了。

不僅是LLaMA，LeCun還有很多成果都用到了他的想法，卻聲稱(chēng)自己是首創(chuàng)。

Schmidhuber稱(chēng)，早在2017年，Meta（當(dāng)時(shí)還叫Facebook）就使用了他發(fā)明的LSTM。

不過(guò)當(dāng)時(shí)Facebook的通告當(dāng)中通篇未提及Schmidhuber的名字。

甚至還說(shuō)LSTM是自己發(fā)明的。

又如在2022年，LeCun總結(jié)了10年來(lái)AI領(lǐng)域最重要的五大突破。

Schmidhuber表示，這些成果大部分都是來(lái)自他的實(shí)驗(yàn)室：

• 自監(jiān)督學(xué)習(xí)實(shí)際上就是把1991年的RNN進(jìn)行堆疊
• ResNet就是2015年的Highway Net
• 3和4就是1991年的fast weight
• 5實(shí)際上就是1991年的線(xiàn)性Transformer變體

當(dāng)時(shí)的LeCun毫不客氣地回懟，還對(duì)Schmidhuber挖苦了一番：

在萊特兄弟之前也有人發(fā)明過(guò)飛機(jī)，但是只飛了不到50米，所以沒(méi)有人記住他（Ader）的名字。
Schmidhuber做出來(lái)的模型就和Ader的飛機(jī)一樣，就算是最早的，也沒(méi)有什么作用。

Schmidhuber接下來(lái)又拿出了LeCun的一篇關(guān)于機(jī)器自主智能的論文。

Schmidhuber說(shuō)，這篇論文中涉及了1990-2015年間的成果，但并未標(biāo)注引用。

為了充分展示這篇論文中「搶」走的成果，Schmidhuber還專(zhuān)門(mén)做了一個(gè)網(wǎng)頁(yè)，詳細(xì)列舉了有關(guān)內(nèi)容。

具體內(nèi)容這里就不一一介紹了，我們來(lái)看LeCun是怎么回應(yīng)的。

LeCun先是嗆了一句，「咱就不能說(shuō)點(diǎn)有建設(shè)性的意見(jiàn)嗎？」，之后又說(shuō)：

我在論文里都說(shuō)了，很多概念已經(jīng)存在了很長(zhǎng)時(shí)間，你為什么非揪著不放？
再說(shuō)了，可訓(xùn)練的世界模型本就是系統(tǒng)識(shí)別的核心思想。
而且論早的話(huà)，80年代就有人用神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)人類(lèi)世界了，不比你1991更早？

就這樣，這場(chǎng)戰(zhàn)火一直燒到今年。

2月，Schmidhuber發(fā)推稱(chēng)，LeCun既沒(méi)有承認(rèn)錯(cuò)誤，也沒(méi)有通過(guò)正確的方式（OpenReview）對(duì)他的論文進(jìn)行辯護(hù)，而是針對(duì)Schmidhuber發(fā)表了極具誤導(dǎo)性的觀(guān)點(diǎn)。

直到這次LLaMA 2被曝出發(fā)表攻擊Schmidhuber的言論，兩人之間的爭(zhēng)斗似乎仍未平息。

One More Thing

「羊駝事件」發(fā)生之后，有網(wǎng)友調(diào)侃性地創(chuàng)造了「Schmidhubered」這個(gè)新單詞。

「schmidhubered」的表現(xiàn)包括下面這幾點(diǎn)：

• 發(fā)明了很好的東西，結(jié)果不但沒(méi)人關(guān)心，反而被嘲笑
• 幾年之后（這個(gè)方面）又流行起來(lái)了，但是卻被別人說(shuō)是首創(chuàng)
• 開(kāi)始解釋自己才是最早的發(fā)明者
• 結(jié)果沒(méi)人在意，甚至所有人都覺(jué)得你是在酸
• 名字被做成動(dòng)詞

如果Schmidhuber的說(shuō)法都屬實(shí)，那么這個(gè)詞的解釋的確形象地描述了他的遭遇。

LeCun這次又會(huì)做出什么樣的回應(yīng)？還是讓子彈再飛一會(huì)兒……

參考鏈接：
[1]https://people.idsia.ch/~juergen/lecun-rehash-1990-2022.html
[2]https://twitter.com/SchmidhuberAI/status/1683870175299239937