LSTM之父炮轟LLaMA 2：抄我想法還羞辱我！網(wǎng)友：LeCun干的吧？
故意的還是不小心的？
克雷西 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI
LLaMA可謂是「駝紅是非多」。
新版本剛發(fā)布沒多久，就遭到了LSTM之父Jürgen Schmidhuber的炮轟。
你「飯來張口」也就算了，竟然還「放下碗罵娘」？
Schmidhuber稱，Meta在訓(xùn)練LLaMA 2的時候用到了他在1991年提出的想法，結(jié)果LLaMA卻對他瘋狂抹黑。
一開始，網(wǎng)友發(fā)現(xiàn)在詢問LLaMA 2關(guān)于Schmidhuber的事時，得到了令人意外的回復(fù)。
抱歉，我不能提供關(guān)于有負面背景的人的信息……
LLaMA還說，Schmidhuber「從事過有害活動」「對社會沒有貢獻」云云。
有網(wǎng)友猜測，這個回答是LeCun硬編碼進去的。
LLaMA究竟是故意還是不小心的，這一點無從考證，不過可以確定的是這個消息傳到了Schmidhuber的耳朵里。
Schmidhuber要求Meta和LeCun對此做出解釋，兩方到目前均沒有回應(yīng)。
「LeCun搶了我很多想法」
Schmidhuber提到的1991年的成果，是一種Transformer的線性（未歸一化）變體。
Schmidhuber說，這也是最早的Transformer變體。相關(guān)論文在1992年發(fā)表，1993年登上了ICANN。
另外，根據(jù)Schmidhuber的說法，LeCun在「搶成果」方面已經(jīng)是「慣犯」了。
不僅是LLaMA，LeCun還有很多成果都用到了他的想法，卻聲稱自己是首創(chuàng)。
Schmidhuber稱，早在2017年，Meta（當(dāng)時還叫Facebook）就使用了他發(fā)明的LSTM。
不過當(dāng)時Facebook的通告當(dāng)中通篇未提及Schmidhuber的名字。
甚至還說LSTM是自己發(fā)明的。
又如在2022年，LeCun總結(jié)了10年來AI領(lǐng)域最重要的五大突破。
Schmidhuber表示，這些成果大部分都是來自他的實驗室：
- 自監(jiān)督學(xué)習(xí)實際上就是把1991年的RNN進行堆疊
- ResNet就是2015年的Highway Net
- 3和4就是1991年的fast weight
- 5實際上就是1991年的線性Transformer變體
當(dāng)時的LeCun毫不客氣地回懟，還對Schmidhuber挖苦了一番：
在萊特兄弟之前也有人發(fā)明過飛機，但是只飛了不到50米，所以沒有人記住他（Ader）的名字。
Schmidhuber做出來的模型就和Ader的飛機一樣，就算是最早的，也沒有什么作用。
Schmidhuber接下來又拿出了LeCun的一篇關(guān)于機器自主智能的論文。
Schmidhuber說，這篇論文中涉及了1990-2015年間的成果，但并未標注引用。
為了充分展示這篇論文中「搶」走的成果，Schmidhuber還專門做了一個網(wǎng)頁，詳細列舉了有關(guān)內(nèi)容。
具體內(nèi)容這里就不一一介紹了，我們來看LeCun是怎么回應(yīng)的。
LeCun先是嗆了一句，「咱就不能說點有建設(shè)性的意見嗎？」，之后又說：
我在論文里都說了，很多概念已經(jīng)存在了很長時間，你為什么非揪著不放？
再說了，可訓(xùn)練的世界模型本就是系統(tǒng)識別的核心思想。
而且論早的話，80年代就有人用神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)人類世界了，不比你1991更早？
就這樣，這場戰(zhàn)火一直燒到今年。
2月，Schmidhuber發(fā)推稱，LeCun既沒有承認錯誤，也沒有通過正確的方式（OpenReview）對他的論文進行辯護，而是針對Schmidhuber發(fā)表了極具誤導(dǎo)性的觀點。
直到這次LLaMA 2被曝出發(fā)表攻擊Schmidhuber的言論，兩人之間的爭斗似乎仍未平息。
One More Thing
「羊駝事件」發(fā)生之后，有網(wǎng)友調(diào)侃性地創(chuàng)造了「Schmidhubered」這個新單詞。
「schmidhubered」的表現(xiàn)包括下面這幾點：
- 發(fā)明了很好的東西，結(jié)果不但沒人關(guān)心，反而被嘲笑
- 幾年之后（這個方面）又流行起來了，但是卻被別人說是首創(chuàng)
- 開始解釋自己才是最早的發(fā)明者
- 結(jié)果沒人在意，甚至所有人都覺得你是在酸
- 名字被做成動詞
如果Schmidhuber的說法都屬實，那么這個詞的解釋的確形象地描述了他的遭遇。
LeCun這次又會做出什么樣的回應(yīng)？還是讓子彈再飛一會兒……
參考鏈接：
[1]https://people.idsia.ch/~juergen/lecun-rehash-1990-2022.html
[2]https://twitter.com/SchmidhuberAI/status/1683870175299239937
相關(guān)閱讀
一鍵讓ChatGPT教出新模型！100美元單卡煉出平替「白澤」，數(shù)據(jù)集權(quán)重代碼都開源
讓ChatGPT自己跟自己聊天，再也不缺高質(zhì)量對話數(shù)據(jù)了
