大型神經(jīng)網(wǎng)絡(luò)可能初具意識：OpenAI首席科學(xué)家引爭議，眾大佬吵成一團
OpenAI和Meta兩家差點打起來
邊策 蕭簫 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI
“今天的大型神經(jīng)網(wǎng)絡(luò)可能已經(jīng)初具意識了。”
OpenAI首席科學(xué)家Ilya Sutskever在Twitter上撂下這句話，可謂語不驚人死不休。
這下可讓AI圈炸開了鍋，人工智能、神經(jīng)科學(xué)領(lǐng)域?qū)＜业幕貜?fù)滾滾而來。
反擊最激烈的就是圖靈獎得主、Meta AI首席科學(xué)家Yann LeCun。
LeCun當(dāng)場回擊，學(xué)界大佬紛紛下場
LeCun對此的第一條回復(fù)是這樣的：
不同意?。壳暗腁I）沒有達到“稍微有意識”的下限，甚至還沒有達到“大型神經(jīng)網(wǎng)絡(luò)”的上限。
他還說，如果非要給現(xiàn)階段的AI下定義，那么：
我認(rèn)為你需要一種當(dāng)前網(wǎng)絡(luò)都不具備的特定類型的宏架構(gòu)。
見到自家員工和當(dāng)初創(chuàng)業(yè)伙伴被懟，OpenAI聯(lián)合創(chuàng)始人Sam Altman也親自下場評論：
OpenAI的首席科學(xué)家表達了對一個神秘想法的好奇心和開放性，用的是“可能”一詞做前提。
而Meta的首席AI科學(xué)家卻斬釘截鐵地說“不”。
下面這句語氣略有些嘲諷，似乎是在暗示OpenAI因開放的態(tài)度取得了更多成果。
這可能解釋了過去5年的很多情況。
推文結(jié)尾處，Sam Altman還不忘挖競爭對手墻腳：
尊敬的Meta AI研究人員：我的電子郵件地址是 sama@openai.com。我們正在招聘！
接著，LeCun還拉上了OpenAI另一位聯(lián)合創(chuàng)始人馬斯克，以后者航空與航天技術(shù)差異做對比。
一個人可以建造更快的飛機，并打破高度紀(jì)錄。
但如果一個人的目標(biāo)是進入太空軌道，就必須研究低溫罐、渦輪泵等。
不要那么華而不實。你可以去問問馬斯克。
除LeCun外，其他AI界人士也對OpenAI此番言論口誅筆伐。
知名AI專家、新南威爾士大學(xué)教授Toby Walsh插話說：
每次有這種投機性言論放出，我們都需要花好幾個月的努力，才能讓人們消除疑慮。
DeepMind高級研究科學(xué)家這樣嘲諷道：
如果這種觀點成立的話，那么大片麥田里可能也有一點意大利面。
雖然在Twitter上批評占據(jù)了多數(shù)，但仍有一些支持OpenAI的言論。
一位來自MIT CSAIL的研究員Tamay Besiroglu表示：
看到這么多著名的機器學(xué)習(xí)人士嘲笑這個想法，真是令人失望。
這讓我對他們能夠解決未來幾十年一些重要問題的能力降低了希望。
他認(rèn)為，像OpenAI而不是Meta這樣的實驗室更有可能解決在不久的將來在該領(lǐng)域出現(xiàn)的深刻、奇怪和重要的問題。
另外，這次吵架還有個意外的收獲，那就是Sam Altman透露了GPT-4的最新消息。
從他的表述來看，GPT-4很可能是GPT-3的延續(xù)。
去年，為OpenAI提供超大型AI芯片WSE-2的公司Cerebras透露，GPT-4約有100萬億個參數(shù)，而且還要等上好幾年。
回到這場爭論風(fēng)暴的“核心”來看，究竟是什么讓Ilya Sutskever發(fā)出這樣的感慨？
或許從他的經(jīng)歷中可以窺見一斑。
從最初的AlexNet，到后來的AlphaGo，再到見證GPT-3和Codex等模型的橫空出世，幾乎每一次AI領(lǐng)域的“破圈”技術(shù)，都有他參與其中。
在AGI道路上“越走越遠”
Ilya Sutskever本碩博畢業(yè)于多倫多大學(xué)，曾經(jīng)是Geoffrey Hinton的學(xué)生。
事實上，Sutskever正是AlexNet的作者之一。
2012年，在Hinton老爺子的指導(dǎo)下，他和Alex Krizhevsky共同設(shè)計了這個架構(gòu)，在當(dāng)年ImageNet挑戰(zhàn)賽上奪冠，比第二名錯誤率低10.8%。
Hinton創(chuàng)辦的DNNResearch被谷歌收購后，Sutskever加入谷歌大腦任研究科學(xué)家。
他曾經(jīng)參與開發(fā)著名的AlphaGo，成為眾多論文作者之一，后者在2016年的圍棋比賽中4比1擊敗了李世乭。
在谷歌期間，他還與谷歌大腦的另外兩名科學(xué)家合作，提出了NLP經(jīng)典框架之一seq2seq算法。
2015年末，Sutskever離開谷歌，與馬斯克、Sam Altman等人共同創(chuàng)立OpenAI。
2018年，在干了兩年多研究主管（research director）之后，他成為OpenAI的首席科學(xué)家（chief scientist）。
可以說OpenAI從GPT-2研發(fā)到GPT-3，從擊敗DOTA2冠軍戰(zhàn)隊的Rerun到會寫代碼做游戲的Codex，他都是親身參與其中的見證者之一。
在他的引領(lǐng)下，OpenAI正在逐漸走向AGI（通用人工智能）的道路。
2021年年初，多模態(tài)模型DALL·E和CLIP出現(xiàn)，打通了文字和圖像之間的連接道路。
當(dāng)時OpenAI就提出研究表示，CLIP與人類的思維方式非常相像，讓網(wǎng)友直呼AGI的到來比想象中要快更多。
同樣是去年，GitHub和OpenAI合作推出自動補全代碼工具GitHub Copilot，AI開始get到部分程序員的技能。
而就在今年年初，OpenAI研究的數(shù)學(xué)AI模型Lean再進一步，加上神經(jīng)定理證明器后成功解出了兩道國際奧數(shù)題。
如今OpenAI正在研究百萬億參數(shù)大模型GPT-4，或許這也與Sutskever發(fā)出的這句感慨有關(guān)。
“200億參數(shù)AI連加減法都搞不定”
但其實，AGI的道路看起來也沒有那么明朗。
至少就在最近，紐約大學(xué)助理教授Brendan Dolan-Gavitt發(fā)現(xiàn)，200億參數(shù)的大模型GPT-NeoX連最基礎(chǔ)的整數(shù)算術(shù)題都做不對。
GPT-NeoX并非OpenAI官方的模型，而是一個名叫EleutherAI的機器學(xué)習(xí)小組搞出來的開源大模型（因為GPT-3沒開源）。
△部分結(jié)果展示
在Brendan出的100道題目整數(shù)加法、減法和乘法中，AI只算對了10道題，雖然其他的答案與正確答案也“差不多”，但畢竟還都是算錯了?？梢夾I并沒有真正理解四則運算。
至于“神經(jīng)網(wǎng)絡(luò)到底有沒有自我意識”這場討論，網(wǎng)友們同樣發(fā)表了自己的看法。
有網(wǎng)友認(rèn)為，這些大佬與其說是在討論AI有沒有意識，不如說是他們在討論定義是什么：
也有人調(diào)侃，深度神經(jīng)網(wǎng)絡(luò)進入“玄學(xué)”深水區(qū)了：
還有網(wǎng)友在這場討論的評論區(qū)放了個機器人的魔性表情包，“AI眉頭一皺，意識到事情并不簡單”：
對于“神經(jīng)網(wǎng)絡(luò)初具意識”這個觀點，你認(rèn)為呢？
參考鏈接：
[1]https://futurism.com/conscious-ai-backlash
[2]https://weibo.com/5124470749/LfhTasFiP
[3]https://www.linkedin.com/in/ilya-sutskever/
[4]https://twitter.com/ilyasut/status/1491554478243258368
[5]https://twitter.com/sama/status/1492645047585570816
[6]https://en.wikipedia.org/wiki/Ilya_Sutskever
[7]https://openai.com/blog/authors/ilya/
[8]https://gist.github.com/moyix/267d122f9d92268e3432b05f08976816
相關(guān)閱讀
