圖靈獎(jiǎng)得主Hinton：我已經(jīng)老了，如何控制比人類更聰明的AI交給你們了

蕭簫 2023-06-12 13:41:35 來源：量子位

蕭簫 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI

還記得大牛們就“AI是否可能滅絕人類”，分成了兩大陣營(yíng)嗎？

由于并不理解為啥“AI會(huì)造成風(fēng)險(xiǎn)”，吳恩達(dá)最近開啟了一個(gè)對(duì)話系列，去找兩名圖靈獎(jiǎng)得主聊聊：

AI究竟存在哪些風(fēng)險(xiǎn)？

有意思的是，在相繼和Yoshua Bengio以及Geoffrey Hinton進(jìn)行深度對(duì)話后，他和他們“達(dá)成了不少共識(shí)”！

他們一致認(rèn)為，雙方應(yīng)該共同討論AI具體會(huì)產(chǎn)生什么風(fēng)險(xiǎn)，以及它究竟“理解了什么”。Hinton還特意cue了“反方代表”圖靈獎(jiǎng)得主Yann LeCun：

學(xué)術(shù)界在這個(gè)問題上分歧太大了，包括我們非常尊重的學(xué)者如Yann，就認(rèn)為大模型并不理解它自己在說什么。

馬斯克對(duì)這次談話也很感興趣：

除此之外，Hinton最近還在智源大會(huì)上再一次“布道”AI風(fēng)險(xiǎn)，表示比人更聰明的超級(jí)智能很快就會(huì)出現(xiàn)：

我們不習(xí)慣思考比我們聰明得多的東西，以及如何與它們互動(dòng)。

我現(xiàn)在看不出如何防止超級(jí)智能“失控”，而我已經(jīng)老了。我希望，更多年輕的研究人員能掌握控制超級(jí)智能的方法。

一起來看看這些對(duì)話的核心觀點(diǎn)，以及不同AI大牛針對(duì)這件事的看法。

吳恩達(dá)對(duì)話圖靈獎(jiǎng)得主：AI安全應(yīng)達(dá)成共識(shí)

首先是與Bengio的對(duì)話。吳恩達(dá)和他達(dá)成了一個(gè)關(guān)鍵共識(shí)，即：

科學(xué)家們應(yīng)該試著找出“AI風(fēng)險(xiǎn)存在的具體場(chǎng)景”。

也就是說，AI究竟會(huì)在哪些場(chǎng)景下，給人類帶來重大危害、甚至導(dǎo)致人類滅絕，這是雙方需要達(dá)成的共識(shí)。

Bengio認(rèn)為，AI前景充滿著“迷霧和不確定性”，因此找出一些AI具體帶來危害的場(chǎng)景是有必要的。

然后是與Hinton的對(duì)話，雙方達(dá)成了兩個(gè)關(guān)鍵共識(shí)。

一方面，所有科學(xué)家必須針對(duì)“AI風(fēng)險(xiǎn)”議題好好聊聊，以便于制定良好的政策；

另一方面，AI確實(shí)在理解世界。科學(xué)家們需要列出其中的關(guān)鍵技術(shù)問題，這有助于在AI安全議題上達(dá)成共識(shí)。

在這個(gè)過程中，Hinton提到了需要達(dá)成共識(shí)的關(guān)鍵點(diǎn)，即“GPT-4和Bard這類對(duì)話大模型是否真的理解它們自己在說什么”：

有些人認(rèn)為它們理解，有些人認(rèn)為它們只是隨機(jī)鸚鵡。
我想我們都相信它們理解（自己在說什么），但一些我們非常尊重的學(xué)者如Yann，則認(rèn)為它們并不理解。

當(dāng)然，被“喊話”的LeCun也及時(shí)趕來，很認(rèn)真地發(fā)表了自己的觀點(diǎn)：

我們都同意“大家需要就一些問題達(dá)成共識(shí)”這件事。我也同意Hinton的觀點(diǎn)，即LLM有一定的理解能力，說它們“只是統(tǒng)計(jì)數(shù)據(jù)”是誤導(dǎo)性的。
1、但它們對(duì)世界的理解非常膚淺，很大程度上是因?yàn)樗鼈儍H僅用純文本訓(xùn)練。從視覺中學(xué)習(xí)世界如何運(yùn)作的AI系統(tǒng)，將對(duì)現(xiàn)實(shí)有更深入的理解，相比之下自回歸LLM的推理和規(guī)劃能力非常有限。
2、如果沒有下述條件，我不太相信會(huì)出現(xiàn)接近人類（甚至是貓）水平的AI：
（1）從視頻等感官輸入中學(xué)習(xí)的世界模型
（2）一個(gè)可以推理和規(guī)劃（而不僅僅是自回歸）的架構(gòu)
3、如果我們有了懂得規(guī)劃的架構(gòu)，它們將是目標(biāo)驅(qū)動(dòng)的，即能基于優(yōu)化推理時(shí)間（而不僅僅是訓(xùn)練時(shí)間）目標(biāo)來規(guī)劃工作。這些目標(biāo)可以是讓AI系統(tǒng)“聽話”且安全的護(hù)欄，甚至最終打造出比人類更好的世界模型。
然后，問題就變成了設(shè)計(jì)（或訓(xùn)練）保證安全和效率的良好目標(biāo)函數(shù)。
4、這是一個(gè)困難的工程問題，但沒有一些人所說的那么難。

雖然這一段回應(yīng)仍舊只字未提“AI風(fēng)險(xiǎn)”，不過LeCun很實(shí)在地給出了提升AI安全性的建議（打造AI“護(hù)欄”），并設(shè)想了比人類更厲害的AI“長(zhǎng)啥樣”（多感官輸入+可推理規(guī)劃）。

某種程度上來說，也算是雙方在AI存在安全問題這個(gè)觀點(diǎn)上達(dá)成了一些共識(shí)。

Hinton：超級(jí)智能比想象中更近

當(dāng)然，不止是和吳恩達(dá)的對(duì)話。

最近離職谷歌的Hinton，在不少場(chǎng)合都談到了AI風(fēng)險(xiǎn)這一話題，其中也包括最近參加的智源大會(huì)。

在大會(huì)上，他以《通往智能的兩條路線》為主題，討論了“知識(shí)蒸餾”和“權(quán)重共享”兩種智能路線，以及如何讓AI變得更智能，以及自己對(duì)于超級(jí)智能出現(xiàn)的看法。

簡(jiǎn)單來說，Hinton不僅認(rèn)為（比人更智能的）超級(jí)智能會(huì)出現(xiàn)，而且出現(xiàn)的時(shí)間比人們想象中更快。

不僅如此，他認(rèn)為這些超級(jí)智能會(huì)失控，但目前他還想不到什么好的方法阻止它們：

超級(jí)智能可以通過操縱人來輕易獲得更多權(quán)力。我們不習(xí)慣思考比我們聰明得多的東西，以及如何與它們互動(dòng)。但它會(huì)變得善于欺騙人，因?yàn)樗芡ㄟ^某些小說作品中學(xué)習(xí)欺騙他人的案例。

一旦它變得善于欺騙人，就能掌握讓人們做任何事的方法……我覺得這很可怕，但我看不出如何防止這種情況發(fā)生，因?yàn)槲依狭恕?/p>

我希望，像你們這樣的年輕有才華的研究人員，會(huì)搞懂我們?nèi)绾螕碛羞@些超級(jí)智能，并讓我們生活得更好。

放映出“THE END”幻燈片時(shí)，Hinton意味深長(zhǎng)地強(qiáng)調(diào)了一下：

這是我的最后一張PPT，也是這場(chǎng)演講的結(jié)束。

參考鏈接：
[1]https://twitter.com/AndrewYNg/status/1667920020587020290
[2]https://twitter.com/AndrewYNg/status/1666582174257254402
[3]https://2023.baai.ac.cn/