在Hinton看來是“宇宙答案”GPT-3，到LeCun這里卻“對世界一無所知”

蕭簫 2020-10-30 13:01:17 來源：量子位

蕭簫 發(fā)自 凹非寺
量子位 報道 | 公眾號 QbitAI

“有些人對大型語言模型（類似于GPT-3）能做的事，有著不切實際的幻想……GPT-3對于這世界的運作方式一無所知?！?/p>

近日，LeCun忽然在臉書上發(fā)表了對GPT-3的看法。

LeCun表示，他的朋友已經(jīng)進(jìn)行了一些研究，打破了人們對“大型語言模型能被用于醫(yī)療保健行業(yè)中”的期待。

他認(rèn)為，GPT-3“具有娛樂性質(zhì)”，對于創(chuàng)造性工作來說，也許能起到一定作用。

但除此之外，LeCun指出：“指望用做大型語言模型的方式建智能機(jī)器，就跟努力造高原飛機(jī)、并期待它能登月一樣不切實際。”

對此，網(wǎng)友炸開了鍋。

到底怎么理解LeCun的評價

LeCun認(rèn)為，GPT-3有一定作用，但不是以“理解”文本的方式運轉(zhuǎn)。

它收集了許多文本，但當(dāng)被要求預(yù)測接下來的文本時，它實際上是根據(jù)“詞匯出現(xiàn)的概率”，而不是“世界運轉(zhuǎn)的方式”來進(jìn)行的工作。

獲取知識vs理解語言

一部分網(wǎng)友的討論，集中在GPT-3到底有沒有理解世界上。

他們中的一部分認(rèn)為，“獲取知識”和“理解語言”是兩種不同的能力。

網(wǎng)友leftyted認(rèn)為，對于GPT-3到底有沒有理解能力，其實是個哲學(xué)問題，畢竟知識和語言是兩碼事。

他認(rèn)為，如果語言里沒有各種各樣的隱喻，那么GPT-3在掌握知識這方面，與人類有同樣的能力。

△理解本身就很困難

但網(wǎng)友babesh認(rèn)為，要是將語言和知識分開討論，那么GPT-3更無法獲得世界的全部知識。因為很多東西能用感官感覺到，但如果沒有想象力的話，這種感官上的“知識”根本無法存在。

GPT-3真的能用嗎？

另一些網(wǎng)友則認(rèn)為，LeCun所說的“GPT-3無論是對話、還是問答能力都不太行”這個觀點，其實不太正確。

事實上，好些用過GPT-3網(wǎng)友表示，它的能力還是超乎想象的。

網(wǎng)友neuro_thing認(rèn)為，LeCun能得出這樣的結(jié)論，說明他的團(tuán)隊肯定做過相關(guān)研究了。

但就他使用GPT-3的情況來看，它很方便、且效果出色。不僅如此，這位網(wǎng)友還表示，就他所知，GPT-3已經(jīng)取代了兩位機(jī)器學(xué)習(xí)工程師的工作。

當(dāng)然，也有人反駁這樣的觀點。

網(wǎng)友confuseshrink認(rèn)為，即使認(rèn)為GPT-3很有用，但只要不信任它的輸出，甚至需要手動檢查結(jié)果，那它的確沒有想象中那么有用。

“別對GPT-3上限有期待”

也有一些網(wǎng)友認(rèn)為，LeCun真正想表達(dá)的，其實不是GPT-3有沒有作用，而是它的上限究竟有多高。

網(wǎng)友moultano認(rèn)為，LeCun本意并不是“GPT-3沒什么特別的”，只是他認(rèn)為，繼續(xù)堆疊大型語言模型的做法，沒有前途。

△“房子再高，也登不上太空”

但無論如何，對于像GPT-3這樣的AGI（通用人工智能）到底能走到哪一步，大神們都已經(jīng)表達(dá)過自己的看法。

GPT-3：Hinton贊嘆，Bengio和LeCun都不看好

三位圖靈獎獲得者，Geoffrey Hinton、Yoshua Bengio和Yann LeCun，對關(guān)于GPT-3這類通用人工智能，給出了不同的看法。

Hinton表示，從GPT-3出色的性能可以推斷，生命、宇宙和萬物的答案“不過是4.398萬億個參數(shù)而已”。

不過，相比于Hinton的觀點，LeCun對于AGI這一類模型都不看好。

LeCun認(rèn)為，無論是自監(jiān)督學(xué)習(xí)、還是神經(jīng)生物學(xué)，也不足以實現(xiàn)通用人工智能（AGI），即使是任何具有“理解”能力的智能機(jī)器，也不可能實現(xiàn)。

“AGI不存在——根本就沒有通用智能這種東西?！盠eCun認(rèn)為，“可以說機(jī)器擁有老鼠級別的智力、貓級別的智力、狗級別的智力、人類級別的智力，但這些都不是AGI。”

相比之下，Bengio則認(rèn)為，如果不從“理解”的角度去談?wù)撏ㄓ萌斯ぶ悄埽蛟S也會有自己的作用。

Bengio覺得，機(jī)器最后的確可以獲得、并使用關(guān)于世界的所有知識，但不是以“理解”語言的方式，而是以類似于“口述”的方式。

不過，Bengio仍然期待機(jī)器擁有“理解”能力。

“我認(rèn)為，文化是人類如此聰明且能夠解決問題的一個重要原因……如果真的希望AI有點用，那么機(jī)器不僅需要翻譯能力，更需要理解語言的能力?！?/p>

Yann LeCun臉書主頁：
https://www.facebook.com/yann.lecun

參考鏈接：
https://twitter.com/geoffreyhinton
https://news.ycombinator.com/item?id=24907318&fbclid=IwAR2mN_6HoLeEumQzYmvDGJrE7SldBFhB98PHp0oaWAWugBx6xmYhBTCGKbA
https://venturebeat.com/2020/05/02/yann-lecun-and-yoshua-bengio-self-supervised-learning-is-the-key-to-human-level-intelligence/
https://venturebeat.com/2020/06/01/ai-machine-learning-openai-gpt-3-size-isnt-everything/