在Hinton看來是“宇宙答案”GPT-3，到LeCun這里卻“對世界一無所知”

蕭簫 2020-10-30 13:01:17 來源：量子位

蕭簫 發(fā)自 凹非寺
量子位 報道 | 公眾號 QbitAI

“有些人對大型語言模型（類似于GPT-3）能做的事，有著不切實際的幻想……GPT-3對于這世界的運作方式一無所知?！?/p>

近日，LeCun忽然在臉書上發(fā)表了對GPT-3的看法。

LeCun表示，他的朋友已經(jīng)進行了一些研究，打破了人們對“大型語言模型能被用于醫(yī)療保健行業(yè)中”的期待。

他認為，GPT-3“具有娛樂性質(zhì)”，對于創(chuàng)造性工作來說，也許能起到一定作用。

但除此之外，LeCun指出：“指望用做大型語言模型的方式建智能機器，就跟努力造高原飛機、并期待它能登月一樣不切實際。”

對此，網(wǎng)友炸開了鍋。

到底怎么理解LeCun的評價

LeCun認為，GPT-3有一定作用，但不是以“理解”文本的方式運轉。

它收集了許多文本，但當被要求預測接下來的文本時，它實際上是根據(jù)“詞匯出現(xiàn)的概率”，而不是“世界運轉的方式”來進行的工作。

獲取知識vs理解語言

一部分網(wǎng)友的討論，集中在GPT-3到底有沒有理解世界上。

他們中的一部分認為，“獲取知識”和“理解語言”是兩種不同的能力。

網(wǎng)友leftyted認為，對于GPT-3到底有沒有理解能力，其實是個哲學問題，畢竟知識和語言是兩碼事。

他認為，如果語言里沒有各種各樣的隱喻，那么GPT-3在掌握知識這方面，與人類有同樣的能力。

△理解本身就很困難

但網(wǎng)友babesh認為，要是將語言和知識分開討論，那么GPT-3更無法獲得世界的全部知識。因為很多東西能用感官感覺到，但如果沒有想象力的話，這種感官上的“知識”根本無法存在。

GPT-3真的能用嗎？

另一些網(wǎng)友則認為，LeCun所說的“GPT-3無論是對話、還是問答能力都不太行”這個觀點，其實不太正確。

事實上，好些用過GPT-3網(wǎng)友表示，它的能力還是超乎想象的。

網(wǎng)友neuro_thing認為，LeCun能得出這樣的結論，說明他的團隊肯定做過相關研究了。

但就他使用GPT-3的情況來看，它很方便、且效果出色。不僅如此，這位網(wǎng)友還表示，就他所知，GPT-3已經(jīng)取代了兩位機器學習工程師的工作。

當然，也有人反駁這樣的觀點。

網(wǎng)友confuseshrink認為，即使認為GPT-3很有用，但只要不信任它的輸出，甚至需要手動檢查結果，那它的確沒有想象中那么有用。

“別對GPT-3上限有期待”

也有一些網(wǎng)友認為，LeCun真正想表達的，其實不是GPT-3有沒有作用，而是它的上限究竟有多高。

網(wǎng)友moultano認為，LeCun本意并不是“GPT-3沒什么特別的”，只是他認為，繼續(xù)堆疊大型語言模型的做法，沒有前途。

△“房子再高，也登不上太空”

但無論如何，對于像GPT-3這樣的AGI（通用人工智能）到底能走到哪一步，大神們都已經(jīng)表達過自己的看法。

GPT-3：Hinton贊嘆，Bengio和LeCun都不看好

三位圖靈獎獲得者，Geoffrey Hinton、Yoshua Bengio和Yann LeCun，對關于GPT-3這類通用人工智能，給出了不同的看法。

Hinton表示，從GPT-3出色的性能可以推斷，生命、宇宙和萬物的答案“不過是4.398萬億個參數(shù)而已”。

不過，相比于Hinton的觀點，LeCun對于AGI這一類模型都不看好。

LeCun認為，無論是自監(jiān)督學習、還是神經(jīng)生物學，也不足以實現(xiàn)通用人工智能（AGI），即使是任何具有“理解”能力的智能機器，也不可能實現(xiàn)。

“AGI不存在——根本就沒有通用智能這種東西?！盠eCun認為，“可以說機器擁有老鼠級別的智力、貓級別的智力、狗級別的智力、人類級別的智力，但這些都不是AGI?！?/p>

相比之下，Bengio則認為，如果不從“理解”的角度去談論通用人工智能，它或許也會有自己的作用。

Bengio覺得，機器最后的確可以獲得、并使用關于世界的所有知識，但不是以“理解”語言的方式，而是以類似于“口述”的方式。

不過，Bengio仍然期待機器擁有“理解”能力。

“我認為，文化是人類如此聰明且能夠解決問題的一個重要原因……如果真的希望AI有點用，那么機器不僅需要翻譯能力，更需要理解語言的能力?！?/p>

Yann LeCun臉書主頁：
https://www.facebook.com/yann.lecun

參考鏈接：
https://twitter.com/geoffreyhinton
https://news.ycombinator.com/item?id=24907318&fbclid=IwAR2mN_6HoLeEumQzYmvDGJrE7SldBFhB98PHp0oaWAWugBx6xmYhBTCGKbA
https://venturebeat.com/2020/05/02/yann-lecun-and-yoshua-bengio-self-supervised-learning-is-the-key-to-human-level-intelligence/
https://venturebeat.com/2020/06/01/ai-machine-learning-openai-gpt-3-size-isnt-everything/