MEET2021 | 清華唐杰：GPT-3表示能力已經(jīng)接近人類了，但它有一個阿喀琉斯之踵

編輯部 整理自 MEET 2021
量子位 報道 | 公眾號 QbitAI

人工智能，現(xiàn)在發(fā)展到什么階段了？

從發(fā)展脈絡(luò)上看，從符號智能、感知智能，現(xiàn)在應(yīng)該到認知智能階段了。

或者說，我們正走在認知智能的路上。

今年大火的GPT-3，其參數(shù)量已然達到了千億級別，規(guī)模已經(jīng)接近人類神經(jīng)元的數(shù)量了。

這說明，GPT-3的表示能力已經(jīng)接近人類了，但它仍有一些認知局限——沒有常識。

那我們何時、又將如何走向認知智能？

未來計算機的認知能力，能否超過人類？

什么樣的模型可以驅(qū)動未來的認知AI？

認知智能的概念是否又該重新定義？

……

在MEET 2021 智能未來大會現(xiàn)場，清華大學計算機系教授、系副主任唐杰用簡單、通俗的例子為我們一一解答。

當時聽完演講的觀眾直呼：求唐杰老師的PPT！

（在不改變原意的基礎(chǔ)上，量子位對唐杰的演講進行了編輯整理）

關(guān)于MEET 智能未來大會：MEET大會是由量子位主辦的智能科技領(lǐng)域頂級商業(yè)峰會，致力于探討前沿科技技術(shù)的落地與行業(yè)應(yīng)用。本次大會現(xiàn)場有李開復(fù)等20余位行業(yè)頂級大咖分享，500余名行業(yè)觀眾參與，超過150萬網(wǎng)友在線收看直播。包括新華社、搜狐科技、澎湃新聞、封面新聞等數(shù)十家主流媒體在內(nèi)紛紛報道，線上總曝光量累計超過2000萬。

亮點

1、認知圖譜有了一個全新概念，它包含三個核心要素：常識圖譜、邏輯生成以及認知推理。

2、GPT-3參數(shù)規(guī)模已經(jīng)接近人類神經(jīng)元的數(shù)量，這說明它的表示能力已經(jīng)接近人類了。但是它有個阿喀琉斯之踵——沒有常識。

3、數(shù)據(jù)+知識雙重驅(qū)動，也許是解決未來認知AI的一個關(guān)鍵。

4、用計算模型來解決認知是不夠的，未來需要構(gòu)建一個真正能夠超越原來的，超越已有模型的一個認知模型。

5、通用人工智能還有多遠？我們希望它有持續(xù)學習的能力，能從已有的事實，從反饋中學到新的東西，能處理一些更復(fù)雜的任務(wù)。

為什么是認知圖譜

我給今天的分享起了一個新名字：“認知圖譜：人工智能的下一個瑰寶”。

為什么叫認知圖譜？首先看一下人工智能發(fā)展的脈絡(luò)。

從最早的符號智能，再到后面的感知智能。最近，所有人都在談?wù)撜J知智能。

我們現(xiàn)在需要探討“計算機有沒有認知”、“計算機能不能做認知、推理”、“計算機到未來有沒有意識，能夠超過人類”這些問題。

人工智能發(fā)展到現(xiàn)在已經(jīng)有三個浪潮，我們把人工智能叫做三個時代分別是符號 AI、感知 AI 和認知 AI，現(xiàn)在正處在實現(xiàn)認知AI的路上。

具體如何實現(xiàn)呢？

我認為需要一些基礎(chǔ)性的東西，比如里面的認知圖譜怎么構(gòu)建，里面認知的一些邏輯，包括認知的基礎(chǔ)設(shè)施怎么建，這也是我們特別想做的一件事情。

回顧機器學習的發(fā)展歷程，首先想到的就是很多分類模型，比如決策樹，貝葉斯、神經(jīng)網(wǎng)絡(luò)……

最左邊是分類模型、序列模型、概率圖模型，往右一點是最大化邊界，深度學習，循環(huán)智能，隨后是強化學習、深度強化學習，以及最近常提及的無監(jiān)督學習。

機器思考VS人類思考

機器學習發(fā)展到現(xiàn)在，離認知到底還有多遠？

于是，我整理了很多諾貝爾獎和圖靈獎得主的研究，對比了人的認知與機器認知之間的發(fā)展模式。

在探究人類思考的歷程里，1900年初才有了神經(jīng)系統(tǒng)結(jié)構(gòu)的第一次解析，隨后在1932年左右，誕生了一個諾獎級的研究：神經(jīng)元功能“突觸”。

然后就是神經(jīng)末梢傳遞機制、視覺系統(tǒng)機理、嗅覺系統(tǒng)機理……直到幾年前，科學家們才探索出人的大腦是如何實現(xiàn)定位導(dǎo)航、以及機理是怎么回事，這也是一個諾獎的研究。

我們來看下機器是如何思考的。

1950年左右，學者創(chuàng)立了人工智能系統(tǒng)，但是1970年左右大家開始拼命去模仿人腦，我們要做一個計算機，讓他跟人腦特別相同。

1990年左右，科學家突然發(fā)現(xiàn)其實沒有必要模仿，更多的應(yīng)該是去參考人腦，參考腦系統(tǒng)，做一個有更多機器思考、機器思維的計算機。

所以在當前這個時代，我們應(yīng)該用更多的計算機思維，來做計算機的思考，而非人的思考。

因此在這之后，就出現(xiàn)了概率圖模型、概率與因果模型以及深度學習。當然，有人會說，到最后你還在講機器學習，在講一個模型，這個離我們真正的認知智能是不是太遠了？

用計算的方式打造通用人工智能

過去幾年連我自己都不信，我們可以建造一個通用人工智能，讓計算機系統(tǒng)甚至能夠超越人。

舉一個例子，OpenAI。

兩年前，OpenAI做了**GPT，所有人都覺得只是一個很簡單的語言模型，并不會有什么水花；

去年，GPT升級成GPT-2，15億的參數(shù)規(guī)模。很多人都可能玩過它的Demo，叫talk to transformer。你可以輸入任何文本，transformer幫你把文本補齊。

但在今年6月份的時候，OpenAI發(fā)布了一個GPT-3，參數(shù)規(guī)模一下子達到了1750億，數(shù)量級接近人類的神經(jīng)元的數(shù)量。

這個時候給我們帶來了極大的震撼，至少說明GPT-3的表示能力已經(jīng)接近人類了。

意味著理論上，如果我們能讓計算機參數(shù)達到最好，GPT-3可能跟人這種智商表現(xiàn)差不多。

這時候給我們另外一個啟示：

我們到底是不是可以直接通過計算機的結(jié)果，也就是計算的方法得到一個超越人類的通用人工智能？

我們來看一下整個模型過去幾年發(fā)展的結(jié)果，幾乎每年參數(shù)規(guī)模是10倍左右的增長，右邊的圖給出了自然語言處理中最近幾年的快速變化，幾乎是一個指數(shù)級的變化。

可以看到，前幾年變化相對比較小，今年出了GPT-3，谷歌到了6000億的產(chǎn)出規(guī)模，明年ds可能還會到萬億級別。所以這是一個非?？焖俚脑鲩L。

現(xiàn)在，則給到我們另外一個問題，

我們到底能不能用這種大規(guī)模、大算力的方法，大計算的方法，來實現(xiàn)真正的人工智能呢？

與此同時，也暴露出另一個痛點——成本問題。

GPT-3，如果用單卡的訓練需要355年，整個訓練成本將達到幾億人民幣，一般的公司是做不起來的。

但就算是有互聯(lián)網(wǎng)巨頭愿意去做，大家是不是都可以用了？

GPT-3有個阿喀琉斯之踵

不著急。先來看看這樣一個例子，左邊是GPT-3模型，右邊是結(jié)果。

第一個是長頸鹿有幾個眼睛？GPT3說有兩個眼睛，沒有問題。

第二個問題，我的腳有幾個眼睛？結(jié)果是也有兩個眼睛，這就錯了。

第三個，蜘蛛有幾個眼睛？8個眼睛。

第四個太陽有幾個眼睛？一個眼睛。

最后一個問題，一根草有幾個眼睛？一個眼睛。

可以看到，GPT3很聰明，可以生成所有的結(jié)果，但它有個阿喀琉斯之踵——沒有常識。

這時候就需要一個常識的知識圖譜。

2012年，谷歌發(fā)出了一個Knowledge Graph，就是知識圖譜。

當時的概念是，我們利用大量的數(shù)據(jù)能不能建一個圖譜？于是在未來的搜索中，可以自動把搜索結(jié)果結(jié)構(gòu)化，自動的結(jié)構(gòu)化的數(shù)據(jù)反饋出來。

知識圖譜不僅可以應(yīng)用到搜索引擎，還可以給計算機帶來一些常識性的知識。

因此，我們是否可以通過這一方法來幫助未來的計算呢？

「數(shù)據(jù)+知識」驅(qū)動未來的認知AI

其實，知識圖譜在很多年前就已經(jīng)發(fā)展起來。

從第一代人工智能——符號AI的時候，就已經(jīng)開始在做，當時將知識圖譜定義為“符號 AI 的邏輯表示”。

但到現(xiàn)在也還沒有大規(guī)模的發(fā)展起來，主要有幾個方面的原因。

第一，構(gòu)建的成本非常的高。

CYC，最早的知識圖譜之一，負責定義知識斷言。

簡單來說就是，一個ABC三元組，A 就是主體，B 就是關(guān)系，C是受體。

比如，人有手，人就是主體，有就是關(guān)系，手就是受體。

這么一個簡單的問題，成本就在5.7 美元。

第二，自動構(gòu)建精度很低。

另一個典型的知識圖譜NELL，互聯(lián)網(wǎng)完全自動方法的生成出來，但錯誤率一下子提高到10倍。

這兩個項目目前基本上都處于半停滯狀態(tài)。

于是，我們現(xiàn)在就在思考，若是將上述兩種方式結(jié)合在一起，是否能夠驅(qū)動認知AI？

第一，從大數(shù)據(jù)的角度，做數(shù)據(jù)驅(qū)動。用深度學習舉十反一的方法，把所有的數(shù)據(jù)進行建模，并且學習數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系，學習數(shù)據(jù)的記憶模型。

第二，我們要用知識驅(qū)動，構(gòu)建一個知識圖譜，用知識驅(qū)動整個事情。

我們把兩者結(jié)合起來，這也許是解決未來認知 AI 的一個關(guān)鍵。

當然這些也還不夠。我們的未來是需要構(gòu)建一個真正能夠超越原來的、已有模型的一個認知模型。

我們需要一個全新的架構(gòu)框架，也需要一個全新的目標函數(shù)，這時候才有可能超過這樣的預(yù)訓練模型，否則就是在跟隨 GPT-3。

而放在眼下要做的，就是讓機器有一定的創(chuàng)造能力，光文本還不夠，我們希望創(chuàng)造出真正的圖片，它是創(chuàng)造，不是查詢。

比如，機器可以通過文字，將原有的圖片生成新的圖片。

當然，光創(chuàng)造還不夠，我們離真正通用的人工智能還有多遠？

我們希望真正的通用人工智能有持續(xù)學習的能力，能夠從已有的事實，從反饋中學習到新的東西，能夠完成一些更加復(fù)雜的任務(wù)。

認知AI的九準則

這時候，再回到起初最基本的問題：什么叫認知？

只要有可持續(xù)學習的能力就是認知嗎？

如果這樣的話，GPT-3也有持續(xù)學習的能力，知識圖譜也有學習的能力，因為它在不停的更新。

如果能完成一些復(fù)雜任務(wù)就是認知嗎？

也不是，我們已經(jīng)有些系統(tǒng)已經(jīng)可以完成非常復(fù)雜的問題。

那什么是認知呢？

最近，通過我們的一些思考，定義了認知 AI 的九準則。這九個準則是我從人的認知和意識中抽象出來的九個準則。

第一個，叫適應(yīng)與學習能力。

比如說今天MEET 大會，機器人自動學習，可以知道在這個特定的場景下應(yīng)該做什么事情。

第二個，叫定義與語境能力。

模型能夠在特定語境下感知上下文，對環(huán)境有一定的感知能力。

第三個，叫自我系統(tǒng)的準入能力。

機器能夠自定義什么是我，什么是非我，這叫人設(shè)。如果這個機器能知道自己的人設(shè)是什么，那么我們認為它有一定的認知能力。

第四個，優(yōu)先級與訪問控制能力。

在一定的特定場景下它有選擇的能力。我們?nèi)硕伎梢栽陔p十一選擇購物，如果機器在雙十一的時候能選擇我今天想買點東西，明天后悔了，不應(yīng)該買。

這時候機器有一定的優(yōu)先級和訪問控制。

第五個，召集與控制能力。這個機器應(yīng)該有統(tǒng)計和決策的能力。

第六個，決策與執(zhí)行能力，機器人在感知到所有的數(shù)據(jù)以后可以做決策。

第七個，錯誤探測與編輯能力。

這個非常重要，人類的很多知識都在試錯中發(fā)現(xiàn)的。比如現(xiàn)在學的很多知識，我們并不知道什么知識是最好的。

我們需要不停的試錯，也許我們今天學到了1+1=2 是很好，但是你嘗試1+1=3，1+1=0，是不是也可以呢？你嘗試完了發(fā)現(xiàn)都不對，這叫做錯誤探測與編輯，讓機器具有這個能力，非常地重要。

第八個，反思與自我控制、自我監(jiān)控。

如果這個機器人在跟你聊天的過程中，聊了很久，說“不好意思我昨天跟你說的一句話說錯了，我今天糾正了。”這時候機器具有反思能力。

最后，這個機器一定要有條理和理性。

一個面向認知的AI架構(gòu)

在九個準則的基礎(chǔ)上，我們提出了一個全新的認知圖譜的概念。

主要有三個核心要素。

第一個，常識圖譜，這與知識圖譜的幾個要素非常相關(guān)。比如說高精度知識圖譜的構(gòu)建、領(lǐng)域知識圖譜的應(yīng)用系統(tǒng)、超大規(guī)模知識圖譜的構(gòu)建，還有基于知識圖譜的搜索和推薦，這是傳統(tǒng)的一些東西。

第二個，邏輯生成。這需要超大規(guī)模的預(yù)訓練模型，并且能夠自動進行內(nèi)容生成。同時我們在未來可以構(gòu)建一個數(shù)字人的系統(tǒng)，它能夠自動的在系統(tǒng)中，能夠生成相關(guān)的東西，能夠做得像人一樣的數(shù)字人。

第三個，認知推理。讓計算機有推理、有邏輯的能力。

這時候說起來比較虛，用人的認知來通俗理解一下。

人的認知有兩個系統(tǒng)，一個叫系統(tǒng)1，一個叫系統(tǒng)2。

系統(tǒng)1就是計算機做的匹配。

你說，清華大學在哪？它便立刻匹配出來北京。

但如果你要是問，清華大學在全球計算機里到底排第幾？以及為什么是這個名次？

這時候計算機就回答不了，這就需要一定的邏輯推理，也就是系統(tǒng)2所做的事情。

當前所有的深度學習都是做系統(tǒng)1，解決了系統(tǒng)1問題——直覺認知，而不是邏輯認知。

因此在未來，我們要做更多關(guān)于系統(tǒng)2的事情。

從腦科學來看，相對現(xiàn)在做的事情有兩個最大的不同，第一，就是記憶，第二就是認知推理。

記憶是通過海馬體實現(xiàn)，認知是前額葉來實現(xiàn)。這兩個系統(tǒng)非常關(guān)鍵，如何實現(xiàn)呢？

我們看記憶模型，巴德利記憶模型分三層，短期記憶就是一個超級大的大數(shù)據(jù)模型。

在大數(shù)據(jù)模型中，我們怎么把大數(shù)據(jù)模型中有些信息變成一個長期記憶變成我們知識，這就是記憶模型要做的事情。

那認知模型呢？我們構(gòu)建了一個面向認知的AI架構(gòu)。

這個框架左邊是一個查詢接口，這是輸入，也可以說成是用戶端。

中間是一個超大規(guī)模的預(yù)訓練模型，然后是一個記憶模型。

記憶模型通過試錯、蒸餾，把一些信息變成一個長期記憶存在長期記憶模型中。

長期記憶模型中會做無意識的探測，也會做很多自我定義和條理的邏輯，并且做一些認知的推理。

在這樣的基礎(chǔ)上我們構(gòu)建一個平臺。最終目標是打造一個知識和認知推理雙輪驅(qū)動的一個框架。底層是分布式的存儲和管理，中間是推理、決策、預(yù)測，再上面是提供各式各樣的API。

好，我今天大概就把我們的理念和想法給大家介紹一下，如果大家有興趣的話，可以查閱我們更多的信息。

謝謝大家！