讓神經(jīng)網(wǎng)絡(luò)給符號(hào)AI“打工”，MIT和IBM聯(lián)合解決深度學(xué)習(xí)痛點(diǎn)，未來將用于自動(dòng)駕駛

曉查 發(fā)自 凹非寺
量子位 報(bào)道 | 公眾號(hào) QbitAI

現(xiàn)在的AI是神經(jīng)網(wǎng)絡(luò)的天下，但科學(xué)家們正在嘗試將神經(jīng)網(wǎng)絡(luò)與“老式AI”結(jié)合。

這里說的“老式AI”是上世紀(jì)70年代流行的“符號(hào)主義”。在幾十年前遭遇失敗后，“連接主義”取代其成為主流。

但是，越來越多的科學(xué)家注意到，將二者結(jié)合才會(huì)讓AI發(fā)揮出更強(qiáng)大的威力。

讓連接主義給符號(hào)主義“打工”

幾年前，科學(xué)家從小鴨子身上學(xué)到了一樣不尋常的東西。如果小鴨子出生后先看到的是兩個(gè)相似的物體，那么之后會(huì)對(duì)相似物體產(chǎn)生更多的偏好。

小鴨毫不費(fèi)力地做的事情對(duì)于人工智能來說是很難的，尤其是深度神經(jīng)網(wǎng)絡(luò)這一AI分支。

如果交給符號(hào)AI，它會(huì)怎么做？符號(hào)AI會(huì)處理物體的名稱作為知識(shí)庫(kù)，并給“相似”做出定義作為命題。

憑借其知識(shí)庫(kù)和命題，符號(hào)AI采用推理引擎的邏輯規(guī)則來回答問題。

但符號(hào)AI缺點(diǎn)在于，要實(shí)現(xiàn)更復(fù)雜的推理需要龐大的知識(shí)庫(kù)（人工構(gòu)建），如果AI遇到知識(shí)庫(kù)中沒有的形狀將無法處理。

連接主義利用知識(shí)進(jìn)行訓(xùn)練，讓神經(jīng)網(wǎng)絡(luò)具有學(xué)習(xí)能力，但容易受到對(duì)抗攻擊。

于是將符號(hào)主義和連接主義結(jié)合起來的混合式神經(jīng)-符號(hào)AI（neurosymbolic AI）應(yīng)運(yùn)而生。

科學(xué)家用深度神經(jīng)網(wǎng)絡(luò)來構(gòu)建符號(hào)AI所需的知識(shí)庫(kù)和命題，省去了人工預(yù)設(shè)的難題，然后使用符號(hào)AI對(duì)任務(wù)進(jìn)行推理。

解決李飛飛2016年難題

2016年，李飛飛等人提出了組合語(yǔ)言和基本視覺推理（CLEVR）數(shù)據(jù)集，要求AI回答由計(jì)算機(jī)生成的簡(jiǎn)單3D形狀圖像相關(guān)問題。

使用復(fù)雜的深度神經(jīng)網(wǎng)絡(luò)可以解決此問題。但是，IBM、MIT和DeepMind的研究人員提出了一種截然不同的解決方案，顯示出符號(hào)AI的強(qiáng)大能力。該方法相關(guān)論文已經(jīng)被ICLR 2019收錄。

在這篇論文中，他們將問題分解為符號(hào)AI熟悉的較小部分。

這套系統(tǒng)首先查看圖像并表征3D形狀及其屬性，由此生成知識(shí)庫(kù)。然后，它將問題變成一個(gè)可以在知識(shí)庫(kù)上運(yùn)行并產(chǎn)生答案的符號(hào)程序。

過去，在符號(hào)AI中，需要讓人類程序員去手動(dòng)輸入知識(shí)庫(kù)，現(xiàn)在研究人員希望由神經(jīng)網(wǎng)絡(luò)代替人類這項(xiàng)工作。

他們先通過使用卷積神經(jīng)網(wǎng)絡(luò)（CNN）解決了第一個(gè)問題，識(shí)別目標(biāo)的顏色、形狀、材質(zhì)等屬性。

然后使用遞歸神經(jīng)網(wǎng)絡(luò)（RNN）發(fā)現(xiàn)順序輸入中的模式。這個(gè)模塊負(fù)責(zé)接收自然語(yǔ)言問題并將其轉(zhuǎn)換為符號(hào)程序形式的問題。

整個(gè)過程類似于按需生成知識(shí)庫(kù)，并讓推理引擎在知識(shí)庫(kù)上回答問題。

最終，這種混合AI在從未見過的問題和圖像上進(jìn)行測(cè)試，準(zhǔn)確率達(dá)98.9％，擊敗了人類。人類只能回答正確92.6％的問題。

更好的是，混合AI只需要純粹深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練數(shù)據(jù)的10％?；旌螦I還具有可解釋性，如果發(fā)生錯(cuò)誤，則更容易發(fā)現(xiàn)問題所在。

挑戰(zhàn)更高難度

搞定CLEVR數(shù)據(jù)集后，現(xiàn)在神經(jīng)-符號(hào)AI正在解決更為棘手的問題。

2019年，在李飛飛CLEVR數(shù)據(jù)集的基礎(chǔ)上，DeepMind、MIT、哈佛大學(xué)和IBM設(shè)計(jì)了一個(gè)更加復(fù)雜的挑戰(zhàn)CLEVRER：讓AI基于視頻而不是圖像來回答問題。

視頻中會(huì)出現(xiàn)CLEVR數(shù)據(jù)集中的目標(biāo)類型，但是這些目標(biāo)會(huì)移動(dòng)甚至發(fā)生碰撞，而且問題更加棘手。

有些問題是描述性的，比如：視頻結(jié)束時(shí)有多少金屬物體在移動(dòng)？

有些問題則需要預(yù)測(cè)，比如：接下來將發(fā)生哪個(gè)事件？[a]綠色圓柱體和球體碰撞，[b]綠色圓柱體與正方體碰撞。

甚至還有些問題是視頻中沒有發(fā)生的（反事實(shí)），比如：沒有青色圓柱體，將不會(huì)發(fā)生什么？[a]球體和立方體碰撞， [b]球體和青色圓柱體碰撞， [c]立方體和青色圓柱體碰撞。

對(duì)于當(dāng)今的深度神經(jīng)網(wǎng)絡(luò)來說，這種隨時(shí)間變化的因果關(guān)系是非常困難的，這主要表現(xiàn)在發(fā)現(xiàn)數(shù)據(jù)的靜態(tài)模式方面。

為了解決這個(gè)問題，團(tuán)隊(duì)擴(kuò)充了之前解決CLEVR的方案。

首先，神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)將視頻片段分解為目標(biāo)的逐幀表示，然后被饋送到另一個(gè)神經(jīng)網(wǎng)絡(luò)，學(xué)習(xí)分析這些目標(biāo)的運(yùn)動(dòng)以及它們?nèi)绾蜗嗷ビ绊懀⒖梢灶A(yù)測(cè)目標(biāo)的運(yùn)動(dòng)和碰撞。

這兩個(gè)模塊共同構(gòu)成了知識(shí)庫(kù)。其他兩個(gè)模塊處理問題并將其應(yīng)用于生成的知識(shí)庫(kù)。

該團(tuán)隊(duì)的解決方案在回答描述性問題方面的準(zhǔn)確性約為88％，對(duì)于預(yù)測(cè)性問題的準(zhǔn)確性約為83％，對(duì)于反事實(shí)問題的準(zhǔn)確性約為74％。

讓AI學(xué)會(huì)提問

提出好問題是機(jī)器在人類的另一項(xiàng)技能。這是一種不斷學(xué)習(xí)世界的方式，而不必等待大量的樣本。沒有任何一種機(jī)器可以接近人類提問的能力。

而神經(jīng)-符號(hào)AI展現(xiàn)出了這方面的能力。

紐約大學(xué)Brenden Lake助理教授和他的學(xué)生Wang Ziyun構(gòu)建了一種混合AI，來玩一種需要主動(dòng)提問的游戲——海戰(zhàn)棋（Battleship）。

海戰(zhàn)棋是一種猜謎式的攻防游戲，一方在棋盤上隱藏自己的“戰(zhàn)艦”（長(zhǎng)度不等），另一方負(fù)責(zé)攻擊。

攻擊方可以翻看某個(gè)方塊下是否有“戰(zhàn)艦”的一部分，或者直接向?qū)Ψ教釂枺骸按卸嚅L(zhǎng)”、“所有三艘船的尺寸都一樣嗎”，諸如此類的問題 。以此來猜測(cè)船只的位置。

Lake和Wang分別用兩種不同方式來訓(xùn)練游戲AI。

一種是監(jiān)督學(xué)習(xí)，向神經(jīng)網(wǎng)絡(luò)展示棋盤和人類提出的好問題。最終神經(jīng)網(wǎng)絡(luò)學(xué)會(huì)了提問，但是很少有創(chuàng)造力。

另一種是強(qiáng)化學(xué)習(xí)。在這種訓(xùn)練中，每當(dāng)神經(jīng)網(wǎng)絡(luò)提出一個(gè)有助于找到戰(zhàn)艦的問題時(shí)，就會(huì)得到獎(jiǎng)勵(lì)。

神經(jīng)網(wǎng)絡(luò)最終學(xué)會(huì)了提出正確的問題，既有用又富有創(chuàng)造力。

Lake以前曾使用純粹的符號(hào)方法解決了該問題，對(duì)于給定的棋盤狀態(tài)，符號(hào)AI必須在巨大空間中搜索一個(gè)好問題，這讓它變得極其緩慢。

但是，神經(jīng)-符號(hào)AI的速度非?？?。經(jīng)過訓(xùn)練后，深度神經(jīng)網(wǎng)絡(luò)在產(chǎn)生問題方面遠(yuǎn)遠(yuǎn)勝過純粹的符號(hào)AI。

下一步：自動(dòng)駕駛

MIT-IBM Watson AI實(shí)驗(yàn)室的David Cox團(tuán)隊(duì)希望將這種混合AI用于自動(dòng)駕駛技術(shù)。

自動(dòng)駕駛AI需要神經(jīng)網(wǎng)絡(luò)經(jīng)過訓(xùn)練來識(shí)別其環(huán)境中的物體，并采取適當(dāng)?shù)拇胧Ｈ绻窠?jīng)網(wǎng)絡(luò)在訓(xùn)練中做錯(cuò)了什么，例如撞到行人，就會(huì)受到懲罰。

另一位小組成員Nathan Fulton解釋這種機(jī)制：“為了學(xué)會(huì)不做壞事，它必須做壞事，體驗(yàn)過那些壞事，然后在做壞事之前找出30個(gè)步驟，防止自己陷入困境?！?/p>

因此，AI學(xué)習(xí)安全駕駛需要大量的訓(xùn)練數(shù)據(jù)，而這些“壞事”讓AI很難在現(xiàn)實(shí)世界中訓(xùn)練出來。

Fulton和他的同事正在研究一種神經(jīng)-符號(hào)AI方法，克服這種局限性。AI的符號(hào)部分對(duì)現(xiàn)實(shí)世界的某些危險(xiǎn)行為做出限制，來約束深度網(wǎng)絡(luò)的行為。

從一開始就排除某些選擇，這種簡(jiǎn)單的符號(hào)干預(yù)大大減少了訓(xùn)練AI所需的數(shù)據(jù)量。

“如果智能體不需要遇到一堆壞狀態(tài)，那么它就只需要更少的數(shù)據(jù)，”Fulton說。

盡管該項(xiàng)目仍未準(zhǔn)備好在實(shí)驗(yàn)室外使用，但Cox設(shè)想了一個(gè)未來，具有神經(jīng)-符號(hào)AI的汽車將可以在現(xiàn)實(shí)世界中學(xué)習(xí)，而符號(hào)組件將成為防止不良駕駛的保障。

原文地址：
https://knowablemagazine.org/article/technology/2020/what-is-neurosymbolic-ai

論文地址：
https://arxiv.org/abs/1910.01442