為了刁難AI，科學家們制造了這1200個問題，超強AI被“打回原形”
想要通過圖靈測試，AI還有很長的路要走
魚羊 發(fā)自 凹非寺
量子位 報道 | 公眾號 QbitAI
自從 IBM 的 Watson 在 “Jeopardy！” 智力問答競賽中戰(zhàn)勝人類冠軍，人工智能真正理解人類語言這件事似乎變得觸手可及。
但只要和Siri多聊幾次天，你就會明白計算機還有會表現(xiàn)出“人工智障”的一面。
想要更好地理解人類語言，計算機系統(tǒng)必須接受更高難度的訓練挑戰(zhàn)。
于是，馬里蘭大學的研究團隊通過人機協(xié)作開發(fā)出了一個包含1200多個問題的數(shù)據(jù)集，來與計算機對抗。
Trick me if you can
馬里蘭大學副教授Jordan Boyd-Graber的團隊提出了一個新的概念，human-in-loop對抗生成。
雖然 Watson 的戰(zhàn)績曾經驚倒眾人，讓人覺得AI幾乎可以理解語言的含義，但過去三四年來，研究者們已經意識到計算機問答系統(tǒng)其實非常脆弱。
在智力問答中，許多問題稍作改動，人類高手仍能輕松作答，而AI則會被徹底愚弄。
舉個例子，對于“哪一位作曲家的海頓主題變奏曲是受到了卡爾·費迪南德·波爾的啟發(fā)？”這個問題，博學的AI能夠輕松給出正確答案：約翰內斯·勃拉姆斯。
但是如果不提卡爾·費迪南德·波爾，而只是描述他的職業(yè)——維也納金色大廳的檔案管理員，那么AI就會傻眼。
所以，研究人員們都在努力創(chuàng)造更高難度的問題，即對抗樣本，來迫使AI用人類的方式思考問題。
通常的做法是人類自己寫問題，或者是讓計算機自己生成問題。但問題非常明顯：人在寫問題的時候，并不確定問題里的哪些要素會混淆計算機。而AI生成器生成的問題，則容易陷入公式化，有時還會產生空白的，錯誤的，沒有意義的問題。
那么，能不能讓機器來幫助人類寫出足以混淆計算機模型的問題呢？
團隊于是搞出了一個交互式用戶界面。
在這個界面中，人在輸入問題的同時，計算機會把它的猜測按順序顯示在屏幕上，而那些計算機用來參考以生成回答的單詞也會被高亮標注出來。
還用剛才那個例子來說明，AI在得出約翰內斯·勃拉姆斯這個答案的同時，會把卡爾·費迪南德·波爾在屏幕上標記出來，說明它是根據(jù)這個名字推斷出了答案。
如此一來，輸入問題的人只要在不改變問題原義的基礎上，把卡爾·費迪南德·波爾這個詞替換掉，就能生成一個成功的對抗性問題。
也就是說，人機協(xié)作就是human-in-loop對抗生成的核心。
Jordan Boyd-Graber教授是這樣介紹他們的工作的：
大多數(shù)的問答計算機系統(tǒng)都沒有解釋他們是怎樣做出回答的，而我們的工作能幫我們看清計算機實際理解的內容。
團隊將這個框架應用在了一個叫Quizbowl的問答任務中，與Jeopardy不同的是，Quizbowl的問答模式是這樣的：問題被同時讀給兩個競爭團隊，誰先猜到答案就打斷問題并回答。
益智問答愛好者和計算機攜手，創(chuàng)造了1213個對抗性問題。
他們將這些問題整合成了開源數(shù)據(jù)集Qanta Adversarial?，這個數(shù)據(jù)集涉及到了不同主題的6541個句子。
這樣的數(shù)據(jù)集將揭示計算機語言系統(tǒng)是否真的能像人類那樣閱讀理解。
實驗測試
為了測試新的QA系統(tǒng)的效果，研究團隊用上了三個模型：IR模型，循環(huán)神經網絡（RNN）以及深度平均網絡（DAN）。
第一輪攻擊
第一輪對抗性問題是針對IR模型生成的。RNN和DAN同樣接受了測試。
問題難度升級之后，三種模型都備受打擊，DAN的準確率就從54.1%下降到了32.4%。
第二輪攻擊
第二輪攻擊中，作者又攻擊了一個RNN模型。參與第二輪測試的所有模型都在更大的數(shù)據(jù)集上進行了訓練。
從這個結果來看，針對IR系統(tǒng)的問題降低了所有模型的性能。不過，IR模型對于針對RNN的問題是魯棒的。
人機競賽
最后的重頭戲，是人機大戰(zhàn)。
現(xiàn)場，有兩只人類隊伍來與計算機PK。人類這邊，是國家級Quizbowl玩家；而計算機這邊，是最先進的Quizbowl系統(tǒng)Studio Ousis模型。
在2017年的NIPS共享任務當中，Studio Ousis曾經以475：200的比分戰(zhàn)勝了人類高手。
第一場比賽，使用了IR對抗性問題。形勢完全逆轉，人類以?300：30的比分獲勝了。
第二場比賽規(guī)模進一步擴大，有七支人類團隊參與其中，而比賽中的400多個問題是針對RNN模型生成的對抗性問題。
這次，人類隊伍這邊有高中Quizbowl選手，也有Jeopardy！冠軍隊伍。
然而，連最弱的人類團隊也擊敗了最強級別的AI。
1200問直擊弱點，AI果然還有很長的路要走啊。
傳送門
QANTA項目：
https://sites.google.com/view/qanta/projects/adversarial
論文地址：
https://arxiv.org/abs/1809.02701
GitHub地址：
https://github.com/Eric-Wallace/trickme-interface/
— 完 —
