跟你聊得這么投緣，你卻說自己不是人？！

十三 2021-10-23 14:43:32 來源：量子位

金磊 詹士 發(fā)自 凹非寺
量子位 報(bào)道 ｜公眾號(hào) QbitAI

最近認(rèn)識(shí)了一個(gè)“網(wǎng)友”，不是東北人，東北話理解力卻滿分。

或許你會(huì)說，這些對(duì)話看起來很日常啊。

其實(shí)，他不是人，而是來自百度的AI對(duì)話機(jī)器人。

之所以能跟人類聊天如此絲滑，靠的是全球首個(gè)百億參數(shù)中英文預(yù)訓(xùn)練對(duì)話生成模型——PLATO-XL。

效果之驚艷，連外媒都趕著來報(bào)道：

加大難度，能hold住嗎？

有第三方關(guān)注報(bào)道當(dāng)然不夠，為檢驗(yàn)這個(gè)AI是不是假把式，我決定增加對(duì)話難度，考考他。

就問問他一些名人吧，例如劉天王。

萬萬沒想到，它不僅認(rèn)識(shí)劉天王，還能自行列舉更多港星：

可以可以，是個(gè)品位不錯(cuò)的AI了。

繼續(xù)加大難度——

粵語走起。

竟然粵語也能輕松駕馭？

而且和普通話切換也如此自如，有夠驚艷的了，確實(shí)還沒見過這么「會(huì)聊天」的AI。

絲滑對(duì)話，是怎么做到的？

看完上面我與AI的對(duì)話，一個(gè)大大的疑惑或許已經(jīng)在你的腦中產(chǎn)生：

到底是怎么做到的？

背后的殺手锏，正是PLATO-XL。

正如剛才提到的，它是全球首個(gè)百億參數(shù)預(yù)訓(xùn)練對(duì)話生成模型。

百億參數(shù)規(guī)模，可以說是讓這個(gè)AI能夠流暢對(duì)話的關(guān)鍵之一。

簡(jiǎn)單來說，就好比增加了大腦中的神經(jīng)元數(shù)量，會(huì)讓腦子更聰明，更能理解你說的話。

結(jié)構(gòu)方面，PLATO-XL一個(gè)非常鮮明的特點(diǎn)，就是將Transformer結(jié)構(gòu)做了一個(gè)統(tǒng)一。

如此一來，就可以同時(shí)對(duì)“對(duì)話理解”和“回復(fù)生成”進(jìn)行建模，參數(shù)效率會(huì)更高。

除此之外，在多輪對(duì)話中，往往還會(huì)存在不一致性問題。

這是因?yàn)橛?xùn)練數(shù)據(jù)是從社交媒體中收集，會(huì)摻雜不同人的想法。

而學(xué)習(xí)到的模型往往會(huì)混合來自上下文中多個(gè)參與者的信息，從而難以產(chǎn)生一致的回復(fù)。

為了解決這一問題，PLATO-XL引入了多角色感知的預(yù)訓(xùn)練，這有助于模型區(qū)分上下文中的信息，并在對(duì)話生成中保持一致性。

以上便是與百度PLATO對(duì)話能夠如此絲滑的原因了。

在與其它模型橫向比較過程中，不僅是中文，英文對(duì)話的表現(xiàn)也是較為突出。

而且在剛剛落下帷幕的對(duì)話系統(tǒng)技術(shù)挑戰(zhàn)賽DSTC10（全球人工智能頂級(jí)學(xué)術(shù)競(jìng)賽之一）中，百度PLATO的表現(xiàn)也是格外亮眼。

要知道，為了更接近真實(shí)場(chǎng)景，這次競(jìng)賽題目專門加入ASR識(shí)別錯(cuò)誤干擾數(shù)據(jù)。

簡(jiǎn)單來說，就是拿一些錯(cuò)誤，甚至不精準(zhǔn)地表達(dá)，難為AI。我們以小度智能音箱的交互為例。比如對(duì)話中要求AI：「小度，播放周杰倫那個(gè)氣球歌」，其實(shí)背后的需求是要聽《告白氣球》。

更拉高實(shí)現(xiàn)門檻的是，競(jìng)賽中主辦方還不提供任何相關(guān)的訓(xùn)練數(shù)據(jù)。

為應(yīng)對(duì)上面真實(shí)且復(fù)雜的要求，百度團(tuán)隊(duì)提出了一種叫做多層級(jí)數(shù)據(jù)和知識(shí)增強(qiáng)框架。

同時(shí)依托PLATO對(duì)話預(yù)訓(xùn)練模型的能力，進(jìn)行對(duì)話狀態(tài)追蹤任務(wù)的端到端建模，根據(jù)多輪對(duì)話上文生成意圖和槽位。

還通過對(duì)已有對(duì)話進(jìn)行實(shí)體替換、基于對(duì)話動(dòng)作隨機(jī)游走、口語模擬增強(qiáng)，構(gòu)造得到了數(shù)十萬的多輪口語對(duì)話，解決了訓(xùn)練數(shù)據(jù)匱乏的難題。

此外，百度還創(chuàng)新地提出了知識(shí)增強(qiáng)的對(duì)話策略。先通過精確識(shí)別對(duì)話意圖與相關(guān)的知識(shí)需求，然后利用知識(shí)召回模型從大規(guī)模知識(shí)庫中召回知識(shí)，最后模型結(jié)合上下文整合知識(shí)生成答復(fù)。

如同人在回答一些不了解的專業(yè)問題也需要查閱資料，知識(shí)增強(qiáng)的方法使對(duì)話系統(tǒng)具備了“臨時(shí)查閱”的能力，能夠更加專業(yè)、更加精準(zhǔn)地回答問題。

還是以小度智能音箱的具體使用場(chǎng)景為例：

-“小度小度，我想聽大夢(mèng)一場(chǎng)空?！?br style="-webkit-user-drag: none; -webkit-app-region: no-drag;" data-darkmode-bgcolor-16349714018761="rgb(25, 25, 25)" data-darkmode-original-bgcolor-16349714018761="#fff|rgb(255, 255, 255)" data-darkmode-color-16349714018761="rgb(163, 163, 163)" data-darkmode-original-color-16349714018761="#fff|rgb(0, 0, 0)" />-“好的，一首徐海俏的《空》送給你。”

當(dāng)其他人還在搜索“大夢(mèng)一場(chǎng)空是什么歌”的時(shí)候，小度已經(jīng)為你播放了出來；

正是精準(zhǔn)高效地完成主辦方提出的技術(shù)挑戰(zhàn)，百度團(tuán)隊(duì)在對(duì)話狀態(tài)追蹤任務(wù)中的聯(lián)合目標(biāo)準(zhǔn)確率（Joint Goal Accuracy）達(dá)到0.4616，超越第二名十個(gè)百分點(diǎn)。

但其實(shí)，百度團(tuán)隊(duì)在PLATO-XL之前，便已經(jīng)在人機(jī)對(duì)話方面取得了較好的表現(xiàn)。

例如更早的PLATO-2，相關(guān)論文被ACL 2021收錄，這時(shí)候的人機(jī)對(duì)話就已經(jīng)沒有那么得“尬”了。

而此次在參數(shù)規(guī)模更大、架構(gòu)方法更優(yōu)的情況下，就會(huì)讓人和AI得聊天更加絲滑、無障礙。

開放領(lǐng)域?qū)υ挘瑸槭裁催@么重要？

其實(shí)除了百度，全球各家科技巨頭，都在不遺余力的在開放領(lǐng)域?qū)υ捴邪l(fā)力。

像微軟、谷歌、Facebook等，均在這兩年推出了自家的大模型，例如DialoGPT、Meena、Blender等。

這是因?yàn)樽寵C(jī)器具備與人交流的能力，是人工智能領(lǐng)域長(zhǎng)久以來的一項(xiàng)重要工作，同時(shí)也是一項(xiàng)極具挑戰(zhàn)的任務(wù)。

早在1951年，圖靈在《計(jì)算機(jī)與智能》一文中便提出了大名鼎鼎的圖靈測(cè)試，提出用人機(jī)對(duì)話來測(cè)試機(jī)器智能水平。

此后，學(xué)者們也是嘗試著各種方法研究建立對(duì)話系統(tǒng)。

不同于特定領(lǐng)域?qū)υ?，開放領(lǐng)域?qū)υ?，沒有像客服、車載助手那些場(chǎng)景的限制，其定位在于：讓機(jī)器擁有更擬人的有知識(shí)、有邏輯、有情感的對(duì)話能力。

隨著技術(shù)趨勢(shì)的變化，開放領(lǐng)域?qū)υ挼陌l(fā)展也呈現(xiàn)出了不一樣的方向。

例如深度學(xué)習(xí)興起后，業(yè)界前后陸續(xù)提出了基于卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)、注意力機(jī)制等各種對(duì)話方法。

而這兩年，大規(guī)模預(yù)訓(xùn)練模型又成為了技術(shù)的一種風(fēng)向標(biāo)，全球范圍內(nèi)都發(fā)力于此。隨著參數(shù)的不斷龐大，AI也越發(fā)的智能化，直接會(huì)在人機(jī)對(duì)話中有所體現(xiàn)，也就是我們經(jīng)常說的不“尬聊”，此次百度公布的PLATO-XL，正是該趨勢(shì)的一個(gè)注腳。

盡管隨著大模型預(yù)訓(xùn)練技術(shù)在智能對(duì)話上的應(yīng)用，對(duì)話效果取得顯著進(jìn)步，但仍然有繼續(xù)改進(jìn)可能，涵蓋：偏見、信息誤差、不能進(jìn)行連續(xù)學(xué)習(xí)等方向。

更應(yīng)看到的是，百度PLATO-XL以超百億參數(shù)的規(guī)模，無論參數(shù)量還是效果比較，在全球范圍仍處較優(yōu)地位——

不難預(yù)見，此類語言模型絕不僅僅能大幅優(yōu)化智能客服、語音識(shí)別等既有功能，更在養(yǎng)老助老、幼兒早教、心理輔導(dǎo)等種種摻雜「模糊表述」、「潛臺(tái)詞」、「高語境」表達(dá)的場(chǎng)景下，釋放AI技術(shù)的更多潛能。

最后，百度PLATO對(duì)話AI已經(jīng)上線，感興趣的友友們可以親測(cè)試玩了！