DSTC10 放榜，百度 PLATO 勇奪知識(shí)型任務(wù)口語(yǔ)對(duì)話賽道雙冠軍！
百度在DSTC10中斬獲了知識(shí)型任務(wù)口語(yǔ)對(duì)話賽道兩項(xiàng)任務(wù)的全部冠軍，并以大幅優(yōu)勢(shì)領(lǐng)先對(duì)手。
近日，第十屆對(duì)話系統(tǒng)技術(shù)挑戰(zhàn)賽DSTC10落下帷幕。作為全球人工智能頂級(jí)學(xué)術(shù)競(jìng)賽之一，DSTC比賽持續(xù)受到國(guó)內(nèi)外知名企業(yè)和機(jī)構(gòu)關(guān)注。百度在DSTC10中斬獲了知識(shí)型任務(wù)口語(yǔ)對(duì)話賽道兩項(xiàng)任務(wù)的全部冠軍，并以大幅優(yōu)勢(shì)領(lǐng)先對(duì)手。
在上一屆DSTC 比賽中，百度PLATO-2 模型奪得多個(gè)任務(wù)冠軍；本次比賽，百度結(jié)合了最新發(fā)布的全球首個(gè)百億參數(shù)對(duì)話生成模型PLATO-XL，在賽題難度加大的情況下，憑借強(qiáng)大的技術(shù)實(shí)力再次拿下多個(gè)冠軍。
加入錯(cuò)誤干擾數(shù)據(jù) 知識(shí)型任務(wù)口語(yǔ)賽道難度空前
任務(wù)型對(duì)話基于知識(shí)為用戶提供口語(yǔ)化的信息查詢、指令執(zhí)行等智能服務(wù)。今年DSTC的知識(shí)型任務(wù)口語(yǔ)對(duì)話賽道由對(duì)話狀態(tài)追蹤和知識(shí)對(duì)話兩項(xiàng)核心子任務(wù)構(gòu)成，這兩項(xiàng)任務(wù)是判斷對(duì)話系統(tǒng)能否在多輪對(duì)話中準(zhǔn)確理解用戶意圖、正確傳遞信息的關(guān)鍵。為了更接近真實(shí)場(chǎng)景，該賽道首次在競(jìng)賽中使用了帶有自動(dòng)語(yǔ)音識(shí)別（Automatic Speech Recognition, ASR）錯(cuò)誤干擾的口語(yǔ)對(duì)話數(shù)據(jù)。下圖展示了驗(yàn)證集中的一個(gè)對(duì)話片段，口語(yǔ)的表述更加復(fù)雜多樣，且 ASR 錯(cuò)誤帶來(lái)的干擾很大（作為參考，灰色部分為人工再次核查錄音，校正后的對(duì)話內(nèi)容）。相比于傳統(tǒng)對(duì)話系統(tǒng)中采用的眾包數(shù)據(jù)，該賽道不僅訓(xùn)練數(shù)據(jù)缺乏，而且數(shù)據(jù)噪音大，這對(duì)正確理解用戶信息并保持高質(zhì)量的回復(fù)是一項(xiàng)極大的挑戰(zhàn)。
知識(shí)型任務(wù)口語(yǔ)對(duì)話賽道ASR錯(cuò)誤示例：灰色字體為專家根據(jù)對(duì)話內(nèi)容的準(zhǔn)確文本。紅色字體為ASR錯(cuò)誤內(nèi)容
那么在激烈的競(jìng)爭(zhēng)中，百度是如何在這一賽道拿下兩項(xiàng)任務(wù)全部冠軍的呢？
對(duì)話狀態(tài)追蹤任務(wù)大幅領(lǐng)先 創(chuàng)新提出多層級(jí)數(shù)據(jù)增強(qiáng)框架
在任務(wù)1對(duì)話狀態(tài)追蹤任務(wù)中，參賽系統(tǒng)需要完成多領(lǐng)域?qū)υ挔顟B(tài)追蹤，正確識(shí)別出用戶意圖和槽位。首先，針對(duì)訓(xùn)練數(shù)據(jù)匱乏的難題，百度團(tuán)隊(duì)創(chuàng)新地提出了多層級(jí)數(shù)據(jù)增強(qiáng)方法，通過(guò)對(duì)已有對(duì)話進(jìn)行實(shí)體替換、基于對(duì)話動(dòng)作隨機(jī)游走、口語(yǔ)模擬增強(qiáng)等技術(shù)，自動(dòng)構(gòu)造了數(shù)十萬(wàn)的多輪口語(yǔ)對(duì)話。然后，依托對(duì)話生成預(yù)訓(xùn)練模型PLATO，進(jìn)行對(duì)話追蹤任務(wù)端到端建模，即根據(jù)多輪對(duì)話上文自動(dòng)生成意圖和槽位，大幅提升模型魯棒性。最終聯(lián)合目標(biāo)準(zhǔn)確率（Joint Goal Accuracy）達(dá)到 0.4616，超越第二名十個(gè)百分點(diǎn)，以絕對(duì)的優(yōu)勢(shì)奪得第一。
對(duì)話狀態(tài)追蹤任務(wù)示例：將用戶的口語(yǔ)文本轉(zhuǎn)為結(jié)構(gòu)化的對(duì)話狀態(tài)描述同時(shí)，還需要修復(fù)相關(guān)ASR錯(cuò)誤
對(duì)話狀態(tài)追蹤任務(wù)榜單（前五名）， A11為百度團(tuán)隊(duì)。
知識(shí)對(duì)話任務(wù)奪冠 實(shí)體增強(qiáng)輔助知識(shí)精準(zhǔn)定位
第二項(xiàng)任務(wù)為知識(shí)對(duì)話。傳統(tǒng)任務(wù)型對(duì)話以知識(shí)為基本支撐，一旦用戶的訴求超出知識(shí)范疇，對(duì)話系統(tǒng)就無(wú)法做出正確的回復(fù)。針對(duì)該問(wèn)題，通常會(huì)在對(duì)話系統(tǒng)中引入大量的外部知識(shí)，來(lái)進(jìn)一步提升對(duì)話系統(tǒng)的能力。在該背景下，第二項(xiàng)任務(wù)設(shè)置了三個(gè)級(jí)聯(lián)的子任務(wù)：
-
判斷當(dāng)前對(duì)話是否需要使用外部知識(shí)；
-
選擇跟當(dāng)前對(duì)話內(nèi)容匹配的知識(shí)；
-
根據(jù)選取的知識(shí)進(jìn)行回復(fù)生成。
針對(duì)這些子任務(wù)，百度創(chuàng)新地提出了知識(shí)增強(qiáng)的對(duì)話策略：首先，在多領(lǐng)域任務(wù)對(duì)話的復(fù)雜場(chǎng)景下，準(zhǔn)確識(shí)別與對(duì)話意圖相關(guān)的知識(shí)需求；然后，知識(shí)召回模型從大規(guī)模知識(shí)庫(kù)中高效召回合適的知識(shí)；最后，利用PLATO-XL的靈活可擴(kuò)展性，基于對(duì)話上下文內(nèi)容以及召回的外部知識(shí)，自動(dòng)生成回復(fù)。從系統(tǒng)回復(fù)的人工評(píng)估結(jié)果來(lái)看，百度在回復(fù)的準(zhǔn)確性和合適性兩個(gè)指標(biāo)都取得最好成績(jī)。
值得一提的是，任務(wù)結(jié)果評(píng)估也引入了人工標(biāo)注的結(jié)果（Ground-truth）。百度提交的結(jié)果與人工標(biāo)注結(jié)果差距最?。ò俣认到y(tǒng)得分 3.4235 vs 人工標(biāo)注結(jié)果得分 3.5291），驗(yàn)證了上述知識(shí)增強(qiáng)的對(duì)話策略更接近人的認(rèn)知過(guò)程，相比于其他系統(tǒng)，具有更好的可解釋性。
如同人在回答一些不了解的專業(yè)問(wèn)題也需要查閱資料，知識(shí)增強(qiáng)的方法使對(duì)話系統(tǒng)具備了“臨時(shí)查閱”的能力，能夠更加專業(yè)、更加精準(zhǔn)地回答問(wèn)題。知識(shí)增強(qiáng)的對(duì)話不僅成功應(yīng)用于知識(shí)對(duì)話任務(wù)，在百度近期發(fā)布的PLATO-KAG等相關(guān)的工作上也取得了?？梢哉f(shuō)，知識(shí)增強(qiáng)已經(jīng)成為對(duì)話系統(tǒng)的必備能力。
知識(shí)對(duì)話任務(wù)示例：系統(tǒng)需要判斷是否需要引入外部知識(shí)庫(kù)，并利用外部知識(shí)（External Knowledge）來(lái)準(zhǔn)確響應(yīng)用戶需求
知識(shí)對(duì)話任務(wù)榜單（前五名），B10為百度團(tuán)隊(duì)。第一行（Ground Truth）為人類(lèi)標(biāo)注。對(duì)話從準(zhǔn)確性（Accuracy）, 合適性（Appropriatenesss）兩個(gè)角度進(jìn)行評(píng)估。
對(duì)話系統(tǒng)是自然語(yǔ)言處理領(lǐng)域最具挑戰(zhàn)性的技術(shù)之一，尤其是實(shí)際應(yīng)用場(chǎng)景下，數(shù)據(jù)高噪聲、多歧義，比學(xué)術(shù)研究數(shù)據(jù)更復(fù)雜、更具挑戰(zhàn)性。通過(guò)此次DSTC10競(jìng)賽，百度再次錘煉了PLATO模型的魯棒性，同時(shí)驗(yàn)證了知識(shí)增強(qiáng)策略的應(yīng)用效果，并為解決產(chǎn)業(yè)應(yīng)用中的實(shí)際問(wèn)題提供了全新思路。未來(lái)，百度AI還將持續(xù)技術(shù)創(chuàng)新與突破，實(shí)現(xiàn)讓對(duì)話更有知識(shí)、有情感、有邏輯的目標(biāo)。
百度 PLATO 系列模型完全基于百度自主研發(fā)的深度學(xué)習(xí)平臺(tái)飛槳。DSTC10的冠軍解決方案也會(huì)陸續(xù)開(kāi)源到 GitHub，對(duì)智能對(duì)話感興趣的小伙伴千萬(wàn)別錯(cuò)過(guò)。同時(shí)，百度也推出了”百度PLATO”的微信公眾號(hào)，大家可以體驗(yàn)基于PLATO的中文對(duì)話效果。
GitHub 鏈接：https://github.com/PaddlePaddle/Knover
— 完 —
相關(guān)閱讀
