如何讓機(jī)器說(shuō)話更像人？清華和京東的三位大牛給出答案 | CCF C3

十三 2021-03-10 13:43:43 來(lái)源：量子位

金磊 夢(mèng)晨 發(fā)自 凹非寺
量子位 報(bào)道 | 公眾號(hào) QbitA

顧客：“我想給父母買(mǎi)一臺(tái)電視。”

客服：“您好，這一款可能會(huì)適合您的需求（附帶商品鏈接）?！?/p>

顧客：“看著不錯(cuò)，但價(jià)格好貴啊。”

客服：“因?yàn)槿绻抢夏耆说脑挘油扑]4K超清大屏?！?/p>

顧客：“感謝推薦?！?/p>

客服：“感謝詢問(wèn)，若有問(wèn)題隨時(shí)找我?！?/p>

……

隨著電商、網(wǎng)購(gòu)的普及，諸如上述的場(chǎng)景，相信大多數(shù)人都或多或少地經(jīng)歷過(guò)。

能夠根據(jù)客戶的問(wèn)題，如此熟練作答的背后，卻很可能不是人，而是AI。

然而，當(dāng)問(wèn)題變得復(fù)雜、棘手之時(shí)，這種對(duì)話AI有時(shí)卻顯得不夠智能，往往也因此被客戶詬病。

近日，由中國(guó)計(jì)算機(jī)學(xué)會(huì)（CCF）主辦、京東承辦的第一期CCF C3活動(dòng)，在京東集團(tuán)總部如期舉行。

近30位CCF CTO Club成員和特邀嘉賓參與了此次活動(dòng)，就“智能客服”這一主題進(jìn)行了分享和討論。

那么針對(duì)這一話題，學(xué)界和產(chǎn)業(yè)界的大牛，又會(huì)擦出怎樣的火花？

下一代的對(duì)話系統(tǒng)，又該何去何從？

何曉冬：不僅要響應(yīng)請(qǐng)求，還要做到情感陪護(hù)

對(duì)于產(chǎn)業(yè)界來(lái)講，智能對(duì)話機(jī)器人或系統(tǒng)，發(fā)展現(xiàn)狀又是如何？

針對(duì)這一問(wèn)題，京東集團(tuán)副總裁何曉冬帶來(lái)了《多模態(tài)智能交互技術(shù)打造有溫暖的智能客服體驗(yàn)》的主題演講。

△CCF企工委副主任、TF主席、京東集團(tuán)副總裁，何曉冬

何曉冬介紹道，近幾年，在特定領(lǐng)域?qū)υ捙c交互系統(tǒng)中，出現(xiàn)了許多應(yīng)用，例如京東智能客服、微軟小冰、亞馬遜智能音箱等等。

而早在2018年，谷歌發(fā)布的Duplex電話AI，一度被認(rèn)為通過(guò)了圖靈測(cè)試。

但后來(lái)卻被外媒曝光25%是由人工打出；而在通過(guò)自動(dòng)系統(tǒng)打的電話中，約有15%會(huì)需要人工干預(yù)。

對(duì)此，何曉冬直言道：

對(duì)話AI距離通過(guò)圖靈測(cè)試還有一段距離。

若是要達(dá)到這一“理想狀態(tài)”，難點(diǎn)和挑戰(zhàn)又是什么？

何曉冬認(rèn)為：

對(duì)話機(jī)器人不僅需要響應(yīng)用戶的請(qǐng)求，完成任務(wù)，還需要滿足用戶對(duì)溝通和情感的需求，與用戶建立情感聯(lián)系。

為此，何曉冬提出了“多模態(tài)人機(jī)對(duì)話與交互技術(shù)”。

具體而言，包括三大層：

• 基礎(chǔ)技術(shù)層：詞法句法分析、語(yǔ)義分析、知識(shí)構(gòu)建、知識(shí)推理等；
• 核心能力層：語(yǔ)言理解、NLP、多倫對(duì)話和跨模態(tài)交互；
• 應(yīng)用層：交互式主動(dòng)營(yíng)銷(xiāo)導(dǎo)購(gòu)、智能情感客服、機(jī)器閱讀理解與問(wèn)答等。

在這種模式下，以“情感分析”為例，基于遷移學(xué)習(xí)、反向翻譯、噪聲處理等技術(shù)，AI可以在與客戶對(duì)話過(guò)程中，識(shí)別客戶的情緒變化，使得滿意度提升了58%。

但與此同時(shí)，何曉冬也對(duì)“多模態(tài)智能對(duì)話與交互”提出了五大難點(diǎn)，包括復(fù)雜場(chǎng)景下的多輪對(duì)話與決策技術(shù)、知識(shí)獲取與推理、深度語(yǔ)義理解、對(duì)話內(nèi)容生成和多模態(tài)交互技術(shù)。

……

這便是智能對(duì)話系統(tǒng)在產(chǎn)業(yè)界的現(xiàn)狀與痛點(diǎn)，那么在學(xué)界，又有哪些進(jìn)步與難點(diǎn)呢？

黃民烈：下一代對(duì)話系統(tǒng)

△清華大學(xué)計(jì)算機(jī)系長(zhǎng)聘副教授，黃民烈

接下來(lái)，來(lái)自清華大學(xué)智能技術(shù)與系統(tǒng)實(shí)驗(yàn)室的黃民烈教授，從研究的角度分享了對(duì)話系統(tǒng)的現(xiàn)狀、挑戰(zhàn)和未來(lái)趨勢(shì)。

黃民烈將下一代對(duì)話系統(tǒng)定義為“社交聊天機(jī)器人”。他認(rèn)為，傳統(tǒng)對(duì)話系統(tǒng)有三大問(wèn)題。

• 對(duì)語(yǔ)義的理解不準(zhǔn)確，經(jīng)常答非所問(wèn)。
• 在對(duì)話中展現(xiàn)的身份、個(gè)性不一致，難以獲得人類(lèi)用戶的信任。
• 與人類(lèi)交互中會(huì)有社會(huì)倫理方面的問(wèn)題，無(wú)法理解其給出的答復(fù)中存在的道理、倫理風(fēng)險(xiǎn)，對(duì)可能產(chǎn)生的風(fēng)險(xiǎn)視而不見(jiàn)。

針對(duì)以上問(wèn)題，下一代對(duì)話系統(tǒng)應(yīng)該結(jié)合任務(wù)導(dǎo)向型對(duì)話系統(tǒng)中的強(qiáng)語(yǔ)義方法，與弱語(yǔ)義的開(kāi)放域?qū)υ捪到y(tǒng)中端到端框架，使之能夠scalable，并且做到有知識(shí)、有個(gè)性、有溫度。

對(duì)話系統(tǒng)要與結(jié)構(gòu)化的知識(shí)相結(jié)合，把知識(shí)加入到對(duì)自然語(yǔ)言的編碼和解碼過(guò)程中，在對(duì)話交互中做到言之有物。

與此同時(shí)，賦予對(duì)話系統(tǒng)固定的外在的身份特征，和內(nèi)在的性格特征，在對(duì)話中展現(xiàn)出一致性。并根據(jù)這些特征選擇適合的語(yǔ)言風(fēng)格，做到擬人化，體現(xiàn)出人性化的特征。

還提出情緒對(duì)話生成模型，可以讓對(duì)話系統(tǒng)能表達(dá)喜怒哀樂(lè)。同時(shí)又借鑒了心理咨詢的理論和方法，使對(duì)話系統(tǒng)有情感、有溫度，能進(jìn)行情緒支持和社交支持。

最后，黃民烈提到現(xiàn)在以GPT3為代表的語(yǔ)言模型，訓(xùn)練參數(shù)和使用的非結(jié)構(gòu)化數(shù)據(jù)已達(dá)到千億規(guī)模，但僅以大模型和大數(shù)據(jù)還不能做好對(duì)話系統(tǒng)。未來(lái)下一代的對(duì)話系統(tǒng)一定是在一個(gè)scalable的框架中融合強(qiáng)語(yǔ)義方法，才能做到有知識(shí)、有個(gè)性、有溫度。

劉知遠(yuǎn)：知識(shí)指導(dǎo)的預(yù)訓(xùn)練語(yǔ)言模型

△清華大學(xué)計(jì)算機(jī)系副教授，劉知遠(yuǎn)

來(lái)自清華大學(xué)的劉知遠(yuǎn)教授的報(bào)告聚焦于技術(shù)層面，具體介紹了如何將語(yǔ)義化的知識(shí)引入預(yù)訓(xùn)練語(yǔ)言模型，解決智能客服技術(shù)中存在的問(wèn)題。

預(yù)訓(xùn)練語(yǔ)言模型是2018年左右NLP領(lǐng)域的出現(xiàn)的新突破。

其優(yōu)勢(shì)是突破了人工標(biāo)記的數(shù)據(jù)難以大量獲取的限制。可充分利用大量互聯(lián)網(wǎng)上不斷產(chǎn)生的為標(biāo)記數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練，再輔以少量有標(biāo)記數(shù)據(jù)進(jìn)行微調(diào)。

預(yù)訓(xùn)練語(yǔ)言模型雖在GLUE測(cè)試中的表現(xiàn)已超過(guò)人類(lèi)基準(zhǔn)，但對(duì)語(yǔ)言的理解還停留在淺層。劉知遠(yuǎn)老師認(rèn)為，預(yù)訓(xùn)練語(yǔ)言模型的進(jìn)一步發(fā)展需要將知識(shí)圖譜與深度學(xué)習(xí)兩大技術(shù)相結(jié)合。

具體做法有：

知識(shí)增強(qiáng)：將知識(shí)引入到預(yù)訓(xùn)練模型的輸入階段，與文本的輸入相配合
知識(shí)支撐：用多個(gè)知識(shí)適配器將不同類(lèi)型的知識(shí)（如語(yǔ)言學(xué)層面的知識(shí)和事實(shí)層面的知識(shí)）統(tǒng)合到模型中。
知識(shí)約束：在輸出階段加入知識(shí)有關(guān)的任務(wù)，優(yōu)化目標(biāo)的同時(shí)，將抽取出來(lái)的知識(shí)返哺到知識(shí)圖譜中。

劉知遠(yuǎn)表示未來(lái)的研究方向之一將是深化知識(shí)的層級(jí)，從實(shí)體知識(shí)中抽象出概念性的知識(shí)。

最后，劉知遠(yuǎn)介紹了與黃民烈老師及多方團(tuán)隊(duì)合作在北京智源研究院算力支持下開(kāi)發(fā)的中文預(yù)訓(xùn)練語(yǔ)言模型“清源CPM”。該項(xiàng)目已在GitHub上開(kāi)源，感興趣的話可以掃描下圖二維碼獲取。

劉知遠(yuǎn)老師還將研究其研究成果整理出版成中英文書(shū)籍，其中《Representation Learning》這本書(shū)可以免費(fèi)獲??！傳送門(mén)在文章末尾。

關(guān)于CCF CTO Club和C3活動(dòng)

CCF C3活動(dòng)是CCF CTO Club發(fā)起的，面向企業(yè)技術(shù)專(zhuān)家的熱門(mén)技術(shù)和戰(zhàn)略分享會(huì)。

在此次活動(dòng)中，CCF副理事長(zhǎng)周明在開(kāi)場(chǎng)致辭過(guò)程中，官宣了C3活動(dòng)的LOGO及其含義：

• CCF CTO Club首字母：覆蓋領(lǐng)域（Computer, Communication and Control）；
• 目標(biāo)：Connection, Culture and Continuum；
• 怎么搞好：Capability，Creativity and Colorfulness。

△ CCF副理事長(zhǎng)、 創(chuàng)新工場(chǎng)首席科學(xué)家，周明

周明希望第一期的C3活動(dòng)，在10年20年后，也為計(jì)算產(chǎn)業(yè)發(fā)展培養(yǎng)國(guó)之棟梁，為我們計(jì)算機(jī)產(chǎn)業(yè)更好更強(qiáng)做出貢獻(xiàn)。

傳送門(mén)：

[1]清源CPM：https://cpm.baai.ac.cn
[2]《Representation Learning》：https://arxiv.org/pdf/2102.03732.pdf