微信AI再奪冠！斬獲WMT2020國(guó)際機(jī)器翻譯大賽中英方向第一名

白交 2020-07-08 16:22:09 來(lái)源：量子位

白交 發(fā)自 凹非寺
量子位 報(bào)道 | 公眾號(hào) QbitAI

在全球?qū)W術(shù)界最具權(quán)威的機(jī)器翻譯比賽上，騰訊微信AI團(tuán)隊(duì)獲獎(jiǎng)了，而且還是中英方向上第一名。

近日，WMT2020國(guó)際機(jī)器翻譯大賽的榜單停止提交結(jié)果并發(fā)布排名。

其中騰訊微信AI團(tuán)隊(duì)在「中文-英文」翻譯任務(wù)上奪得冠軍。

WMT是什么？

WMT 是機(jī)器翻譯領(lǐng)域的國(guó)際頂級(jí)評(píng)測(cè)比賽之一，自2006年創(chuàng)辦至今，WMT已經(jīng)成功舉辦15屆。

大賽每年都吸引了眾多來(lái)自全球的企業(yè)、科研機(jī)構(gòu)和高校所組成的頂尖團(tuán)隊(duì)，包括微軟、Facebook、百度、金山、日本情報(bào)通信研究機(jī)構(gòu)（NICT）。

那么具體是什么賽制呢？

首先，組委會(huì)根據(jù)中英、英中、中日等不同翻譯任務(wù)提供測(cè)試集，參賽者在線提交機(jī)器翻譯結(jié)果。

組委會(huì)將根據(jù)在國(guó)際上具有廣泛認(rèn)可度的BLEU自動(dòng)評(píng)估指標(biāo)對(duì)參賽者提交的機(jī)器譯文和標(biāo)準(zhǔn)答案進(jìn)行擬合計(jì)算，擬合程度高者排在前面。

其中「中文-英文」翻譯任務(wù)是大賽歷年來(lái)競(jìng)爭(zhēng)最激烈的領(lǐng)域，也是最大的看點(diǎn)之一。

在歷屆冠軍中，微軟、騰訊翻譯君、搜狗都榜上有名。

提交結(jié)果BLEU評(píng)分第一，微信AI斬獲中英翻譯方向冠軍

此次大賽競(jìng)爭(zhēng)激烈，各參賽方共計(jì)提交近300次數(shù)據(jù)，最終微信AI團(tuán)隊(duì)經(jīng)過(guò)多次角逐脫穎而出，成功占據(jù)自動(dòng)評(píng)估指標(biāo)的榜首，斬獲桂冠。

值得一提的是，BLEU評(píng)分前兩名的機(jī)器譯文均由微信AI團(tuán)隊(duì)提交。

同時(shí)，今年微信AI僅使用了官方提供的數(shù)據(jù)（也就是受限資源），超過(guò)了所有使用受限資源和無(wú)限資源的系統(tǒng)。

兩種結(jié)構(gòu)、三種訓(xùn)練方法，微信AI打造翻譯領(lǐng)先技術(shù)

在本次大賽上，微信翻譯在技術(shù)上以更深和更寬的Transformer結(jié)構(gòu)（包括Self-attention和Average-attention）和自研的Deep Transition結(jié)構(gòu)（DTMT）為基礎(chǔ)，用融合領(lǐng)域內(nèi)知識(shí)的數(shù)據(jù)增強(qiáng)方法迭代生成高質(zhì)量的偽數(shù)據(jù)，并利用Self-Bleu的組合剪枝策略集成模型并利用集成模型的知識(shí)蒸餾單模型。

除了常規(guī)的交叉熵訓(xùn)練，還采用三種改進(jìn)的訓(xùn)練方法來(lái)緩解偏差問(wèn)題，包括改進(jìn)的Scheduled Sampling訓(xùn)練方法、針對(duì)目標(biāo)端輸入的抗噪訓(xùn)練和最小化貝葉斯風(fēng)險(xiǎn)訓(xùn)練

目前，微信翻譯服務(wù)場(chǎng)景已涵蓋微信對(duì)話翻譯、朋友圈翻譯、微信掃一掃等，同時(shí)還為騰訊小微、微信對(duì)話開放平臺(tái)、微信讀書、QQ郵箱等提供翻譯服務(wù)支持，后續(xù)會(huì)陸續(xù)運(yùn)用于更多的場(chǎng)景。

基礎(chǔ)研究與技術(shù)開源，微信持續(xù)深耕人工智能

除了在智能翻譯領(lǐng)域取得優(yōu)秀成績(jī)外，微信AI團(tuán)隊(duì)在其他領(lǐng)域也建樹頗多。

不僅在2018、2019蟬聯(lián)DSTC冠軍，還在2019年獲得RACE中高考題榜單第一名、DROP數(shù)學(xué)推理榜單第一名和QuAC多輪交互推理榜單第一名。

ACL 2019上，由中科院計(jì)算所和微信AI等團(tuán)隊(duì)合作的文章「Bridging the Gap between Training and Inference for Neural Machine Translation」，獲得了最佳長(zhǎng)論文獎(jiǎng)項(xiàng)，這也是中國(guó)大陸第一篇獲此獎(jiǎng)項(xiàng)的文章。

隨后，今年的ACL 2020中，微信AI團(tuán)隊(duì)亦有7篇論文入選，覆蓋機(jī)器翻譯、信息抽取、對(duì)話系統(tǒng)等領(lǐng)域研究成果。

兩年來(lái)，微信AI團(tuán)隊(duì)共有16篇論文入選ACL。

基于深度學(xué)習(xí)研發(fā)的微信智聆語(yǔ)音識(shí)別技術(shù)，每天處理超過(guò)4億條語(yǔ)音，語(yǔ)音識(shí)別正確率達(dá)到97%，并在微信語(yǔ)音輸入、語(yǔ)音轉(zhuǎn)文字、王者榮耀、QQ音樂(lè)等產(chǎn)品中提供了技術(shù)支持。

而專注智能對(duì)話和NLP的微信智言，則以騰訊小微開放能力為核心，為除了家居硬件、PaaS、行業(yè)云和AI Bot等領(lǐng)域提供技術(shù)支持，讓人與機(jī)器以最自然、最便捷的方式交流溝通。

在技術(shù)開源方面，微信AI開發(fā)自研并開源了Transformer推理引擎，這也是騰訊對(duì)外開源的第100個(gè)項(xiàng)目。

在未來(lái)，微信AI也將持續(xù)加大對(duì)人工智能領(lǐng)域的學(xué)習(xí)與投入，積極將技術(shù)升級(jí)運(yùn)用在產(chǎn)品之中，并創(chuàng)新整合新型能力，基于微信平臺(tái)生態(tài)帶來(lái)覆蓋更廣的應(yīng)用場(chǎng)景和更智能的產(chǎn)品體驗(yàn)，為12億微信用戶提供更優(yōu)質(zhì)的智能服務(wù)。