AI同傳效果媲美人類(lèi)，百度翻譯推全球首個(gè)上下文感知機(jī)器同傳模型，王海峰吳華領(lǐng)銜

雷剛 2019-08-16 13:18:16 來(lái)源：量子位

魚(yú)羊 發(fā)自 凹非寺

量子位 報(bào)道 | 公眾號(hào) QbitAI

AI同傳領(lǐng)域又有新進(jìn)展，這次突破來(lái)自百度。

百度機(jī)器翻譯團(tuán)隊(duì)創(chuàng)新性地提出了全球首個(gè)感知上下文的機(jī)器同傳模型，并基于此發(fā)布了最新的語(yǔ)音到語(yǔ)音的機(jī)器同傳系統(tǒng)：DuTongChuan（度同傳）。

該系統(tǒng)基于百度飛槳PaddlePaddle平臺(tái)開(kāi)發(fā)，可以實(shí)時(shí)地翻譯演講內(nèi)容并以語(yǔ)音播報(bào)的形式傳遞給觀眾。

在最新提交的論文（見(jiàn)傳送門(mén)）結(jié)果中：

漢譯英準(zhǔn)確率85.71%，英譯漢準(zhǔn)確率86.36%。

并且PK 3位經(jīng)驗(yàn)豐富的人類(lèi)同傳譯員，最終結(jié)果極具競(jìng)爭(zhēng)力，在評(píng)估所用的BLEU和人工評(píng)價(jià)雙重評(píng)價(jià)中，度同傳均達(dá)到與人類(lèi)專(zhuān)員媲美的水平。

論文中還介紹，該系統(tǒng)已成功應(yīng)用于百度2019開(kāi)發(fā)者大會(huì)，將演講內(nèi)容實(shí)時(shí)地翻譯給現(xiàn)場(chǎng)觀眾收聽(tīng)。現(xiàn)場(chǎng)反饋，延時(shí)大多不到3秒。

與傳統(tǒng)的字幕投屏同傳相比，算得上是真正的沉浸式體驗(yàn)，如同人工同傳一般。

百度方面介紹，度同傳系統(tǒng)，能夠?qū)崿F(xiàn)語(yǔ)音到語(yǔ)音的機(jī)器同傳，其中核心技術(shù)所在，是全球首個(gè)上下文感知機(jī)器同傳模型。

具體原理如何，我們結(jié)合論文解析一二。

三大秘籍

一個(gè)人類(lèi)同聲傳譯人員，在進(jìn)行翻譯的時(shí)候會(huì)把聽(tīng)到的內(nèi)容劃分成一個(gè)一個(gè)語(yǔ)義塊，對(duì)一段話(huà)進(jìn)行理解翻譯，既不是逐字翻譯，也不是逐句翻譯，這樣既能保證語(yǔ)義不變，又能保證實(shí)時(shí)性。

百度翻譯團(tuán)隊(duì)由此得到靈感，教給度同傳同聲傳譯秘籍第一招：

語(yǔ)義信息單元（Information Unit，IU）

傳統(tǒng)的機(jī)器同傳存在一個(gè)比較尷尬的問(wèn)題是，它的翻譯并不流暢。

舉個(gè)例子：

對(duì)于“所以它會(huì)在畫(huà)布上面，自己創(chuàng)建一個(gè)虛擬的這個(gè)網(wǎng)格”這個(gè)句子，整句N(xiāo)MT（神經(jīng)機(jī)器翻譯）模型能夠生成準(zhǔn)確的翻譯。問(wèn)題是，這樣的模型需要等到一個(gè)完整句子結(jié)束，才能開(kāi)始翻譯。

這顯然不符合同聲傳譯的要求，時(shí)延太高了。

子句N(xiāo)MT模型倒是降低了延遲，因?yàn)樗谧x取源文本中的逗號(hào)后就會(huì)開(kāi)始翻譯，但是第二個(gè)子句翻譯的內(nèi)容“創(chuàng)建你自己的虛擬網(wǎng)格（creat a virtual grid of your own）”不符合原意。

一個(gè)太慢，一個(gè)翻譯不通順，這時(shí)候，語(yǔ)義信息單元IU就派上用場(chǎng)了。

模型會(huì)不斷從自動(dòng)語(yǔ)音識(shí)別（ASR）模型中讀取實(shí)時(shí)語(yǔ)音流，并確定其信息單元邊界，將語(yǔ)音流切分成一個(gè)一個(gè)翻譯單元。

這個(gè)切分的過(guò)程靠的是基于動(dòng)態(tài)上下文的信息單元邊界檢測(cè)器。

它是這樣工作的：

當(dāng)錨點(diǎn)在“姬”這個(gè)字上的時(shí)候，如果當(dāng)前邊界決策的概率小于某個(gè)閾值，那么就必須考慮更多的上下文（添加額外的上下文“這個(gè)”），得到更可靠的決策。這之后，“那個(gè)叫什么什么呃妖姬”這幾個(gè)字就被標(biāo)記為一個(gè)信息單元。

也就是說(shuō)，模型會(huì)學(xué)習(xí)確定當(dāng)前錨點(diǎn)的潛在類(lèi)別，一旦分類(lèi)確定，它前面的序列就被標(biāo)記為一個(gè)信息單元。

這個(gè)模型的一個(gè)顯著特點(diǎn)是被允許參考更多的上下文，所以它的預(yù)測(cè)也會(huì)更加可靠。

只有IU還不夠。

秘籍二：創(chuàng)新解碼算法

為了提升翻譯的流暢度和一致性，百度還提出了兩種創(chuàng)新解碼算法：部分解碼（Partial Decoding）和上下文感知解碼（Context-aware Decoding）。

部分解碼

在上下文感知翻譯模型中，需要翻譯的信息單元通常都是句子的一部分，并非完整的一個(gè)句子。而傳統(tǒng)的NMT模型通常在僅包含完整句子的雙語(yǔ)語(yǔ)料庫(kù)中進(jìn)行訓(xùn)練，如果用傳統(tǒng)訓(xùn)練方式的NMT模型解碼信息單元，容易產(chǎn)生過(guò)度翻譯和漏譯等問(wèn)題。

除了這個(gè)問(wèn)題之外，還要考慮到人類(lèi)同聲傳譯員通常都是會(huì)進(jìn)行預(yù)判的，有些話(huà)講話(huà)的人還沒(méi)說(shuō)出口，同聲傳譯員就已經(jīng)翻譯出來(lái)了。

為了解決上述問(wèn)題，度同傳設(shè)計(jì)了一個(gè)部分解碼模型，用于翻譯一個(gè)句子的第一個(gè)信息單元。

在訓(xùn)練階過(guò)程中，在預(yù)測(cè)第一個(gè)信息單元翻譯內(nèi)容時(shí)，通過(guò)掩蓋句子中其他信息單元的內(nèi)容，可以讓模型同時(shí)學(xué)習(xí)預(yù)測(cè)目標(biāo)譯文和部分原文信息，達(dá)到提前預(yù)測(cè)的功能。

上下文感知解碼

對(duì)于句子中其他的信息單元，則采用上下文感知解碼模型進(jìn)行翻譯。

此模型的特點(diǎn)是：

? 在訓(xùn)練過(guò)程中，強(qiáng)迫該模型學(xué)習(xí)如何在給定部分翻譯內(nèi)容的情況下繼續(xù)翻譯。

? 在解碼過(guò)程中，丟棄一部分此前生成的翻譯，以便進(jìn)行更流暢的翻譯。

就像這樣，在訓(xùn)練期間，不屏蔽源輸入，但屏蔽與第一個(gè)信息單元對(duì)齊的翻譯內(nèi)容。這種策略能迫使模型學(xué)會(huì)補(bǔ)全剩余的翻譯內(nèi)容，而不是聚焦于生成完整句子的翻譯。

此外，在解碼階段，上下文感知模型會(huì)丟棄已生成部分翻譯的最后k個(gè)符號(hào)，而后完成其余的翻譯，以生成更為流暢的翻譯結(jié)果。其中的原理是，前序信息單元尾部的翻譯很大程度上會(huì)影響到后續(xù)信息單元的翻譯內(nèi)容。

△k=1

如此一來(lái)，度同傳就能夠結(jié)合上下文信息，生成全局流暢的譯文，還克服了傳統(tǒng)模型以句子為翻譯單位，譯文不連貫、時(shí)延長(zhǎng)等缺點(diǎn)。

這就完事了？并不。為了推動(dòng)語(yǔ)音翻譯的研究，百度翻譯團(tuán)隊(duì)還開(kāi)源了一個(gè)寶庫(kù)。

秘籍三：BSTC

BSTC是全球首個(gè)中文-英文演講場(chǎng)景語(yǔ)音翻譯數(shù)據(jù)集，總共包含超過(guò)50小時(shí)的演講語(yǔ)音和對(duì)應(yīng)的轉(zhuǎn)錄文本、時(shí)間軸、翻譯文本等數(shù)據(jù)資源。涉及IT、經(jīng)濟(jì)、文化、生物、藝術(shù)等多個(gè)演講主題。

該數(shù)據(jù)集現(xiàn)已開(kāi)源，下載鏈接可在文末自取。

媲美人類(lèi)，機(jī)器與人類(lèi)各有所長(zhǎng)

為了驗(yàn)證度同傳的本領(lǐng)，百度翻譯團(tuán)隊(duì)邀請(qǐng)了3位具有3-7年工作經(jīng)驗(yàn)的同聲傳譯員S，A，B。

研究團(tuán)隊(duì)模擬了一個(gè)真實(shí)的同傳場(chǎng)景，讓機(jī)器同傳和同聲傳譯員們對(duì)BSTC中的同一個(gè)演講進(jìn)行同聲傳譯。

無(wú)論是傳統(tǒng)的BLEU自動(dòng)評(píng)價(jià)指標(biāo)（一種用于評(píng)估從一種自然語(yǔ)言機(jī)器翻譯到另一種自然語(yǔ)言的文本質(zhì)量的算法），還是人工評(píng)價(jià)方法，機(jī)器同傳都表現(xiàn)出了極具競(jìng)爭(zhēng)力的翻譯水平。

BLEU和人工評(píng)價(jià)均基于轉(zhuǎn)寫(xiě)后的譯文文本，BLEU指標(biāo)基于n-gram嚴(yán)格匹配計(jì)算得分，而人工評(píng)價(jià)更注重譯文的完整性和流暢度，類(lèi)似于用筆譯的標(biāo)準(zhǔn)評(píng)價(jià)口譯。

△BAD：譯文不準(zhǔn)確；OK：譯文不影響理解，允許有少許錯(cuò)誤；GOOD：譯文準(zhǔn)確

可以看到，在可接受度（Acceptability）上，機(jī)器同傳與表現(xiàn)最好的人類(lèi)選手表現(xiàn)相當(dāng)（73.91% VS 73.04%）。

而在漏譯率上，機(jī)器同傳則遠(yuǎn)遠(yuǎn)甩開(kāi)了人類(lèi)競(jìng)爭(zhēng)對(duì)手（20% VS 47%）。

當(dāng)然了，在漏譯率明顯高于機(jī)器的情況下，人類(lèi)同傳譯員仍保持了高可接受度，說(shuō)明人類(lèi)在實(shí)時(shí)性要求高、腦力工作強(qiáng)度大的情況下，能夠靈活變通，突出重要信息的傳遞。而機(jī)器勝在不知疲倦，漏譯率低。

值得注意的是，剛公開(kāi)論文的度同傳，實(shí)際已在2019百度AI開(kāi)發(fā)者大會(huì)完成實(shí)戰(zhàn)檢驗(yàn)。

從人工測(cè)評(píng)結(jié)果來(lái)看，度同傳的中英同傳可接受度達(dá)到了85.71%，英中同傳可接受度則達(dá)到了86.36%。根據(jù)現(xiàn)場(chǎng)使用體驗(yàn)，合成語(yǔ)音的平均延遲在3秒以?xún)?nèi)。

總結(jié)來(lái)說(shuō)：語(yǔ)音到語(yǔ)音，高質(zhì)量，低時(shí)延。

不過(guò)眼見(jiàn)方為實(shí)，如果想要親自體驗(yàn)一下百度翻譯AI同傳，現(xiàn)在百度翻譯也給出了開(kāi)放平臺(tái)申請(qǐng)渠道。

此外，度同傳作為一項(xiàng)服務(wù)已經(jīng)集成到了百度的AI平臺(tái)上，相信不久之后還能在更多產(chǎn)品、更多落地場(chǎng)景中應(yīng)用。更多C端用戶(hù)，也能直接體驗(yàn)。

傳送門(mén)

體驗(yàn)申請(qǐng)鏈接：

https://fanyi-api.baidu.com/api/trans/product/simultaneous

BSTC數(shù)據(jù)集：

http://ai.baidu.com/broad/subordinate?dataset=bstc

論文鏈接：

https://arxiv.org/abs/1907.12984

— 完 —

誠(chéng)摯招聘

量子位正在招募編輯/記者，工作地點(diǎn)在北京中關(guān)村。期待有才氣、有熱情的同學(xué)加入我們！相關(guān)細(xì)節(jié)，請(qǐng)?jiān)诹孔游还娞?hào)(QbitAI)對(duì)話(huà)界面，回復(fù)“招聘”兩個(gè)字。

量子位 QbitAI · 頭條號(hào)簽約作者

?’?’ ? 追蹤AI技術(shù)和產(chǎn)品新動(dòng)態(tài)