這年頭，機器翻譯都會通過文字腦補畫面了 | NAACL 2021

博雯 發(fā)自 凹非寺
量子位 報道 | 公眾號 QbitAI

現(xiàn)在，想象一個外國人面前擺了句「金石迸碎蕩塵埃，磐山紆水盡為開」。

除了痛苦地死摳復雜單詞和長難句語法，他還能怎么去理解這句話呢？

——想象。

想象這句詩詞中的“金石”、“塵埃”、“山水”各個詞匯的意象，再將意象匯聚成一個具體的畫面或場景。

而這時就有研究者靈機一動：

人類不是能根據(jù)非母語文本腦補畫面，進而做到更深入的理解嗎？

那機器是不是也能根據(jù)輸入文本腦補圖像，最終實現(xiàn)更好的翻譯呢？

于是，一個以視覺想象為引導的機器翻譯模型ImagiT就誕生了。

論文作者來自南洋理工大學和字節(jié)跳動人工智能實驗室。

缺少圖片也能利用視覺

提到“利用視覺”，我們首先會想到多模態(tài)機器翻譯。

比起純文本的機器翻譯，多模態(tài)機器翻譯能夠利用語音、圖像這樣的模態(tài)信息來提高翻譯質(zhì)量。

換句話說就是標注圖片的數(shù)量和質(zhì)量會非常影響模型翻譯的有效性。

但偏偏人工圖片標注的成本又不低……所以現(xiàn)階段的多模態(tài)機器翻譯大都應用在Multi30K，一個包含了3萬張圖片標注的數(shù)據(jù)集上。

而新提出的ImagiT翻譯模型呢？

它在推理階段不需要標注圖片作為輸入，而是通過想象的方式利用視覺信號，在訓練階段將視覺語義蘊含到模型內(nèi)部。

基于想象的翻譯模型到底什么樣

這是一個端到端的對抗學習架構(gòu)。

架構(gòu)左右端是我們熟悉的transformer的編碼器和解碼器，而中間則是這一框架獨特的生成想象網(wǎng)絡。

這一生成想象網(wǎng)絡主要由兩個轉(zhuǎn)化器和一個注意力層組成，具體做轉(zhuǎn)化時：

一、源文本通過F0輸入

F0包含一個全連接層和四個去卷積層。

基于GAN的思想，句子特征與噪聲拼接后會通過F0轉(zhuǎn)化成視覺表征。

二、將注意力放在詞層面

在注意力層關注源文本中的相關詞匯，并生成圖像不同子區(qū)域的細粒度細節(jié)，讓圖像特征的子區(qū)域與詞對應。

最終得到更加語義一致的視覺表征。

三、視覺表征通過F1輸出

F1包含兩個全連接層和一個去卷積層，以及一個殘差層。

通過這一轉(zhuǎn)化器，捕捉多層次（詞級和句級）的語義，輸出生成的視覺特征f1。

四、多模態(tài)聚合

把原本的文本模態(tài)和新合成的視覺特征聚合在一起。

五、翻譯

模型的學習目標結(jié)合了文本到圖片的生成，以及逆任務的圖像字幕和翻譯。

其中鑒別器源文本、生成圖像和真實圖像作為輸入，用來評估合成圖像是否與真實圖片一致。

同時，也會使用條件對抗損失來評估合成的圖像是否與源語言具有相同的語義。

“腦補”如何幫助翻譯？

研究者使用了一種退化策略，即用特殊字符替換源語言文本中的重要詞語，來觀察模型的翻譯表現(xiàn)會下降多少。

在這這種情況下，純文本的翻譯模型只能通過丟失詞語的上下文和偏置來推理句子的翻譯。

多模態(tài)機器翻譯則會利用標注的圖片進行翻譯。

而ImagiT在缺少圖片標注的情況下，還能根據(jù)退化的文本想象并恢復丟失的信息。

通過這一特殊的探索實驗，可以看到ImagiT能在訓練階段學習特定詞語（色彩，可被具象化的實體詞等）與其他詞語之間相關性和共現(xiàn)。

效果如何？

由于ImagiT不需要圖片作為輸入，所以在測試時選用純文本的transformer模型作為baseline。

在Multi30K的英法、英德Test2016，Test2017上進行測試時，ImagiT得到了與SOTA多模態(tài)翻譯系統(tǒng)相當?shù)谋憩F(xiàn)：

而在Ambiguous COCO上也展現(xiàn)出了不錯的測試結(jié)果：

論文地址：
https://arxiv.org/abs/2009.09654