調(diào)戲微軟文言文AI翻譯：“永不舍汝”、“其母之”是什么鬼？？？

夢晨 2021-08-31 13:54:35 來源：量子位

夢晨 蕭簫 發(fā)自 凹非寺
量子位 報道 | 公眾號 QbitAI

聽說微軟搞了個AI翻譯文言文？

趕緊來試試，先來一段《曹劌論戰(zhàn)》的開頭：

我震驚了，居然能把“我”翻譯成“魯國”，“公”翻譯成“魯莊公”。

難道AI除了學(xué)習(xí)文言文詞匯和語法，還熟讀了《左傳》？

換成詩表現(xiàn)又將如何？

雖然翻譯出來不是很有文學(xué)性，但AI正確理解到了“望著同一個月亮”這層意思。

嚯，這個翻譯極大地引起了我的興趣。

如果百度和微軟一起上考場

既然翻譯出正確詞意不是太難，那文言文中的特殊語法AI能否掌握？

為了更好地評估微軟翻譯的能力，這里請出老牌選手百度翻譯，讓它們比試一下。

第一題：秦時明月漢時關(guān)

這里考點(diǎn)是互文的修辭方法，應(yīng)該理解成秦漢時期的明月、秦漢時期的關(guān)口。

百度的答案是：

看來百度沒理解到位，再看看微軟的答案：

微軟正確理解了互文，率先拿下1分。

第二題：春風(fēng)又綠江南岸

這句的考點(diǎn)是詞類活用，綠本來是個形容詞，在這里用作動詞。

還是百度先來：

沒問題，接下來是微軟：

等一下，雖然綠用作動詞翻譯對了，可是后面怎么多了一個“可是”？

難道……把后半句詩也輸進(jìn)去試試：

果然如此，看來微軟翻譯在用整句進(jìn)行訓(xùn)練的時候掌握了句與句之間的轉(zhuǎn)折關(guān)系，后來不知怎么又算到前半句里了。

這次百度扳回一局，1:1平。

最后一題考驗一下文言文中的另一個常見語法現(xiàn)象——倒裝

比如《鄒忌諷齊王納諫》中的“我孰與城北徐公美？”

按慣例百度先：

然后是微軟：

看來兩個AI都學(xué)會了倒裝句的用法，最終結(jié)果2:2平，各有千秋。

微軟翻譯雖然多學(xué)會了一個互文，但畢竟還是年輕選手，對句子之間關(guān)系的處理需要再練習(xí)。

接下來挑戰(zhàn)一下微軟文言文翻譯的極限。

比如維基百科其實就有個文言文版叫維基大典，里面剛好有微軟的詞條。

來試試讓微軟AI翻譯一下自己公司的介紹：

看起來現(xiàn)代的偽文言文對于這個剛出生的小AI來說還是太苛刻了。

雖然也特別訓(xùn)練了“微軟”和“電腦”這種現(xiàn)代才出現(xiàn)的名詞，但遇到“一九七五年”這種古代不用的表達(dá)就不行了，前老板比爾蓋茨的名字也沒認(rèn)出來。

“立之者”這里還按古文的語境腦補(bǔ)出一個“國君”，可能這就是過擬合吧。

說到現(xiàn)代的表達(dá)方式，其實這個翻譯工具還可以倒過來用，把白話文譯成文言文。

比如諸葛丞相那句“我從未見過有如此厚顏無恥之人！”要是用文言文說出來是不是就更對味了？

那么，這樣的模型是怎么“煉成”的呢？

Transformer加成，專攻訓(xùn)練數(shù)據(jù)

用AI搞文言文翻譯，確實不是頭一回見。

百度是最早用機(jī)器學(xué)習(xí)做文言文翻譯的，還申請過相關(guān)專利：「一種在白話文與文言文之間進(jìn)行文體轉(zhuǎn)換的方法和設(shè)備」。

相關(guān)文言文翻譯的模型也不少，從機(jī)器學(xué)習(xí)、RNN到Transformer都有，像微軟這次采用的，就是Transformer模型：

△圖源：微軟研究院AI頭條

不過，文言文翻譯中的訓(xùn)練數(shù)據(jù)，卻一直是個難點(diǎn)。

相比于其他主流語言（中文現(xiàn)代文、英文等），文言文可以說是訓(xùn)練數(shù)據(jù)極少，同時還存在句式變換、繁簡混合等問題，造成翻譯的生硬。

這次微軟的文言文翻譯，主要就解決了四個方面的數(shù)據(jù)問題：

• 其一，針對數(shù)據(jù)量不足，利用相同字詞進(jìn)行數(shù)據(jù)合成和增強(qiáng)。文言文和現(xiàn)代文有一些相同含義的字詞，如果對這些詞語進(jìn)行召回、對齊，再擴(kuò)展到短詞短句，就能合成大量可用的訓(xùn)練數(shù)據(jù)。
• 其二，針對句式變換不靈活，對數(shù)據(jù)格式進(jìn)行變形，提升魯棒性。文言文斷句和現(xiàn)代文不太一樣，為此研究人員通過數(shù)據(jù)格式變形，來擴(kuò)大訓(xùn)練數(shù)據(jù)量，讓模型也學(xué)會翻譯類似語句。
• 其三，針對字體識別不力，用簡繁混合數(shù)據(jù)訓(xùn)練，提升模型識別能力。為了讓機(jī)器學(xué)習(xí)能同時識別簡繁混合的文言文，研究人員在訓(xùn)練模型時會將簡體中文和繁體中文數(shù)據(jù)混合在一起進(jìn)行訓(xùn)練，確保翻譯模型不出錯。
• 其四，針對現(xiàn)代文的“新詞”，專門建立相關(guān)數(shù)據(jù)集和識別模型，確保不“亂翻譯”。為了避免模型在遇到現(xiàn)代文中的“高鐵、電腦、互聯(lián)網(wǎng)”這種詞時出現(xiàn)混亂（例如將高鐵翻譯成高處的鐵塊），研究人員建了一個模型，專門用來識別這些新詞。除了新詞，也針對博客、論壇、微博等新文體進(jìn)行訓(xùn)練。

然而這都還只是文言文和中文之間的互譯，整點(diǎn)英文試試？

英譯中，bug藏不住了

這次微軟的文言文翻譯是直接整合到了Bing翻譯里，難道還可以把文言文翻譯成外語？

先挑戰(zhàn)一下單個的英文句子：

Never gonna give you up

看來簡單句沒有難倒AI，我們提升一下難度，用一首比較著名的英文詩「當(dāng)你老了」試試：

等等，“灰暗”、“陰景深”、“彎下腰在酒邊”……這都是什么鬼？

簡單的句子似乎還好，然而一到長句子，怎么就翻譯成這樣了？

不過，微軟也說過，這次主要實現(xiàn)的是文言文和現(xiàn)代文互譯，說明其他語言在翻譯成文言文之前，應(yīng)該也需要先翻譯成現(xiàn)代文。

那來看看微軟的英譯中效果怎么樣：

破案了，微軟的英譯中確實不太行……可能也是導(dǎo)致英文翻譯成文言文出現(xiàn)失誤的原因。

相比之下，從文言文翻譯現(xiàn)代文、再翻譯到中文的效果要稍微好一點(diǎn)。

順帶一提，雖然正經(jīng)的英文字句翻譯得不太行，不過在這種字詞的翻譯上……竟然還有點(diǎn)文藝？

看來以后可以和翻譯模型學(xué)習(xí)如何優(yōu)雅地罵人了。（手動狗頭）

如果大家還調(diào)戲出了什么好玩的翻譯，歡迎留言~

微軟文言文翻譯地址：
https://cn.bing.com/translator

參考鏈接：
[1]https://weibo.com/msra?profile_ftype=1&is_all=1#1630370728811
[2]https://mp.weixin.qq.com/s/5cpBuUXfeb0r13JSyNuS_Q