AI同傳再進(jìn)化：看懂PPT會(huì)思考，專業(yè)術(shù)語翻譯準(zhǔn)確率大幅提升40%

曉查 2019-12-25 13:03:33 來源：量子位

曉查 發(fā)自 凹非寺
量子位 出品 | 公眾號(hào) QbitAI

2019年即將過去，搜狗在語音技術(shù)的落地應(yīng)用上不斷突破，在12月的最后幾天，搜狗又秀出了今年的最后一件“神器”——搜狗同傳3.0。

搜狗同傳3.0可以像人類一樣，從語音和圖像中獲取信息，不僅會(huì)聽，還能同時(shí)看圖、查資料，從而提高了同聲傳譯的準(zhǔn)確性，在AI同傳落地應(yīng)用中屬首創(chuàng)。

尤其是面對(duì)專有名詞、專業(yè)術(shù)語較多的場(chǎng)景，相比傳統(tǒng)只依賴語音的技術(shù)，搜狗同傳3.0針對(duì)PPT內(nèi)容將翻譯的正確率提升了40.3%。

而且這項(xiàng)技術(shù)不需要復(fù)雜的硬件升級(jí)，只需一臺(tái)帶有攝像頭和麥克風(fēng)的筆記本電腦即可實(shí)現(xiàn)。這讓未來不同語言之間的無障礙電話會(huì)議成為可能。

前不久，在北京的某一場(chǎng)科技大會(huì)上，搜狗同傳3.0強(qiáng)大的能力得到了驗(yàn)證。它快速準(zhǔn)確地翻譯了王小川的演講內(nèi)容，并將知識(shí)圖譜同步顯示在屏幕上。

即使演講內(nèi)容中有大量的互聯(lián)網(wǎng)、科技行業(yè)屬術(shù)語，也沒有難倒它。

早在2016年的世界互聯(lián)網(wǎng)大會(huì)上，搜狗同傳就完成了第一次亮相。經(jīng)過了3年的迭代升級(jí)，搜狗同傳3.0，集成了哪些最新的技術(shù)突破呢？

近日，在搜狗同傳的一場(chǎng)交流會(huì)上，搜狗AI交互技術(shù)部總經(jīng)理陳偉告訴我們，之前的AI同傳都只是聽，而搜狗同傳3.0是目前業(yè)內(nèi)首個(gè)推出的多模態(tài)同傳技術(shù)，在同行中處于領(lǐng)先地位。

多模態(tài)同傳，即AI獲取信息的渠道不再是語音，還包含圖像等其他內(nèi)容。這種多模態(tài)的交互方式是搜狗一直堅(jiān)信的趨勢(shì)，也是與人最自然的一種交流方式。

實(shí)現(xiàn)這一切的是搜狗的語境引擎，是它為演講者構(gòu)建了個(gè)性化的認(rèn)知語境。

語境引擎基于搜狗知識(shí)圖譜和百科的知識(shí)推理能力，將OCR獲取的PPT內(nèi)容自動(dòng)生成核心知識(shí)。

然后通過搜狗的知識(shí)圖譜——“搜狗知立方”進(jìn)行實(shí)時(shí)推理拓展，獲取背景知識(shí)，同時(shí)基于搜狗百科的中英術(shù)語庫(kù)得到中英雙語對(duì)照，優(yōu)化同傳識(shí)別和翻譯的效果。

語境引擎能夠讓AI同傳跟隨演講者一起“思考”，是搜狗在該領(lǐng)域的一大技術(shù)創(chuàng)新。

讓AI同傳會(huì)看會(huì)思考

大會(huì)同傳，是搜狗為多模態(tài)語音識(shí)別找到的第一個(gè)商業(yè)落地化場(chǎng)景。

業(yè)內(nèi)通常只是把語音識(shí)別+翻譯技術(shù)硬套在這個(gè)場(chǎng)景中，未做任何優(yōu)化。

搜狗注意到，同傳的應(yīng)用場(chǎng)景，大多是一些專業(yè)的商業(yè)、學(xué)術(shù)會(huì)議場(chǎng)合。以往的AI同傳一般只適用于通識(shí)場(chǎng)景，遇到專業(yè)的術(shù)語則無能為力，而術(shù)語往往又是理解語義的關(guān)鍵所在。

其實(shí)，AI也可以從人類的交互方式中汲取經(jīng)驗(yàn)，這就是搜狗同傳3.0的設(shè)計(jì)思路。搜狗把其中用到的技術(shù)叫做“語境引擎”。

而大會(huì)同傳的一個(gè)特點(diǎn)是，觀眾獲取信息的途徑不僅有語音，還有圖片和文字等語境信息。這種多模態(tài)的交互方式正是搜狗過去所擅長(zhǎng)的。

看，是搜狗也是業(yè)界第一次賦予AI同傳視覺能力。基于搜狗的OCR技術(shù)，搜狗同傳3.0在聽取演講者語音的同時(shí)，還能將屏幕上的PPT圖像轉(zhuǎn)化為文字。

想，是搜狗將PPT中的文字內(nèi)容進(jìn)行理解，提取知識(shí)，再在核心知識(shí)上做推理，進(jìn)而擴(kuò)展出整個(gè)演講的領(lǐng)域知識(shí)，對(duì)同傳內(nèi)容進(jìn)行個(gè)性化的加強(qiáng)。

搜狗的輸入法為語音識(shí)別積累了技術(shù)，搜狗的搜索引擎、百科詞條又為搜狗積累了大量的知識(shí)信息，讓搜狗能夠打造自己的知識(shí)圖譜“知立方”，最終在大會(huì)同傳這一特殊場(chǎng)景下得到落地。

在圖像識(shí)別、知識(shí)圖譜的加持下，搜狗同傳3.0相比傳統(tǒng)技術(shù)，針對(duì)PTT內(nèi)容語音識(shí)別正確率提升了21.7%；在而在翻譯的正確率上，搜狗同傳3.0更是提升了40.3%。

搜狗同傳的進(jìn)化之路

搜狗同傳發(fā)展到3.0不是一蹴而就，是在不斷的技術(shù)探索、落地實(shí)踐中完成了產(chǎn)品的升級(jí)。

從1.0到2.0，搜狗同傳已經(jīng)陸陸續(xù)續(xù)支持上千場(chǎng)的同傳的會(huì)議，有數(shù)千人使用了搜狗同傳，大量的實(shí)際應(yīng)用場(chǎng)景為搜狗積累了寶貴的經(jīng)驗(yàn)和數(shù)據(jù)。

陳偉表示，在2.0時(shí)代，搜狗就已經(jīng)考慮到了針對(duì)同傳演講內(nèi)容的個(gè)性化定制，比如提起獲取演講者的PPT內(nèi)容來建模。

但是由于種種原因，提前獲得完整演講資料很困難，每場(chǎng)演講做個(gè)性化定制也不利于提升AI同傳的泛化能力。

搜狗本身在搜索引擎上的積累，為AI同傳的升級(jí)帶來了新的思路。3.0版就是利用OCR技術(shù)提取的文字和搜狗百科中的中英詞匯進(jìn)行對(duì)比，從而優(yōu)化了同傳的識(shí)別和翻譯效果。

搜狗同傳3.0的進(jìn)化不僅僅是正確率的提升，更重要的是標(biāo)志著搜狗同傳技術(shù)已經(jīng)從單純的語音，變成“語音+視覺+大腦”的全方位多模態(tài)感知系統(tǒng)。業(yè)內(nèi)除了搜狗外，還沒有一家公司能做到這一點(diǎn)。

在縱向的對(duì)比中，搜狗同傳翻譯能力相比前代提升明顯。

據(jù)搜狗同傳的產(chǎn)品總監(jiān)張晶晶的介紹，針對(duì)某一個(gè)論壇的數(shù)據(jù)評(píng)測(cè)可以看到，2.0版在同傳中的得分是3.41分，3.0版的得分是3.82分，而人類得分是4.08分，搜狗通過“語境引擎”一舉將人類和機(jī)器的差距縮小了60%以上。

多模態(tài)交互的下一步

搜狗認(rèn)為，多模態(tài)技術(shù)是未來人機(jī)交互的發(fā)展方向。從搜狗同傳的技術(shù)升級(jí)之路中，我們也可以看出搜狗下一步的計(jì)劃。

陳偉說，搜狗同傳3.0展示了搜狗在AI方面的核心競(jìng)爭(zhēng)力和技術(shù)驅(qū)動(dòng)創(chuàng)新上的成果。

軟件方面，2018年的IWSLT國(guó)際口語機(jī)器翻譯評(píng)測(cè)大賽上，搜狗擊敗訊飛、阿里、APPTEK、AFRL及KIT等國(guó)內(nèi)外多個(gè)對(duì)手，獲得第一就是能力很好的證明。

近期，搜狗在OCR識(shí)別權(quán)威比賽ICDAR2019挑戰(zhàn)中，刷新了任意形狀文字識(shí)別（ArT）中檢測(cè)、識(shí)別、端到端三項(xiàng)任務(wù)的新記錄，充分體現(xiàn)了搜狗在文字識(shí)別領(lǐng)域的領(lǐng)先優(yōu)勢(shì)。

硬件方面，搜狗并沒有貿(mào)然進(jìn)入白熱化的智能音箱市場(chǎng)，而是另辟蹊徑開辟了智能錄音筆這個(gè)新的AI硬件戰(zhàn)場(chǎng)，并且成為其中最大的玩家。為將來推出多模態(tài)硬件產(chǎn)品積累了經(jīng)驗(yàn)。

同時(shí)，作為一家以搜索引擎技術(shù)起家公司，搜狗在知識(shí)圖譜上具有得天獨(dú)厚的優(yōu)勢(shì)。

以上這些技術(shù)和商業(yè)上的經(jīng)驗(yàn)，都可以反哺搜狗的多模態(tài)交互。

在過去的一年里，搜狗已經(jīng)完善了多模態(tài)的輸出（虛擬主播），今天搜狗開始向多模態(tài)輸入（同傳3.0、語境引擎）的落地邁出了第一步。未來完整的多模態(tài)交互生態(tài)會(huì)是什么樣？或許2020年搜狗會(huì)給我們答案。