AI同傳再進(jìn)化：看懂PPT會思考，專業(yè)術(shù)語翻譯準(zhǔn)確率大幅提升40%
曉查 發(fā)自 凹非寺
量子位 出品 | 公眾號 QbitAI
2019年即將過去，搜狗在語音技術(shù)的落地應(yīng)用上不斷突破，在12月的最后幾天，搜狗又秀出了今年的最后一件“神器”——搜狗同傳3.0。
搜狗同傳3.0可以像人類一樣，從語音和圖像中獲取信息，不僅會聽，還能同時看圖、查資料，從而提高了同聲傳譯的準(zhǔn)確性，在AI同傳落地應(yīng)用中屬首創(chuàng)。
尤其是面對專有名詞、專業(yè)術(shù)語較多的場景，相比傳統(tǒng)只依賴語音的技術(shù)，搜狗同傳3.0針對PPT內(nèi)容將翻譯的正確率提升了40.3%。
而且這項技術(shù)不需要復(fù)雜的硬件升級，只需一臺帶有攝像頭和麥克風(fēng)的筆記本電腦即可實現(xiàn)。這讓未來不同語言之間的無障礙電話會議成為可能。
前不久，在北京的某一場科技大會上，搜狗同傳3.0強(qiáng)大的能力得到了驗證。它快速準(zhǔn)確地翻譯了王小川的演講內(nèi)容，并將知識圖譜同步顯示在屏幕上。
即使演講內(nèi)容中有大量的互聯(lián)網(wǎng)、科技行業(yè)屬術(shù)語，也沒有難倒它。
早在2016年的世界互聯(lián)網(wǎng)大會上，搜狗同傳就完成了第一次亮相。經(jīng)過了3年的迭代升級，搜狗同傳3.0，集成了哪些最新的技術(shù)突破呢？
近日，在搜狗同傳的一場交流會上，搜狗AI交互技術(shù)部總經(jīng)理陳偉告訴我們，之前的AI同傳都只是聽，而搜狗同傳3.0是目前業(yè)內(nèi)首個推出的多模態(tài)同傳技術(shù)，在同行中處于領(lǐng)先地位。
多模態(tài)同傳，即AI獲取信息的渠道不再是語音，還包含圖像等其他內(nèi)容。這種多模態(tài)的交互方式是搜狗一直堅信的趨勢，也是與人最自然的一種交流方式。
實現(xiàn)這一切的是搜狗的語境引擎，是它為演講者構(gòu)建了個性化的認(rèn)知語境。
語境引擎基于搜狗知識圖譜和百科的知識推理能力，將OCR獲取的PPT內(nèi)容自動生成核心知識。
然后通過搜狗的知識圖譜——“搜狗知立方”進(jìn)行實時推理拓展，獲取背景知識，同時基于搜狗百科的中英術(shù)語庫得到中英雙語對照，優(yōu)化同傳識別和翻譯的效果。
語境引擎能夠讓AI同傳跟隨演講者一起“思考”，是搜狗在該領(lǐng)域的一大技術(shù)創(chuàng)新。
讓AI同傳會看會思考
大會同傳，是搜狗為多模態(tài)語音識別找到的第一個商業(yè)落地化場景。
業(yè)內(nèi)通常只是把語音識別+翻譯技術(shù)硬套在這個場景中，未做任何優(yōu)化。
搜狗注意到，同傳的應(yīng)用場景，大多是一些專業(yè)的商業(yè)、學(xué)術(shù)會議場合。以往的AI同傳一般只適用于通識場景，遇到專業(yè)的術(shù)語則無能為力，而術(shù)語往往又是理解語義的關(guān)鍵所在。
其實，AI也可以從人類的交互方式中汲取經(jīng)驗，這就是搜狗同傳3.0的設(shè)計思路。搜狗把其中用到的技術(shù)叫做“語境引擎”。
而大會同傳的一個特點是，觀眾獲取信息的途徑不僅有語音，還有圖片和文字等語境信息。這種多模態(tài)的交互方式正是搜狗過去所擅長的。
看，是搜狗也是業(yè)界第一次賦予AI同傳視覺能力。基于搜狗的OCR技術(shù)，搜狗同傳3.0在聽取演講者語音的同時，還能將屏幕上的PPT圖像轉(zhuǎn)化為文字。
想，是搜狗將PPT中的文字內(nèi)容進(jìn)行理解，提取知識，再在核心知識上做推理，進(jìn)而擴(kuò)展出整個演講的領(lǐng)域知識，對同傳內(nèi)容進(jìn)行個性化的加強(qiáng)。
搜狗的輸入法為語音識別積累了技術(shù)，搜狗的搜索引擎、百科詞條又為搜狗積累了大量的知識信息，讓搜狗能夠打造自己的知識圖譜“知立方”，最終在大會同傳這一特殊場景下得到落地。
在圖像識別、知識圖譜的加持下，搜狗同傳3.0相比傳統(tǒng)技術(shù)，針對PTT內(nèi)容語音識別正確率提升了21.7%；在而在翻譯的正確率上，搜狗同傳3.0更是提升了40.3%。
搜狗同傳的進(jìn)化之路
搜狗同傳發(fā)展到3.0不是一蹴而就，是在不斷的技術(shù)探索、落地實踐中完成了產(chǎn)品的升級。
從1.0到2.0，搜狗同傳已經(jīng)陸陸續(xù)續(xù)支持上千場的同傳的會議，有數(shù)千人使用了搜狗同傳，大量的實際應(yīng)用場景為搜狗積累了寶貴的經(jīng)驗和數(shù)據(jù)。
陳偉表示，在2.0時代，搜狗就已經(jīng)考慮到了針對同傳演講內(nèi)容的個性化定制，比如提起獲取演講者的PPT內(nèi)容來建模。
但是由于種種原因，提前獲得完整演講資料很困難，每場演講做個性化定制也不利于提升AI同傳的泛化能力。
搜狗本身在搜索引擎上的積累，為AI同傳的升級帶來了新的思路。3.0版就是利用OCR技術(shù)提取的文字和搜狗百科中的中英詞匯進(jìn)行對比，從而優(yōu)化了同傳的識別和翻譯效果。
搜狗同傳3.0的進(jìn)化不僅僅是正確率的提升，更重要的是標(biāo)志著搜狗同傳技術(shù)已經(jīng)從單純的語音，變成“語音+視覺+大腦”的全方位多模態(tài)感知系統(tǒng)。業(yè)內(nèi)除了搜狗外，還沒有一家公司能做到這一點。
在縱向的對比中，搜狗同傳翻譯能力相比前代提升明顯。
據(jù)搜狗同傳的產(chǎn)品總監(jiān)張晶晶的介紹，針對某一個論壇的數(shù)據(jù)評測可以看到，2.0版在同傳中的得分是3.41分，3.0版的得分是3.82分，而人類得分是4.08分，搜狗通過“語境引擎”一舉將人類和機(jī)器的差距縮小了60%以上。
多模態(tài)交互的下一步
搜狗認(rèn)為，多模態(tài)技術(shù)是未來人機(jī)交互的發(fā)展方向。從搜狗同傳的技術(shù)升級之路中，我們也可以看出搜狗下一步的計劃。
陳偉說，搜狗同傳3.0展示了搜狗在AI方面的核心競爭力和技術(shù)驅(qū)動創(chuàng)新上的成果。
軟件方面，2018年的IWSLT國際口語機(jī)器翻譯評測大賽上，搜狗擊敗訊飛、阿里、APPTEK、AFRL及KIT等國內(nèi)外多個對手，獲得第一就是能力很好的證明。
近期，搜狗在OCR識別權(quán)威比賽ICDAR2019挑戰(zhàn)中，刷新了任意形狀文字識別（ArT）中檢測、識別、端到端三項任務(wù)的新記錄，充分體現(xiàn)了搜狗在文字識別領(lǐng)域的領(lǐng)先優(yōu)勢。
硬件方面，搜狗并沒有貿(mào)然進(jìn)入白熱化的智能音箱市場，而是另辟蹊徑開辟了智能錄音筆這個新的AI硬件戰(zhàn)場，并且成為其中最大的玩家。為將來推出多模態(tài)硬件產(chǎn)品積累了經(jīng)驗。
同時，作為一家以搜索引擎技術(shù)起家公司，搜狗在知識圖譜上具有得天獨厚的優(yōu)勢。
以上這些技術(shù)和商業(yè)上的經(jīng)驗，都可以反哺搜狗的多模態(tài)交互。
在過去的一年里，搜狗已經(jīng)完善了多模態(tài)的輸出（虛擬主播），今天搜狗開始向多模態(tài)輸入（同傳3.0、語境引擎）的落地邁出了第一步。未來完整的多模態(tài)交互生態(tài)會是什么樣？或許2020年搜狗會給我們答案。
相關(guān)閱讀
