PK朱廣權(quán)的手語數(shù)字人，現(xiàn)在要到醫(yī)院銀行上崗了

明敏 2022-03-04 13:19:51 來源：量子位

明敏 發(fā)自 凹非寺

量子位 | 公眾號(hào) QbitAI

還記得冬奧會(huì)期間和朱廣權(quán)battle的AI手語主播嗎？

現(xiàn)在，這樣的手語數(shù)字人不僅要在小熒屏上工作，還能到火車站、銀行、醫(yī)院這些公共場所上崗了。

喏，通過這樣一臺(tái)看似普通的機(jī)器，AI手語數(shù)字人就能實(shí)時(shí)將語音或文字轉(zhuǎn)化為手語，讓聽障人士與窗口工作人員無障礙溝通，詞準(zhǔn)率在96%以上。

這就是百度智能云曦靈剛剛推出的AI手語一體機(jī)，它能夠直接部署在各種服務(wù)窗口，成為工作人員的實(shí)時(shí)翻譯官。

其背后支持平臺(tái)——AI手語平臺(tái)也同步發(fā)布，它能進(jìn)行實(shí)時(shí)手語直播，還可搭載在各類 APP、網(wǎng)站、小程序中，生成手語合成視頻。

在發(fā)布會(huì)現(xiàn)場，我就感受了一下這位AI手語主播的功底：

這手速，amazing~

線下虛擬手語翻譯官來了

此次推出的AI手語一體機(jī)，共有兩個(gè)型號(hào)：V3和P3。

其中，全離線一體機(jī) V3型號(hào)支持插電即用，可實(shí)現(xiàn)秒級(jí)部署；

端云結(jié)合一體機(jī) P3型號(hào)聯(lián)網(wǎng)可用，能實(shí)現(xiàn)分鐘級(jí)部署。

也就是說，這個(gè)一體機(jī)能夠充當(dāng)工作人員的翻譯官，實(shí)時(shí)把信息傳遞給前來辦理業(yè)務(wù)的聽障人士。

在發(fā)布會(huì)現(xiàn)場，百度還透露，不只是單向?qū)⒄Z音轉(zhuǎn)化為文本，在如何將手語轉(zhuǎn)化為文本或語音的問題上，百度也在積極開展研究。

而能夠搞定銀行、醫(yī)院、火車站等場景下的手語翻譯，核心技術(shù)來自百度智能云曦靈的AI手語平臺(tái)。

它主要包含以下4方面功能：

視頻手語合成、直播手語合成、文本轉(zhuǎn)手語、語音轉(zhuǎn)手語。

以直播情況來舉例，平臺(tái)可以直接接入直播地址，讀取語音后轉(zhuǎn)換為手語。

當(dāng)然也能讀取語音進(jìn)行翻譯，類似于微信語音輸入后轉(zhuǎn)文字。

這背后的流程主要可以分為3步：

首先，要通過語音識(shí)別引擎將輸入的語音或視頻轉(zhuǎn)換為漢語文本；

然后，翻譯引擎要將其進(jìn)一步轉(zhuǎn)換為手語碼；

最后根據(jù)手語碼，數(shù)字人動(dòng)作融合算法來完成最后的視頻合成。

整個(gè)過程中還需要保障語音識(shí)別清晰度、手語翻譯準(zhǔn)確度及精煉度、手語動(dòng)作流暢度。

識(shí)別清晰度方面，百度使用了SMLTA語音識(shí)別算法模型。

該模型是一個(gè)流式多級(jí)的截?cái)嘧⒁饬δＰ?，它使用CTC（一種語音識(shí)別算法）的尖峰信息對(duì)連續(xù)語音流進(jìn)行截?cái)啵缓笤诿恳粋€(gè)截?cái)嗟恼Z音小段上進(jìn)行當(dāng)前建模單元的注意力建模。

也就是把原來的語音中整句Attention建模，變成了局部語音小段的Attention的建模。

最終實(shí)現(xiàn)了在手機(jī)端近場語音識(shí)別率98%以上的效果。

百度表示，基于百度自研的深度學(xué)習(xí)算法，還可針對(duì)諸如旅游、醫(yī)院、司法等不同領(lǐng)域的詞準(zhǔn)率進(jìn)行針對(duì)性訓(xùn)練，詞準(zhǔn)率可達(dá)96%。

翻譯準(zhǔn)確度及精煉度上，百度研發(fā)了首個(gè)基于神經(jīng)網(wǎng)絡(luò)的精煉度可控手語翻譯模型。

這是一個(gè)能將中文文本準(zhǔn)確翻譯成手語符號(hào)的模型，并且可以在保證手勢準(zhǔn)確度的情況下，進(jìn)一步縮短譯文長度，讓文本信息能夠及時(shí)轉(zhuǎn)化為手語。

為此，百度還在專業(yè)手語專家指導(dǎo)下建設(shè)了大規(guī)模自然手語翻譯語料庫，使得模型可以從真實(shí)數(shù)據(jù)中學(xué)習(xí)手語翻譯知識(shí)，從而生成符合聽障人群習(xí)慣的自然手語。

最后則是手語流暢度方面。

AI手語平臺(tái)通過“動(dòng)作融合算法”，基于《國家通用手語詞典》規(guī)范精修近11000多個(gè)手語動(dòng)作，讓每一個(gè)動(dòng)作都更接近真人手語表達(dá)。

再配合4D掃描技術(shù)訓(xùn)練，最終AI手語數(shù)字人口型生成準(zhǔn)確度可達(dá)98.5%。

百度介紹，只需幾小時(shí)的部署，AI手語平臺(tái)即可在視頻、直播、文本、語音等應(yīng)用場景中添加手語翻譯，可搭載在各類 APP、網(wǎng)站、小程序中。

讓特殊人群“更加平等享受資訊”

目前我國聽力語言殘疾人達(dá)到2780萬以上，而專業(yè)的手語翻譯不足1萬人，巨大的需求缺口亟待補(bǔ)足。

尤其像在醫(yī)院、車站等場景下，需要工作人員和聽障人士無障礙實(shí)時(shí)溝通、準(zhǔn)確傳遞信息。

或許有人想問，那用文字不就行了嗎？

實(shí)際上，由于種種現(xiàn)實(shí)因素的制約，比起文字，手語對(duì)聽障人士而言更加親切，也能更快速地傳遞信息。

手語翻譯對(duì)于特殊人群而言，也是一個(gè)“更加平等享受資訊”的窗口。

發(fā)布會(huì)上，百度集團(tuán)副總裁吳甜表示：

人工智能呈現(xiàn)融合創(chuàng)新和降低門檻的新特點(diǎn)，綜合運(yùn)用多技術(shù)的數(shù)字人帶來新體驗(yàn)，AI加持使數(shù)字人制作和運(yùn)營成本與門檻降低，AI手語平臺(tái)將讓更多聽障人士享受科技帶來的便利。