小心！AI能「看懂」你的唇語(yǔ)，悄悄話不再安全！
AI：只需人類動(dòng)動(dòng)嘴皮子
叨樂 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI
小心悄悄話被AI聽見！（噓）
最近國(guó)外一款可以讀唇語(yǔ)的AI軟件火了！
具體效果如下：
紅毯上布萊克·萊弗利小聲說(shuō)：“好緊張”，笑著說(shuō)話時(shí)肉眼很難分辨唇語(yǔ)，但AI可以。
乍一看只能看見一排白牙（bushi）的侃爺，唇語(yǔ)也能被輕松破解。
看完后網(wǎng)友們開始紛紛評(píng)論，大開腦洞：
求“聯(lián)名”型網(wǎng)友：快把它和Siri結(jié)合一下吧！這樣我就不用像小傻子一樣對(duì)著電腦大喊了！
測(cè)評(píng)型網(wǎng)友：我想用它試試“座機(jī)畫質(zhì)”的視頻！
擔(dān)心安全型網(wǎng)友：我有點(diǎn)害怕，我想戴口罩了。（嗚嗚）
實(shí)測(cè) Readtheirlips 效果如何
量子位整理了一些視頻，為大家親測(cè)了一下Readtheirlips的使用效果。
先試了一下奧特曼在斯坦福的訪談視頻，把生成的文本和原始對(duì)話對(duì)照了一下，內(nèi)容完美契合~
而面對(duì)小表情比較多的老馬，Readtheirlips的發(fā)揮依舊穩(wěn)定。
不過(guò)以上兩個(gè)視頻都是人物全程正臉對(duì)著鏡頭的。
換成了說(shuō)話時(shí)愛比劃的小扎，Readtheirlips直接顯示錯(cuò)誤。（視頻中人物不是全程正臉）
而主角換成卡帕西之后，因?yàn)樗f(shuō)話太快，生成的文本出現(xiàn)了識(shí)別錯(cuò)誤的情況。（左側(cè)為Readtheirlips生成，右側(cè)為文字處理軟件生成）
最后，我們嘗試著上傳了一個(gè)16分鐘的視頻，Readtheirlips直接顯示錯(cuò)誤，無(wú)法識(shí)別內(nèi)容。
總結(jié)一下：
Readtheirlips識(shí)別視頻的時(shí)間在一分鐘左右 。
就像他們標(biāo)明的那樣如果人物的正臉不能正對(duì)鏡頭，那么模型就很難給出正確答案。
而面對(duì)語(yǔ)速過(guò)快的視頻內(nèi)容，Readtheirlips只能識(shí)別出其中的一些內(nèi)容。
對(duì)此，團(tuán)隊(duì)成員回應(yīng)道：
是的，我們還沒有研究到這里，但是會(huì)很快解決這個(gè)問(wèn)題！
而關(guān)于上傳視頻的時(shí)長(zhǎng)限制，他們這么說(shuō)：
現(xiàn)在只支持3分鐘以內(nèi)的視頻，但是以后我們會(huì)一點(diǎn)一點(diǎn)往上提升的！
AI如何“聽”悄悄話
看完親測(cè)視頻，咱們也來(lái)嘮一下Readtheirlips的工作原理。
看看它是怎么讀取人類唇語(yǔ)的：
首先，研究團(tuán)隊(duì)用大量的標(biāo)注數(shù)據(jù)（已知的嘴唇運(yùn)動(dòng)動(dòng)作及其對(duì)應(yīng)的文本內(nèi)容）來(lái)對(duì)模型進(jìn)行訓(xùn)練。
在此基礎(chǔ)上，用戶要上傳一段視頻，這段視頻要包含說(shuō)話者的面部特寫，尤其是嘴部動(dòng)作。
然后模型會(huì)對(duì)視頻進(jìn)行嘴部運(yùn)動(dòng)的分析：先是通過(guò)面部檢測(cè)識(shí)別嘴唇的位置，然后再提取嘴唇的幾何特征，（形狀、開合程度、運(yùn)動(dòng)軌跡等），最后分析嘴唇在說(shuō)話過(guò)程中的動(dòng)態(tài)變化。（速度、方向和形狀變化）
之后，模型會(huì)將提取的嘴唇特征與訓(xùn)練數(shù)據(jù)中的特征進(jìn)行匹配，來(lái)識(shí)別出視頻中人物所說(shuō)的內(nèi)容。
將識(shí)別出的單詞或短語(yǔ)組合成完整的句子，進(jìn)行一下上下文理解，確保語(yǔ)法和語(yǔ)義的正確性。
最終將識(shí)別出的內(nèi)容輸出為文本形式。
開發(fā)團(tuán)隊(duì)
Readtheirlips的開發(fā)團(tuán)隊(duì)Symphonic Labs是一家初創(chuàng)公司。
領(lǐng)英上顯示它今年4月份才剛剛成立，截至目前，公司人數(shù)不到10人。
他們之前還研發(fā)過(guò)一款通過(guò)閱讀唇語(yǔ)即可完成實(shí)時(shí)文本轉(zhuǎn)錄的軟件Symphonic
兩款軟件的試玩鏈接都已附上，感興趣的朋友們可以去嘗試一下~
- 在線可玩！智譜開源圖生視頻模型，網(wǎng)友直呼Amazing！2024-09-19
- 字節(jié)AI版小李子一開口：黃風(fēng)嶺，八百里2024-09-13
- 機(jī)器人也會(huì)系鞋帶了！斯坦福團(tuán)隊(duì)賦予機(jī)器人新技能丨已開源2024-09-11
- 通用端到端OCR模型開源，拒絕多模態(tài)大模型降維打擊2024-09-10
相關(guān)閱讀
大模型被偷家！騰訊港中文新研究修正認(rèn)知：CNN搞多模態(tài)不弱于Transfromer
圖像、點(diǎn)云和音視頻都支持
非Transformer架構(gòu)新模型爆火，從第一性原理出發(fā)，MIT CSAIL衍生團(tuán)隊(duì)打造
基于液態(tài)神經(jīng)網(wǎng)絡(luò)
把AI放進(jìn)《我的世界》服務(wù)器：GPT-4o殺牛宰羊，Claude3.5把家拆了｜開源
AI玩游戲執(zhí)行力不要太強(qiáng)
克10-EM-P-150x150.jpg)
