這波釘釘搞音頻實驗室，真沒蹭熱點

蕭簫 2021-11-16 12:59:03 來源：量子位

魚羊 蕭簫 發(fā)自 凹非寺
量子位 報道 | 公眾號 QbitAI

前腳Facebook改名Meta，后腳微軟也在會議軟件上搞出XR新花樣。

這波元宇宙熱度燒得太旺，個中真假虛實著實讓人難以辨別。

而就在這個時候，國內(nèi)也有一個新消息曝出：

釘釘已正式成立音視頻事業(yè)部，還下設(shè)釘釘蜂鳴鳥音頻實驗室，由技術(shù)大拿馮津偉直接負責。

這個時間節(jié)點，瞄準的又是國際大廠紛紛打上“元宇宙”標簽的在線會議場景，釘釘此舉立即引得這樣一種說法甚囂塵上：

釘釘這個新實驗室的研發(fā)目標，指向的就是元宇宙。

啊？這意思，我以后不會要在元宇宙里遲到了吧。

個中真相，是有必要進一步搞清楚。

話不多說，我們立即著手聯(lián)系了新聞中提到的新實驗室一號位——聲學大拿馮津偉博士。

來，真假虛實，我們一問究竟。

實驗室為什么在釘釘？

馮津偉博士首先向我們確認，釘釘確實單獨成立了音視頻事業(yè)部，并且下設(shè)音頻實驗室，網(wǎng)羅各路博士研究員的那種。

這加碼音視頻業(yè)務(wù)的意圖明明白白。不過在更靠近業(yè)務(wù)側(cè)的釘釘設(shè)立一個研究型實驗室，到底有些出人意料。

核心的問題就是：釘釘成立這個 “實驗室”，具體是要研究什么？關(guān)注哪個方向的前沿技術(shù)？

圍繞這一點，馮津偉博士向我們透露了他和團隊的幾個“小目標”：

其一，針對線上會議場景的最大痛難點，將對應(yīng)的前沿音頻技術(shù)論文算法，在釘釘進行落地，提升音視頻產(chǎn)品體驗與競爭力。

例如，用目前常見的會議軟件在高鐵上、地鐵中緊急開會，往往會出現(xiàn)信號極不穩(wěn)定，說話人卡頓、掉線的情況。

現(xiàn)在，蜂鳴鳥音頻實驗室正在針對這種情況設(shè)計“高鐵模式”音頻方案，從聲學原理、信號處理到軟硬件產(chǎn)品全流程進行技術(shù)研發(fā)，力圖真正解決線上會議網(wǎng)絡(luò)不穩(wěn)定的問題，包括采用電腦自帶的麥克風等通用收音硬件的情況。

其二，透過釘釘，把經(jīng)過驗證的成熟技術(shù)開放給行業(yè)伙伴。

例如研發(fā)獨立音視頻模組，把釘釘音視頻會議的產(chǎn)品技術(shù)、AI能力等封裝成一個硬件化的SDK，硬件可以接上模組，實現(xiàn)設(shè)備的智能化升級；

其三，進行“下一代音視頻形態(tài)研究”，如XR。

如此看來，這個“蜂鳴鳥實驗室”的研究路徑，其實已經(jīng)很明確：既有研究成果——轉(zhuǎn)化為產(chǎn)品結(jié)果——向行業(yè)開放——深化研究。

而這也就是為什么，釘釘會請來馮津偉坐鎮(zhèn)新實驗室：

這位負責人本科、碩士分別畢業(yè)于南京大學無線電物理專業(yè)、聲學研究所，還是南洋理工大學電子信號處理碩士、弗吉尼亞理工大學聲學博士。

加入阿里巴巴前，馮津偉曾在公認的全球視頻會議設(shè)備“黃埔軍?！薄獙毨ǎ≒olycom）擔任首席工程師。以他為核心貢獻者的團隊，成功研發(fā)了世界上首臺音視頻會議行業(yè)的智能攝像機。

可以說，他在聲學和信號處理方面的雙重背景，使其在世界音頻研究領(lǐng)域備受關(guān)注。

2017年加入達摩院之后，馮津偉博士也繼續(xù)著聲學與信號處理方面的研究。并且不僅是學術(shù)研究，事實上從2017年起，馮津偉就已經(jīng)負責起阿里內(nèi)部音頻與聲學相關(guān)算法的結(jié)合應(yīng)用。

最經(jīng)典的落地案例，就是支持釘釘F1音視頻一體機的打造，將語音3A算法（主要負責音頻降噪和增益）應(yīng)用到智能硬件中。

除此之外，遠程教育的“專遞課堂”項目、釘釘音視頻一體機“F2”項目……背后也均有馮津偉團隊音頻技術(shù)方案的身影。

結(jié)合兩方面的信息，釘釘成立“實驗室”這一看上去不合常情的舉措，也就有了更為明確的解釋：

蜂鳴鳥音頻實驗室主打應(yīng)用型研究——研究方向與釘釘音視頻的場景結(jié)合更為緊密。

馮津偉博士表示，這其實也是云釘一體給釘釘帶來的更深入的價值——從橫向支持到走進來專項做業(yè)務(wù)。

“因為釘釘這個獨特的商業(yè)環(huán)境，每一項技術(shù)都直接能被用戶感知到，所以蜂鳴鳥音頻實驗室的風格會在技術(shù)的理想主義和現(xiàn)實主義之間。我們的定位是研究‘領(lǐng)先半步到一步’的技術(shù)，既具有領(lǐng)先性，又能落地?！瘪T津偉這樣解釋。

并且具體到團隊本身，研究基礎(chǔ)早已具備，實驗室成立亦能加速技術(shù)的聚攏和落地。

說到這里，最關(guān)鍵的問題也可以展開解答了：

這個時間節(jié)點，明確提出瞄準“下一代音視頻形態(tài)研究”，還和產(chǎn)品結(jié)合如此緊密，釘釘莫非真的如外界所猜測，要在微軟Meta之后，加速沖向元宇宙了？

做領(lǐng)先半步到一步的技術(shù)

馮津偉博士的答案很明確：否。

他指出，XR是蜂鳴鳥音頻實驗室的一個研究方向，但實驗室的核心目標還是圍繞音頻的基礎(chǔ)能力建設(shè)與創(chuàng)新，最優(yōu)先要做的，還是改善釘釘音視頻的軟硬件體驗。

甚至歸納起來時，釘釘蜂鳴鳥音頻實驗室成立的真實原因，比想象中要更加樸素——

無論是從自身業(yè)務(wù)角度、還是從整個行業(yè)來看，音頻都是一塊必須要補的技術(shù)“短板”。

在馮津偉看來，站在行業(yè)角度，音頻技術(shù)在會議場景下其實還有很大的發(fā)展空間。甚至“音頻技術(shù)研發(fā)的優(yōu)先級應(yīng)該大于視頻技術(shù)”。

他引用了音視頻行業(yè)的一句名言：

No video, people talk; no audio, people walk.（即使沒有視頻，人們還能在會議中聊天；但沒有音頻的話，人們就只能散會了）

而包括弱網(wǎng)場景、3D音頻、個性化降噪在內(nèi)的音頻技術(shù)，其實更是下一代交互技術(shù)（如跟元宇宙緊密結(jié)合的XR）的核心體驗要點。

但目前的現(xiàn)狀卻是，像微軟、Meta這樣的大型互聯(lián)網(wǎng)公司，在視頻技術(shù)上已經(jīng)有不少儲備。相比之下，大部分會議軟件在音頻技術(shù)上，投入都相對較少，整體也還沒有太大的動作。

一個最常見的場景就是開會，我們在開視頻會議時，如果用的是手機、電腦自帶的麥克風，就會發(fā)現(xiàn)稍遠一點距離就聽不清了；有幾個人爭論，AI速記軟件就傻傻分不清楚了，一堆看不懂的文字紀要出來了；如果會議室混響很大，別說AI速記軟件，回音的影響下，人也是聽不清了。

這是音頻研究上最基礎(chǔ)的拾音問題。無論是視頻會議，還是語音識別，除非對著麥克風說話，都會面臨這項難題。

實際上，遠場拾音一直是業(yè)界的難點與痛點，挑戰(zhàn)來自在閉空間中的混響、噪聲、回波，其中去混響曾被美國工程院列為“當代未解決的十大工程問題之一”，學術(shù)界和工業(yè)界已經(jīng)研究了幾十年，目前仍沒有完美的解決方案。

所以，蜂鳴鳥音頻實驗室接下來重點要做的，就是在更基礎(chǔ)的音頻技術(shù)上進行突破，并從這個角度出發(fā)，改變釘釘、釘釘合作伙伴直至產(chǎn)業(yè)的現(xiàn)狀。

背后的具體技術(shù)路線，也已經(jīng)可以從團隊研發(fā)儲備中推測出來。

比如針對前文中遠場拾音的麥克風陣列技術(shù)，這一技術(shù)主要負責聲音信號的定位和提取。光是去年一年，馮津偉所在的團隊與達摩院語音實驗室的其他合作者一道，就在INTER-SPEECH等國際音頻頂會上，發(fā)表了系列論文6篇，均與自研的“指向性差分麥克風陣列”技術(shù)有關(guān)。

這項研究首次將麥克風聲學特性和差分波束理論的優(yōu)勢進行結(jié)合，明顯改善了語音低頻拾音的魯棒性，將差分波束在低頻段的白噪聲增益明顯提升，并將遠場拾音的語音識別準確率提升至行業(yè)領(lǐng)先水平。

另外，以差分陣列為載體，馮津偉團隊還和相關(guān)團隊合作，提出了業(yè)界首個利用差分陣列計算空間方位信息，用于角色分離的技術(shù)框架。也積極參與了業(yè)界首個基于指向性麥克風陣列的大規(guī)模遠場語音開源數(shù)據(jù)集建設(shè)。

還有語音3A算法。

馮津偉團隊會將達摩院Fullband 3A快速在釘釘落地，這項算法對會議拾音的3個核心能力做了深度優(yōu)化：

• 優(yōu)化主講增益（AGC）。實測3米以外10dBFS的聲音可增益至22dBFS，距離主機5米的地方講話，對方依然可以聽得很清楚。
• 優(yōu)化回聲消除（AEC）。能有效消除99%由揚聲器外放聲音經(jīng)空間傳播后產(chǎn)生的回聲，人聲失真控制在3%以內(nèi)；實現(xiàn)房間自適應(yīng)，可以智能檢測房間混響，實現(xiàn)雙講透明。
• 優(yōu)化噪聲抑制（ANS）。能夠抑制特定的噪聲，比如壓制主講人旁邊的人聲和會議室常見的空調(diào)、鼠標、鍵盤、翻書等噪音，確保傳遞出的聲音更純凈。

這一算法目前已經(jīng)應(yīng)用在釘釘F1視頻會議一體機，以及合作伙伴產(chǎn)品上。借助這一算法，相關(guān)產(chǎn)品在音頻質(zhì)量主觀盲測MOS等得分，遠超同段位視頻會議設(shè)備?？梢哉f是同類產(chǎn)品中的性價比之選。

……

技術(shù)儲備顯然已經(jīng)就位，思路亦清晰明朗。從這個角度來說，釘釘加碼音視頻技術(shù)這一舉動，似乎也值得被重新評估。

返璞方能歸真

無疑，元宇宙是當下最火科技熱詞，而釘釘?shù)臅h場景，又恰恰是巨頭們紛紛看好的元宇宙應(yīng)用陣地。

技術(shù)、場景對口，又背靠阿里這樣的大集團，乘概念之勢提前搶占生態(tài)位，聽上去倒也是業(yè)內(nèi)的常規(guī)操作。

但或許，恰恰是在概念滿天飛之時，才更應(yīng)該冷靜思考，什么才是現(xiàn)有技術(shù)能直觀改變用戶體驗之處，什么才是行業(yè)最急需的技術(shù)進步。

釘釘單純加碼音視頻，又著重選擇了音頻這個更不容易被“看”到的賽道，看似逆潮流，但反過來說，焉不是一種對自身定位的明確，一種技術(shù)底氣的體現(xiàn)。

說到這里，吃瓜已畢：釘釘確實加碼了音視頻，但進軍元宇宙——還不到這份上。

話說回來，雖然不是直指元宇宙，但正如前文所說，音頻等技術(shù)同樣是保障元宇宙交互體驗的基礎(chǔ)。釘釘音視頻將開放建生態(tài)作為重點，或許反而能在元宇宙的未來風向里站穩(wěn)自己的生態(tài)位。

而且，馮津偉也強調(diào)，有了音頻實驗室的中間環(huán)節(jié)，釘釘接下來與達摩院語音、視頻、視覺、XR等相關(guān)實驗室的合作將會更深入，畢竟同為研究人員，更有共同話題嘛（手動狗頭）。

不過，釘釘?shù)倪x擇，卻也引發(fā)了新一層思考：

跟風熱度，而缺少對行業(yè)本質(zhì)的洞察，恐怕會在愈發(fā)擁擠的賽道之中，偏離自身的航向。

stop doing list，未為不可。

你覺得呢？

One More Thing

最后的最后，馮津偉博士還向我們透露了一個訊息：

釘釘蜂鳴鳥音頻實驗室啟動階段，人才需求旺盛。

感興趣的小伙伴可以投起來了。