OpenAI的《Her》難產(chǎn)，是被什么困住了手腳？

兩個月又兩周過去了，我們?nèi)匀粵]有見到公開發(fā)布版的OpenAI《Her》。

5月14日，OpenAI發(fā)布GPT-4o和端到端實時音視頻對話模式，現(xiàn)場演示AI對話絲滑如人類。

它能感受到你的呼吸節(jié)奏，也能用比以前更豐富的語氣實時回復(fù)，甚至可以做到隨時打斷AI，效果非常驚艷。

可萬眾期待中，不時有推遲的消息傳出。

是什么拖住了OpenAI的后腿？根據(jù)已知情報：

有法律糾紛，要確保語音音色不會再出現(xiàn)與“寡姐”斯佳麗·約翰遜這樣的爭議。

也有安全問題，需要做好對齊，以及實時音視頻對話開啟新的使用場景，被當(dāng)成詐騙工具也會是其中之一。

……

不過，除了以上這些，還有什么技術(shù)問題和困難需要克服嗎？

渡過最初的熱鬧后，內(nèi)行們開始看門道了。

眼尖的網(wǎng)友可能已經(jīng)注意到，發(fā)布會現(xiàn)場演示手機可是插著網(wǎng)線的。

在業(yè)內(nèi)人士眼中，GPT-4o發(fā)布會演示效果如此絲滑，還是有幾大限制：

需要“固定網(wǎng)絡(luò)、固定設(shè)備、固定物理環(huán)境”。

真的公開發(fā)布后，全球用戶能否獲得與發(fā)布會相比不打折扣的體驗，也還是個未知數(shù)。

發(fā)布會現(xiàn)場還有一個有趣的細(xì)節(jié)，帥氣的研究員小哥Barret Zoph，在演示視頻通話時被ChatGPT當(dāng)成桌子。

視頻通話部分的延遲可見一斑了，語音部分提問已經(jīng)處理完了，視覺部分還在處理上一個鏡頭，也就是手機剛被拿起來時攝像頭拍到的木桌。

試想最終發(fā)布后，很多人用它的場景是什么？

宣傳片中一個最為人津津樂道的案例，盲人在AI語音的幫助下招手打車，一時間被網(wǎng)友津津樂道。

不過也要注意到，這會是一個非常依賴低延遲特性的場景，如果AI指導(dǎo)來的稍慢一點，出租車也就開過去了。

室外場景網(wǎng)絡(luò)信號都不一定能保證穩(wěn)定，更別提機場火車站、旅游景點這些人多設(shè)備多擠占帶寬的場景，難度還要增加不少。

此外，室外場景還會出現(xiàn)噪音的問題。

大模型本來就深受“幻覺”問題困擾，如果噪音影響到用戶語音的識別，出現(xiàn)一些與指令不相關(guān)的詞語，那回答就不知道拐到哪去了。

最后，還有一個容易被忽視的問題，多設(shè)備適配。

可以看出目前OpenAI發(fā)布會和宣傳片，清一色用的新款iPhone Pro。

否能在較低端的機型也獲得一致體驗，也要等正式發(fā)布后再揭曉了。

OpenAI宣傳GPT-4o可以在短至232毫秒、平均320毫秒的時間內(nèi)響應(yīng)音頻輸入，與人類在對話中的反應(yīng)速度一致。

但這只是大模型從輸入到輸出的時間，并非整個系統(tǒng)。

總而言之，僅僅把AI能做好，還搞不出《Her》一般絲滑的體驗，還需要低延時、多設(shè)備適配、應(yīng)對多種網(wǎng)絡(luò)條件和嘈雜環(huán)境等一系列能力。

光靠AI，還做不出《Her》

要做到低延時、多設(shè)備適配等，靠的就是RTC（實時通信，Real-Time Communications）技術(shù)了。

在AI時代之前，RTC技術(shù)已廣泛用于直播、視頻會議等場景，發(fā)展的較為成熟。

在RTC視角下，用戶的語音提示詞在輸入大模型之前，還要經(jīng)歷一整套復(fù)雜流程。

信號采集與預(yù)處理：在手機等端側(cè)設(shè)備，將用戶的語音采集成原始信號，并對其進行降噪、消除回聲等處理，為后續(xù)識別做好準(zhǔn)備。

語音編碼與壓縮：為盡量節(jié)省傳輸帶寬，要對語音信號進行編碼和壓縮。同時，還要根據(jù)網(wǎng)絡(luò)實際情況自適應(yīng)地加入一些冗余和糾錯機制，以抵抗網(wǎng)絡(luò)丟包。

網(wǎng)絡(luò)傳輸：壓縮后的語音數(shù)據(jù)被切分成一個個數(shù)據(jù)包，通過互聯(lián)網(wǎng)送往云端。如果距離服務(wù)器物理距離較遠，傳輸往往還要經(jīng)過多個節(jié)點，每一跳都可能引入延遲和丟包。

語音解碼與還原：數(shù)據(jù)包到達服務(wù)器后，系統(tǒng)對其進行解碼，還原出原始的語音信號。

最后才輪到AI出手，先通過Embedding模型將語音信號轉(zhuǎn)化為tokens，才能真正讓端到端多模態(tài)大模型能夠理解并生成回復(fù)。

當(dāng)然，大模型生成回復(fù)后還要走一套相反的流程，再把回復(fù)的音頻信號最終傳回給用戶。

整個一套流程走下來，每一個環(huán)節(jié)都需要極致的優(yōu)化，才能真正把AI音視頻對話做到實時。

其中對大模型本身的壓縮、量化等手段畢竟會影響AI能力，結(jié)合音頻信號處理、網(wǎng)絡(luò)丟包等因素聯(lián)合優(yōu)化，就顯得尤為重要了。

據(jù)了解，OpenAI也并不是獨立解決這個問題的，而是選擇與第三合作。

合作伙伴為開源RTC廠商LiveKit，目前憑借支持ChatGPT語音模式成為業(yè)界關(guān)注焦點。

除OpenAI之外，LiveKit與Character.ai、ElevenLabs等相關(guān)AI公司也都展開了合作。

可能除了谷歌等少數(shù)有較為成熟的自研RTC技術(shù)的巨頭之外，與術(shù)業(yè)有專攻的RTC廠商合作，是AI實時音視頻對話玩家目前的主流選擇。

這一波當(dāng)然也少不了國內(nèi)玩家參與，不少國內(nèi)AI公司已經(jīng)在加緊研發(fā)端到端多模態(tài)大模型以及AI實時音視頻對話應(yīng)用。

國內(nèi)AI應(yīng)用能不能趕上OpenAI的效果，大家又什么時候能真正親自上手體驗到呢？

由于這些項目基本都在早期階段，公開透露的消息并不多，不過他們的RTC合作伙伴聲網(wǎng)倒成了一個突破口。

量子位從聲網(wǎng)處打聽到，以目前國內(nèi)的技術(shù)水平，已經(jīng)能把一輪對話的延遲壓到1秒左右，再輔以更多優(yōu)化技巧，實現(xiàn)能及時響應(yīng)的流暢對話已不成問題。