不做Sora背后：百度的多模態(tài)路線是什么？

夢晨 2024-11-16 13:28:20 來源：量子位

夢晨 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI

當ChatGPT掀起國內(nèi)“百模大戰(zhàn)”，百度率先交卷文心一言。

Sora再掀視頻生成風潮，卻傳出李彥宏內(nèi)部講話“Sora無論多么火，百度都不去做”。

一時間，困惑、不解、爭議，紛至沓來。

面對這些聲音，在剛剛結(jié)束的百度世界大會會后采訪中，李彥宏公開回應(yīng)。

他不僅重申了不做Sora的決定，并且說明了百度是如何運用和發(fā)展多模態(tài)的。

在大會發(fā)布中，李彥宏發(fā)布了百度從年初開始重點攻克的iRAG技術(shù)，這項技術(shù)旨在解決AI領(lǐng)域最棘手的”幻覺”問題。有趣的是，這個開始正好是在Sora風正熱之時。

百度的選擇背后原因，到底是什么？

△百度2024世界大會現(xiàn)場

加速解決幻覺問題

先從iRAG技術(shù)看。它所解決的是圖片生成的幻覺問題。

在年初，不做Sora，轉(zhuǎn)頭將資源放在幻覺解決上。為什么？

結(jié)合這屆百度世界大會主題“應(yīng)用來了”來理解：

幻覺已經(jīng)成為制約大模型應(yīng)用大規(guī)模落地的一大絆腳石。

現(xiàn)代社會對計算器已有絕對的信任，只要保證輸入是對的，就可以百分百放心地把計算結(jié)果用到下一步工作流程中。

但對于已知可能存在幻覺的大模型來說，還敢給予同等的信任嗎？

△新版文小言APP繪圖

有幻覺，即意味著模型行為不完全可控，不能完全放心的自動化工作流程，依然需要人工介入。

AI應(yīng)用正面臨這樣的困境。

事實上，ChatGPT問世之后，大模型的幾個主要改進方向都是通過不同方式來解決大模型幻覺問題。

長上下文窗口，讓模型獲取更完整的輸入，減少因信息不全產(chǎn)生的錯誤推理。

RAG（檢索增強生成），檢索外部知識庫補充信息，彌補模型參數(shù)存儲知識的不足。

聯(lián)網(wǎng)搜索，獲取實時、動態(tài)的在線信息，擴展模型的知識邊界。

慢思考，通過分步推理減少直覺性錯誤，提高推理過程的可解釋性。

甚至從某種意義上說，多模態(tài)技術(shù)也是讓模型多一種信息輸入途徑，不用在“看不見”視覺信息的情況下為了完成任務(wù)憑空編造。

……

所以再次總結(jié)一下，為什么解決幻覺問題是目前AI行業(yè)的當務(wù)之急？

從技術(shù)層面，不解決幻覺問題就難以預(yù)測和控制模型的行為邊界。

從應(yīng)用的角度來看，幻覺問題阻礙了用戶對AI產(chǎn)品的信任。

從產(chǎn)業(yè)角度，解決了幻覺問題才能擴大AI可應(yīng)用的場景范圍，提高AI系統(tǒng)的商業(yè)價值。

再將目光轉(zhuǎn)向百度，解決AI幻覺問題，恰恰也是百度的“主戰(zhàn)場”。

iRAG，全稱Image-based Retrieval-Augmented Generation，是一種全新的檢索增強文生圖范式，結(jié)合了百度多年的搜索積累，幫助大幅提升圖片的生成可控性和準確性。

其核心是將百度搜索的億級圖片資源與文心大模型的生成能力相結(jié)合，通過聯(lián)合優(yōu)化，讓生成圖片更加真實可信。

△百度2024世界大會現(xiàn)場

具體而言，iRAG先利用檢索模塊在海量圖庫中找出與文本描述最相關(guān)的若干圖片，然后提取其視覺特征，與文本特征一并輸入到生成模塊。生成模塊在此基礎(chǔ)上，對圖像進行理解、重組、創(chuàng)新，最終輸出高質(zhì)量、符合需求的全新圖片。

△文心大模型生成的大眾攬巡汽車飛躍長城

可以說，iRAG巧妙地將認知智能（檢索）與生成智能（創(chuàng)作）結(jié)合在一起，取長補短，相得益彰。

一方面，海量圖像的參考讓生成更”接地氣”，大幅減少了幻覺、違禁內(nèi)容等問題。

另一方面，強大的生成能力讓輸出圖片更多樣、更具創(chuàng)意，遠非單純的拼貼、修改那么簡單。

更重要的是，iRAG在諸多行業(yè)領(lǐng)域都具有廣闊應(yīng)用前景，尤其能顯著降低AI生圖的創(chuàng)作成本。比如在影視制作、動漫設(shè)計中，iRAG可實現(xiàn)從文本腳本直接生成高質(zhì)量的分鏡、概念圖，大幅減少中間環(huán)節(jié)的人工干預(yù)。

多模態(tài)，不止Sora一條路

明確了幻覺問題是AI行業(yè)的優(yōu)先級，百度還需要回答另一種質(zhì)疑：多模態(tài)已經(jīng)是公認邁向AGI的重要一步。

多模態(tài)有助于增強AI系統(tǒng)的感知和理解能力。通過處理視覺、語音、文本等不同模態(tài)的信息，AI可以更全面地感知環(huán)境，增強其認知和交互能力，與人類通過多種感官認知世界保持一致。

但這里要明確的是，Sora路線并不能代表多模態(tài)技術(shù)的全部。

首先，投入做Sora代表的通用視頻生成模型投入的成本非常高昂。市場研究機構(gòu)Factorial Funds報告估算，Sora模型至少需要在4200~10500塊英偉達H100 GPU上訓(xùn)練1個月。而如果Sora得到大范圍應(yīng)用，為了滿足需求，需要約72萬張Nvidia H100 GPU，如果按照每片英偉達H100 AI加速卡3萬美元成本計算，72萬片需要216億美元。

而目前通用視頻生成模型在技術(shù)成熟度上距離iPhone時刻也還有較遠的距離。此前與藝術(shù)家合作短片《Air Head》后來就被指出實際有大量人工參與，估算只有約1/300的AI素材用到了最終成片里。

△圖源fxguide.com

目前市場視頻生成應(yīng)用從短劇內(nèi)容生產(chǎn)到影視特效制作，很多努力都在摸索視頻生成技術(shù)的想象空間，但尚未形成成熟的商業(yè)化方案和穩(wěn)定的營收模式。

其實，對于做多模態(tài)來說，也存在Sora之外的多種路徑。

Meta首席科學家、圖靈獎得主Yann LeCun就一直堅持“世界模型”路線。他認為生成視頻的過程與基于世界模型的因果預(yù)測完全不同，通過生成像素來對世界進行建模是一種浪費，注定會失敗。

斯坦福教授李飛飛則看重具身智能，她認為AI僅僅看是不夠的，“看，是為了行動和學習”。比如通過大語言模型，讓一個機器人手臂執(zhí)行任務(wù)，打開一扇門、做一個三明治以及對人類的口頭指令做出反應(yīng)等。

百度對多模態(tài)技術(shù)的理解，最近也在數(shù)字人場景得到集中體現(xiàn)。

百度從2019年起就開始布局數(shù)字人領(lǐng)域，涉及語音克隆、唇形同步、表情動作捕捉等一系列關(guān)鍵技術(shù)。到如今百度“曦靈”數(shù)字人、“慧播星”數(shù)字人已廣泛應(yīng)用于新聞播報、直播電商等場景。

△百度慧播星電商數(shù)字人

正如李彥宏強調(diào)的，百度不做Sora，并不意味著在多模態(tài)賽道上缺席了。

數(shù)字人語音與口型、動作的同步問題，或許最終可以靠通用場景下的視頻生成實現(xiàn)，但需要很長時間，成本很高。

但既然可以用更簡單、成本更低的方法做到，為什么不先把業(yè)務(wù)跑起來呢？

首先，通用方案追求”大而全”，試圖用單一模型覆蓋所有場景，但這在技術(shù)上尚不成熟，往往帶來效果的參差不齊;而數(shù)字人聚焦特定垂直領(lǐng)域，可以更精準地優(yōu)化模型，追求極致的人機交互體驗。

其次，視頻生成好就是固定的素材了，缺乏實時交互能力；而AI驅(qū)動的數(shù)字人卻可以實現(xiàn)動態(tài)多輪對話，甚至還可以根據(jù)用戶反饋實時調(diào)整狀態(tài)，更加契合真實應(yīng)用的需求。

最后，視頻生成對算力和數(shù)據(jù)的要求極高，當前能夠真正駕馭的企業(yè)鳳毛麟角，商業(yè)化進程困難重重;相比之下，數(shù)字人技術(shù)門檻相對較低，且應(yīng)用場景清晰，更容易形成可復(fù)制的商業(yè)模式，開啟數(shù)據(jù)飛輪。

AI大規(guī)模落地需要什么條件？

不論是投入解決圖片幻覺問題，還是從業(yè)務(wù)需求出發(fā)發(fā)展多模態(tài)的路線，百度的目標似乎都圍繞著李彥宏所說的：讓技術(shù)被更多人用起來。

李彥宏這段時間不斷強調(diào)的一個觀點是“模型本身不產(chǎn)生直接價值”，只有在模型之上開發(fā)各種各樣應(yīng)用，在各種場景找到所謂的PMF，才能真正產(chǎn)生價值。

百度需要做的，是為個人和企業(yè)提供開發(fā)應(yīng)用的基建，幫助更多人、更多企業(yè)打造出數(shù)百萬“超級有用”的應(yīng)用。

長遠來看，幻覺問題的解決為行業(yè)應(yīng)用消除了障礙，使得AI技術(shù)能夠在更廣泛的領(lǐng)域得到應(yīng)用和推廣。

用業(yè)務(wù)需要的多模態(tài)技術(shù)支持業(yè)務(wù)先跑起來，能讓更多的AI應(yīng)用場景為大家所用。

同時，大量的行業(yè)應(yīng)用所產(chǎn)生的數(shù)據(jù)，又能為AGI的發(fā)展提供豐富的養(yǎng)分，形成良性循環(huán)，推動數(shù)據(jù)飛輪的高速運轉(zhuǎn)，從而加快我們邁向AGI的步伐。