螞蟻百靈大模型最新進展：已具備原生多模態(tài)能力
取得 A 榜第一，B 榜第二的成績
7月5日，在2024世界人工智能大會“可信大模型助力產(chǎn)業(yè)創(chuàng)新發(fā)展”論壇上，螞蟻集團公布了其自研的百靈大模型最新研發(fā)進展：百靈大模型已具備能“看”會“聽”、能“說”會“畫”的原生多模態(tài)能力，可以直接理解并訓練音頻、視頻、圖、文等多模態(tài)數(shù)據(jù)。原生多模態(tài)被認為是通往AGI的必經(jīng)之路，在國內(nèi)，目前只有為數(shù)不多的大模型廠商實現(xiàn)了這一能力。
記者從大會現(xiàn)場的演示看到，多模態(tài)技術(shù)可以讓大模型更像人一樣感知和互動，支撐智能體體驗升級，百靈的多模態(tài)能力已應用于“支付寶智能助理”上，未來還將支持支付寶上更多智能體升級。
（螞蟻集團副總裁徐鵬介紹百靈大模型原生多模態(tài)能力）
據(jù)了解，百靈大模型多模態(tài)能力，在中文圖文理解MMBench-CN評測集上達到GPT-4o水平，在信通院多模態(tài)安全能力評測達到優(yōu)秀級（最高），具備支持規(guī)?；瘧玫哪芰?，能支持AIGC、圖文對話、視頻理解、數(shù)字人等一系列下游任務。
多模態(tài)大模型技術(shù)能夠使AI更好地理解人類世界的復雜信息，也讓AI落地應用時更符合人類的交互習慣，在智能客服、自動駕駛、醫(yī)療診斷等多個領(lǐng)域展現(xiàn)出巨大的應用潛力。
螞蟻集團有著豐富的應用場景，百靈大模型的多模態(tài)能力，也已被應用在生活服務、搜索推薦、互動娛樂等場景。在生活服務上，螞蟻集團使用多模態(tài)模型實現(xiàn)了ACT技術(shù)，讓智能體具備一定規(guī)劃執(zhí)行能力，比如根據(jù)用戶語音指定直接在星巴克小程序下單一杯咖啡，目前這一功能已在支付寶智能助理上線。在醫(yī)療領(lǐng)域，多模態(tài)能力為用戶實現(xiàn)復雜任務的操作，可以對超過100多種復雜的醫(yī)學檢驗檢測報告進行識別和解讀，還可以檢測毛發(fā)健康和脫發(fā)情況，對治療提供輔助。
（觀眾在螞蟻展廳現(xiàn)場體驗使用支付寶智能助理點咖啡）
發(fā)布現(xiàn)場，螞蟻集團副總裁徐鵬展示了新升級的多模態(tài)技術(shù)可實現(xiàn)的更多應用場景：通過視頻對話的自然形式，AI助理能為用戶識別穿著打扮，給出約會的搭配建議；根據(jù)用戶不同的意圖，從一堆食材中搭配出不同的菜譜組合；根據(jù)用戶描述的身體癥狀，從一批藥物中，挑選出可能合適的藥，并讀出服用指導，供用戶參考等。
基于百靈大模型多模態(tài)能力，螞蟻集團已在探索規(guī)模應用落地產(chǎn)業(yè)的實踐。
論壇上同時發(fā)布的“支付寶多模態(tài)醫(yī)療大模型”，便是這一探索的實踐。據(jù)了解，支付寶多模態(tài)醫(yī)療大模型添加了包含報告、影像、藥品等多模態(tài)信息在內(nèi)的百億級中英文圖文、千億級醫(yī)療文本語料、以及千萬級高質(zhì)量醫(yī)療知識圖譜，具備專業(yè)醫(yī)學知識，在中文醫(yī)療 LLM 評測榜單 promptCBLUE 上，取得 A 榜第一，B 榜第二的成績。
基于百靈大模型多模態(tài)能力，由螞蟻集團與武漢大學聯(lián)合研發(fā)的遙感模型SkySense，也在論壇上公布了開源計劃。SkySense是目前參數(shù)規(guī)模最大、覆蓋任務最全、識別精度最高的多模態(tài)遙感基礎(chǔ)模型。
“從單一的文本語義理解，到多模態(tài)能力，是人工智能技術(shù)的關(guān)鍵迭代，而多模態(tài)技術(shù)催生的‘看聽說寫畫’的應用場景，將讓AI的表現(xiàn)更真實，更接近人類，從而也能更好地服務人類。螞蟻會持續(xù)投入原生多摸態(tài)技術(shù)的研發(fā)。”徐鵬說。
- 超詳細！2025科技創(chuàng)變者大會最新議程公布！2025-08-21
- 中科慧遠發(fā)布CASIVIBOT，以九年積累開啟AOI與機器人協(xié)同的品質(zhì)檢測新時代2025-08-20
- 嚯！剛剛，張麻子陪我玩黑猴了2025-08-19
- 機器人全產(chǎn)業(yè)鏈接會 FAIR plus 2026媒體見面會在京召開2025-08-16
相關(guān)閱讀
