訊飛版《Her》長臉了！多模態(tài)虛擬人表情動作超逼真，一張圖一句話就能DIY自己

白交 2024-10-24 19:17:13 來源：量子位

白小交 發(fā)自 凹非寺

量子位 | 公眾號 QbitAI

跟訊飛星火AI女神視頻面對面，國產(chǎn)《Her》從此有了臉！

不管跟你科普面霜，推薦酒水禮物，還能看圖說話講故事，都能輕松拿捏。

你有看過孫悟空奧特曼一起打怪獸嗎？（狗頭）

即便是這么一個不著調(diào)的“名場面”，“她”也能硬講出來一段生動的故事來。嗯嗯論講故事還得是AI來~

除此之外，你也可以自己DIY一個虛擬人。只需一張照片+一句話，就能創(chuàng)造一個“自己”。

（白小交從此有了臉）

目前，該功能已經(jīng)在訊飛星火APP上線。

而背后的底座大模型也迎來重大升級——訊飛星火4.0 Turbo正式發(fā)布，七大核心能力全面超過GPT-4 Turbo，數(shù)學(xué)和代碼能力超越GPT-4o，國內(nèi)外中英文14項主流測試集中訊飛星火4.0 Turbo實現(xiàn)9項第一。

與此同時，國產(chǎn)超大規(guī)模智算平臺“飛星二號”正式啟動。

跟訊飛星火視頻面對面

此次發(fā)布會的重頭戲，就是訊飛星火在多模態(tài)視覺、超擬人虛擬人上交互能力的提升。

在大模型的驅(qū)動下，我們正在迎來一個嶄新的萬物智聯(lián)時代。新時代下的交互標(biāo)準(zhǔn)，科大訊飛有自己的定義。

董事長劉慶峰介紹道，在已有遠(yuǎn)場高噪、全雙工、多語種多語言等基礎(chǔ)上，還包括多模態(tài)、超擬人、個性化等特點。

其實在今年8月，訊飛版《Her》就已經(jīng)發(fā)布。這次語音能力升級基礎(chǔ)上，還具備了視覺能力、并擁有了自己的形象。

簡單來說，實現(xiàn)了從語音交互到音視頻流的實時多模態(tài)交互的跨越，情感感知（包括項環(huán)境、文字、物體、姿態(tài)、著裝等）更全面、任務(wù)理解（包括語音、手勢、行為、情緒等）更精準(zhǔn)。

在現(xiàn)場，訊飛研究院院長劉聰率先展示了語音能力，除了本身語氣和情感度更加逼真以外，它還能跟你玩角色扮演游戲。

模擬個孫悟空、小豬佩奇都不在話下~

俺老孫一路只顧得披荊斬棘，降妖除魔。要說有趣，當(dāng)然是捉弄八戒那呆子最有趣！

在此基礎(chǔ)之上，訊飛版Her現(xiàn)在能面對面聊天，它能根據(jù)語義、語音節(jié)奏來自動生成表情和動作。

比如聽到幾百萬人在線上看表演時，一些小驚訝、開心激動的表情。

據(jù)介紹，這也是業(yè)內(nèi)率先實現(xiàn)「口唇、表情、動作」語義對齊、貫穿的超擬人數(shù)字人。

而一旦打開攝像頭，它還能基于動態(tài)的視頻畫面來進(jìn)行對話交流。

比如識別各種物體，各種花草、建筑還有小玩具。

龍船花，好好好，小知識get。

更炸裂的是，就是連什么酒水飲料，哪個牌子的水乳面霜都能分清！

在現(xiàn)場，它不僅認(rèn)出了這是雪花秀的產(chǎn)品，還科普了具體組成和用處，甚至糾正了大的那瓶不是眼霜是面霜……

此次新增的視覺能力，在常見視覺知識問答準(zhǔn)確率90%+、場景圖文理解準(zhǔn)確率也超90%+。

這樣一來，可以在出境購物了解商品信息的時候“哪里不懂問哪里”，識別食物、玩游戲，陪孩子進(jìn)行繪本伴讀。

而量子位也第一時間進(jìn)行了一波實測。目前這一功能在訊飛星火APP右上角「小星暢聊」里面，點擊右邊「攝像頭」就能開啟對話了。

隨便拍了拍天空，說一句“今天天氣不錯”，它會隨聲附和一句；還會給你推薦合肥推薦好玩的地方。

而將攝像頭指向1024開發(fā)者論壇，它能準(zhǔn)確解讀出來，并給你推薦~

可以看到，此次的交互能力不管是在擬人度、情感性、理解能力等都有了很大的提升。而除了能看能聽能說，你還可以捏一個自己——創(chuàng)建一個屬于自己的虛擬人。

同樣是訊飛星火APP右上角，點擊「創(chuàng)建智能體」。

只需上傳一張照片，創(chuàng)建自己的AI形象，包括性格職業(yè)信息人設(shè)等自定義設(shè)置；然后再根據(jù)一句話復(fù)刻語音，就能完成了，已支持1300+種人設(shè)打造。

這語氣這形象確實很像數(shù)字世界的自己，以后就可以派它來對接客戶了。（不是）

目前，訊飛超擬人數(shù)字人的聲音自然度可以達(dá)到4.2分。劉慶峰稱，最好的播音員可以達(dá)到5.0分左右，真人水平一般為4.0分左右。

不過這些能力展示，也只是此次訊飛星火底座升級的一部分。

訊飛星火4.0 Turbo正式發(fā)布

今年訊飛星火大模型迎來重大升級——星火4.0 Turbo發(fā)布。

基礎(chǔ)能力上，數(shù)學(xué)、代碼、特定領(lǐng)域長文本能力等七大能力方面已經(jīng)全面超越GPT-4 TUrbo，效率也相對提升50%。

尤其是數(shù)學(xué)方面，劉慶峰透露，目前已經(jīng)完成超長思維鏈、樹搜索和自我反思評價等算法驗證，預(yù)計今年年底將實現(xiàn)類o1的高難度數(shù)學(xué)能力顯著提升。

代碼能力層面，星火在HumanEval測試集上，星火4.0 Turbo性能已超越GPT-4o。與此同時，他們還推出代碼7B版本，支持代碼生成、代碼補全等任務(wù)。

在14項中英文主流測試集中，相較于GPT-4o，星火4.0 Turbo實現(xiàn)了9項超越。

除此之外，還首次發(fā)布了多語言認(rèn)知大模型，覆蓋包括英語、俄語、日語、漢語、法語、西語、葡語、德語等多種語言。

在汽車、家電、辦公、翻譯等行業(yè)的任務(wù)場景中，多語言大模型效果超過了GPT-4o

在一些垂直領(lǐng)域，此次也有多款大模型首發(fā)和升級。

比如在醫(yī)療領(lǐng)域的醫(yī)學(xué)影像大模型，它能根據(jù)影像照片，幫助醫(yī)生快速生成診斷報告。

還有智能汽車方面的端側(cè)星火大模型，車載應(yīng)用效果損失小于1%，響應(yīng)時間小于40毫秒。預(yù)計今年第四季度起，包括奇瑞、廣汽、長城等多款搭載端側(cè)大模型的車型將上市開售。

教育方面，訊飛星火聯(lián)合中國教科院，發(fā)布了基于問題鏈的數(shù)學(xué)教師助手。它以問題鏈的方式來展開邏輯，包括核心問題、子問題、問題單元，這樣層層推進(jìn)，讓學(xué)生學(xué)會主動思考、學(xué)會提問，從而改變學(xué)生的學(xué)習(xí)范式。

現(xiàn)在已經(jīng)有來自12個區(qū)域50多位數(shù)學(xué)教研員、400多位教師參與到人機共創(chuàng)。

在底層智算平臺上，科大訊飛、華為、合肥市大數(shù)據(jù)資產(chǎn)運營有限公司三方聯(lián)手，打造國產(chǎn)超大規(guī)模智算平臺“飛星二號”，目前已經(jīng)正式啟動。

去年飛星一號首次亮相，據(jù)劉慶峰介紹，一年以來“飛星一號”平臺已經(jīng)解決了超過500次的基礎(chǔ)軟硬件問題和模型適配問題。

大模型迎來規(guī)?；瘧?yīng)用時代

整場發(fā)布會下來最強感知到的是，正如劉慶峰所言，大模型迎來規(guī)?；瘧?yīng)用時代。

多模態(tài)虛擬人交互成為發(fā)布會的主角，各種垂直領(lǐng)域大模型的真機演示成為發(fā)布會的重點。一切圍繞著應(yīng)用而來，圍繞著行業(yè)而來。

可以看到的是，以訊飛星火為代表，國產(chǎn)大模型應(yīng)用生態(tài)持續(xù)繁榮。發(fā)布會一開始，劉慶峰就亮出了他們過去一年“七個第一”的成績單。

• 央國企中標(biāo)第一，訊飛星火成為央國企大模型第一選擇
• 教育醫(yī)療市場第一；
• 智能汽車市場第一；
• 大模型開發(fā)者生態(tài)第一；
• 智能硬件市場第一；
• 賦能科研應(yīng)用第一；
• 賦能工業(yè)應(yīng)用第一。

截至今年10月，訊飛已經(jīng)與各頭部企業(yè)共建了20多個行業(yè)大模型，覆蓋300+應(yīng)用場景，所覆蓋行業(yè)和場景數(shù)都位于國內(nèi)第一位置。

值得一提的是，除了產(chǎn)業(yè)上的賦能，在科研行業(yè)，訊飛星火也持續(xù)在為高校提供服務(wù)。今年物理、化學(xué)諾獎都頒給了AI科學(xué)家，對此，劉慶峰表示：

AI for Science帶來科研范式的根本變革，正在成為科技發(fā)展的新引擎。
人工智能賦能科研工作的三個臺階：依托科研文獻(xiàn)助手和代碼助手提升基礎(chǔ)工作效率，基于深度神經(jīng)網(wǎng)絡(luò)對科學(xué)任務(wù)進(jìn)行精準(zhǔn)建模，以及借助認(rèn)知大模型學(xué)習(xí)領(lǐng)域知識并輔助設(shè)計科研實驗方案。

以星火科研助手為代表，它自去年底發(fā)布以來，已在中科院下屬116個院所使用。此外還聯(lián)合中國科技大學(xué)研發(fā)“化學(xué)大模型”，聯(lián)合中科院大連化學(xué)物理研究所研發(fā)“化工大模型”等等。

只有生態(tài)的繁榮，才能反哺技術(shù)持續(xù)進(jìn)步。根據(jù)IDC研究報告和市場公開數(shù)據(jù)顯示，科大訊飛在語音語義市占率中第一、大模型開發(fā)者規(guī)模第一，達(dá)78.1萬。

接下來，科大訊飛計劃將開放全場景資源，覆蓋從技術(shù)能力到應(yīng)用落地。他們還將牽頭成立AI基金，用5億創(chuàng)業(yè)基金推動開發(fā)者創(chuàng)業(yè)。

對于未來人工智能的產(chǎn)業(yè)發(fā)展，劉慶峰提出了他們自己行業(yè)參考。五個關(guān)鍵詞：頂天立地、自主可控、通專結(jié)合、端云聯(lián)動、軟硬一體。

也只有把握這五個關(guān)鍵點，大模型才能真正解放生產(chǎn)力、釋放想象力，帶來全行業(yè)的范式變革。