訊飛版《Her》長(zhǎng)臉了！多模態(tài)虛擬人表情動(dòng)作超逼真，一張圖一句話就能DIY自己

白交 2024-10-24 19:17:13 來(lái)源：量子位

白小交 發(fā)自 凹非寺

量子位 | 公眾號(hào) QbitAI

跟訊飛星火AI女神視頻面對(duì)面，國(guó)產(chǎn)《Her》從此有了臉！

不管跟你科普面霜，推薦酒水禮物，還能看圖說(shuō)話講故事，都能輕松拿捏。

你有看過(guò)孫悟空奧特曼一起打怪獸嗎？（狗頭）

即便是這么一個(gè)不著調(diào)的“名場(chǎng)面”，“她”也能硬講出來(lái)一段生動(dòng)的故事來(lái)。嗯嗯論講故事還得是AI來(lái)~

除此之外，你也可以自己DIY一個(gè)虛擬人。只需一張照片+一句話，就能創(chuàng)造一個(gè)“自己”。

（白小交從此有了臉）

目前，該功能已經(jīng)在訊飛星火APP上線。

而背后的底座大模型也迎來(lái)重大升級(jí)——訊飛星火4.0 Turbo正式發(fā)布，七大核心能力全面超過(guò)GPT-4 Turbo，數(shù)學(xué)和代碼能力超越GPT-4o，國(guó)內(nèi)外中英文14項(xiàng)主流測(cè)試集中訊飛星火4.0 Turbo實(shí)現(xiàn)9項(xiàng)第一。

與此同時(shí)，國(guó)產(chǎn)超大規(guī)模智算平臺(tái)“飛星二號(hào)”正式啟動(dòng)。

跟訊飛星火視頻面對(duì)面

此次發(fā)布會(huì)的重頭戲，就是訊飛星火在多模態(tài)視覺(jué)、超擬人虛擬人上交互能力的提升。

在大模型的驅(qū)動(dòng)下，我們正在迎來(lái)一個(gè)嶄新的萬(wàn)物智聯(lián)時(shí)代。新時(shí)代下的交互標(biāo)準(zhǔn)，科大訊飛有自己的定義。

董事長(zhǎng)劉慶峰介紹道，在已有遠(yuǎn)場(chǎng)高噪、全雙工、多語(yǔ)種多語(yǔ)言等基礎(chǔ)上，還包括多模態(tài)、超擬人、個(gè)性化等特點(diǎn)。

其實(shí)在今年8月，訊飛版《Her》就已經(jīng)發(fā)布。這次語(yǔ)音能力升級(jí)基礎(chǔ)上，還具備了視覺(jué)能力、并擁有了自己的形象。

簡(jiǎn)單來(lái)說(shuō)，實(shí)現(xiàn)了從語(yǔ)音交互到音視頻流的實(shí)時(shí)多模態(tài)交互的跨越，情感感知（包括項(xiàng)環(huán)境、文字、物體、姿態(tài)、著裝等）更全面、任務(wù)理解（包括語(yǔ)音、手勢(shì)、行為、情緒等）更精準(zhǔn)。

在現(xiàn)場(chǎng)，訊飛研究院院長(zhǎng)劉聰率先展示了語(yǔ)音能力，除了本身語(yǔ)氣和情感度更加逼真以外，它還能跟你玩角色扮演游戲。

模擬個(gè)孫悟空、小豬佩奇都不在話下~

俺老孫一路只顧得披荊斬棘，降妖除魔。要說(shuō)有趣，當(dāng)然是捉弄八戒那呆子最有趣！

在此基礎(chǔ)之上，訊飛版Her現(xiàn)在能面對(duì)面聊天，它能根據(jù)語(yǔ)義、語(yǔ)音節(jié)奏來(lái)自動(dòng)生成表情和動(dòng)作。

比如聽(tīng)到幾百萬(wàn)人在線上看表演時(shí)，一些小驚訝、開(kāi)心激動(dòng)的表情。

據(jù)介紹，這也是業(yè)內(nèi)率先實(shí)現(xiàn)「口唇、表情、動(dòng)作」語(yǔ)義對(duì)齊、貫穿的超擬人數(shù)字人。

而一旦打開(kāi)攝像頭，它還能基于動(dòng)態(tài)的視頻畫(huà)面來(lái)進(jìn)行對(duì)話交流。

比如識(shí)別各種物體，各種花草、建筑還有小玩具。

龍船花，好好好，小知識(shí)get。

更炸裂的是，就是連什么酒水飲料，哪個(gè)牌子的水乳面霜都能分清！

在現(xiàn)場(chǎng)，它不僅認(rèn)出了這是雪花秀的產(chǎn)品，還科普了具體組成和用處，甚至糾正了大的那瓶不是眼霜是面霜……

此次新增的視覺(jué)能力，在常見(jiàn)視覺(jué)知識(shí)問(wèn)答準(zhǔn)確率90%+、場(chǎng)景圖文理解準(zhǔn)確率也超90%+。

這樣一來(lái)，可以在出境購(gòu)物了解商品信息的時(shí)候“哪里不懂問(wèn)哪里”，識(shí)別食物、玩游戲，陪孩子進(jìn)行繪本伴讀。

而量子位也第一時(shí)間進(jìn)行了一波實(shí)測(cè)。目前這一功能在訊飛星火APP右上角「小星暢聊」里面，點(diǎn)擊右邊「攝像頭」就能開(kāi)啟對(duì)話了。

隨便拍了拍天空，說(shuō)一句“今天天氣不錯(cuò)”，它會(huì)隨聲附和一句；還會(huì)給你推薦合肥推薦好玩的地方。

而將攝像頭指向1024開(kāi)發(fā)者論壇，它能準(zhǔn)確解讀出來(lái)，并給你推薦~

可以看到，此次的交互能力不管是在擬人度、情感性、理解能力等都有了很大的提升。而除了能看能聽(tīng)能說(shuō)，你還可以捏一個(gè)自己——?jiǎng)?chuàng)建一個(gè)屬于自己的虛擬人。

同樣是訊飛星火APP右上角，點(diǎn)擊「創(chuàng)建智能體」。

只需上傳一張照片，創(chuàng)建自己的AI形象，包括性格職業(yè)信息人設(shè)等自定義設(shè)置；然后再根據(jù)一句話復(fù)刻語(yǔ)音，就能完成了，已支持1300+種人設(shè)打造。

這語(yǔ)氣這形象確實(shí)很像數(shù)字世界的自己，以后就可以派它來(lái)對(duì)接客戶(hù)了。（不是）

目前，訊飛超擬人數(shù)字人的聲音自然度可以達(dá)到4.2分。劉慶峰稱(chēng)，最好的播音員可以達(dá)到5.0分左右，真人水平一般為4.0分左右。

不過(guò)這些能力展示，也只是此次訊飛星火底座升級(jí)的一部分。

訊飛星火4.0 Turbo正式發(fā)布

今年訊飛星火大模型迎來(lái)重大升級(jí)——星火4.0 Turbo發(fā)布。

基礎(chǔ)能力上，數(shù)學(xué)、代碼、特定領(lǐng)域長(zhǎng)文本能力等七大能力方面已經(jīng)全面超越GPT-4 TUrbo，效率也相對(duì)提升50%。

尤其是數(shù)學(xué)方面，劉慶峰透露，目前已經(jīng)完成超長(zhǎng)思維鏈、樹(shù)搜索和自我反思評(píng)價(jià)等算法驗(yàn)證，預(yù)計(jì)今年年底將實(shí)現(xiàn)類(lèi)o1的高難度數(shù)學(xué)能力顯著提升。

代碼能力層面，星火在HumanEval測(cè)試集上，星火4.0 Turbo性能已超越GPT-4o。與此同時(shí)，他們還推出代碼7B版本，支持代碼生成、代碼補(bǔ)全等任務(wù)。

在14項(xiàng)中英文主流測(cè)試集中，相較于GPT-4o，星火4.0 Turbo實(shí)現(xiàn)了9項(xiàng)超越。

除此之外，還首次發(fā)布了多語(yǔ)言認(rèn)知大模型，覆蓋包括英語(yǔ)、俄語(yǔ)、日語(yǔ)、漢語(yǔ)、法語(yǔ)、西語(yǔ)、葡語(yǔ)、德語(yǔ)等多種語(yǔ)言。

在汽車(chē)、家電、辦公、翻譯等行業(yè)的任務(wù)場(chǎng)景中，多語(yǔ)言大模型效果超過(guò)了GPT-4o

在一些垂直領(lǐng)域，此次也有多款大模型首發(fā)和升級(jí)。

比如在醫(yī)療領(lǐng)域的醫(yī)學(xué)影像大模型，它能根據(jù)影像照片，幫助醫(yī)生快速生成診斷報(bào)告。

還有智能汽車(chē)方面的端側(cè)星火大模型，車(chē)載應(yīng)用效果損失小于1%，響應(yīng)時(shí)間小于40毫秒。預(yù)計(jì)今年第四季度起，包括奇瑞、廣汽、長(zhǎng)城等多款搭載端側(cè)大模型的車(chē)型將上市開(kāi)售。

教育方面，訊飛星火聯(lián)合中國(guó)教科院，發(fā)布了基于問(wèn)題鏈的數(shù)學(xué)教師助手。它以問(wèn)題鏈的方式來(lái)展開(kāi)邏輯，包括核心問(wèn)題、子問(wèn)題、問(wèn)題單元，這樣層層推進(jìn)，讓學(xué)生學(xué)會(huì)主動(dòng)思考、學(xué)會(huì)提問(wèn)，從而改變學(xué)生的學(xué)習(xí)范式。

現(xiàn)在已經(jīng)有來(lái)自12個(gè)區(qū)域50多位數(shù)學(xué)教研員、400多位教師參與到人機(jī)共創(chuàng)。

在底層智算平臺(tái)上，科大訊飛、華為、合肥市大數(shù)據(jù)資產(chǎn)運(yùn)營(yíng)有限公司三方聯(lián)手，打造國(guó)產(chǎn)超大規(guī)模智算平臺(tái)“飛星二號(hào)”，目前已經(jīng)正式啟動(dòng)。

去年飛星一號(hào)首次亮相，據(jù)劉慶峰介紹，一年以來(lái)“飛星一號(hào)”平臺(tái)已經(jīng)解決了超過(guò)500次的基礎(chǔ)軟硬件問(wèn)題和模型適配問(wèn)題。

大模型迎來(lái)規(guī)?；瘧?yīng)用時(shí)代

整場(chǎng)發(fā)布會(huì)下來(lái)最強(qiáng)感知到的是，正如劉慶峰所言，大模型迎來(lái)規(guī)?；瘧?yīng)用時(shí)代。

多模態(tài)虛擬人交互成為發(fā)布會(huì)的主角，各種垂直領(lǐng)域大模型的真機(jī)演示成為發(fā)布會(huì)的重點(diǎn)。一切圍繞著應(yīng)用而來(lái)，圍繞著行業(yè)而來(lái)。

可以看到的是，以訊飛星火為代表，國(guó)產(chǎn)大模型應(yīng)用生態(tài)持續(xù)繁榮。發(fā)布會(huì)一開(kāi)始，劉慶峰就亮出了他們過(guò)去一年“七個(gè)第一”的成績(jī)單。

• 央國(guó)企中標(biāo)第一，訊飛星火成為央國(guó)企大模型第一選擇
• 教育醫(yī)療市場(chǎng)第一；
• 智能汽車(chē)市場(chǎng)第一；
• 大模型開(kāi)發(fā)者生態(tài)第一；
• 智能硬件市場(chǎng)第一；
• 賦能科研應(yīng)用第一；
• 賦能工業(yè)應(yīng)用第一。

截至今年10月，訊飛已經(jīng)與各頭部企業(yè)共建了20多個(gè)行業(yè)大模型，覆蓋300+應(yīng)用場(chǎng)景，所覆蓋行業(yè)和場(chǎng)景數(shù)都位于國(guó)內(nèi)第一位置。

值得一提的是，除了產(chǎn)業(yè)上的賦能，在科研行業(yè)，訊飛星火也持續(xù)在為高校提供服務(wù)。今年物理、化學(xué)諾獎(jiǎng)都頒給了AI科學(xué)家，對(duì)此，劉慶峰表示：

AI for Science帶來(lái)科研范式的根本變革，正在成為科技發(fā)展的新引擎。
人工智能賦能科研工作的三個(gè)臺(tái)階：依托科研文獻(xiàn)助手和代碼助手提升基礎(chǔ)工作效率，基于深度神經(jīng)網(wǎng)絡(luò)對(duì)科學(xué)任務(wù)進(jìn)行精準(zhǔn)建模，以及借助認(rèn)知大模型學(xué)習(xí)領(lǐng)域知識(shí)并輔助設(shè)計(jì)科研實(shí)驗(yàn)方案。

以星火科研助手為代表，它自去年底發(fā)布以來(lái)，已在中科院下屬116個(gè)院所使用。此外還聯(lián)合中國(guó)科技大學(xué)研發(fā)“化學(xué)大模型”，聯(lián)合中科院大連化學(xué)物理研究所研發(fā)“化工大模型”等等。

只有生態(tài)的繁榮，才能反哺技術(shù)持續(xù)進(jìn)步。根據(jù)IDC研究報(bào)告和市場(chǎng)公開(kāi)數(shù)據(jù)顯示，科大訊飛在語(yǔ)音語(yǔ)義市占率中第一、大模型開(kāi)發(fā)者規(guī)模第一，達(dá)78.1萬(wàn)。

接下來(lái)，科大訊飛計(jì)劃將開(kāi)放全場(chǎng)景資源，覆蓋從技術(shù)能力到應(yīng)用落地。他們還將牽頭成立AI基金，用5億創(chuàng)業(yè)基金推動(dòng)開(kāi)發(fā)者創(chuàng)業(yè)。

對(duì)于未來(lái)人工智能的產(chǎn)業(yè)發(fā)展，劉慶峰提出了他們自己行業(yè)參考。五個(gè)關(guān)鍵詞：頂天立地、自主可控、通專(zhuān)結(jié)合、端云聯(lián)動(dòng)、軟硬一體。

也只有把握這五個(gè)關(guān)鍵點(diǎn)，大模型才能真正解放生產(chǎn)力、釋放想象力，帶來(lái)全行業(yè)的范式變革。