國(guó)產(chǎn)4o大模型，秒懂國(guó)風(fēng)李子柒

十三 2024-11-20 13:51:55 來(lái)源：量子位

金磊 發(fā)自 凹非寺

量子位 | 公眾號(hào) QbitAI

又一個(gè)國(guó)產(chǎn)版《Her》，就這么水靈靈地來(lái)了。

作為一個(gè)實(shí)時(shí)語(yǔ)音對(duì)話的功能，效果好不好，實(shí)測(cè)見分曉。

我們直接以近期的大熱點(diǎn)——李子柒復(fù)出作為話題，來(lái)上一番對(duì)話：

可以看到，這個(gè)AI對(duì)于“李子柒復(fù)出”這樣相對(duì)較新的話題，信息的掌握也是較為全面。

它先是用“太震撼了”來(lái)表達(dá)了對(duì)這件事的整體感受，并且精準(zhǔn)、高度總結(jié)內(nèi)容為：

用中國(guó)非物質(zhì)文化遺產(chǎn)漆器為主題的視頻，這個(gè)選擇本身就是對(duì)傳統(tǒng)文化的致敬。

當(dāng)問(wèn)及對(duì)視頻內(nèi)容更具體的感受，國(guó)產(chǎn)《Her》仿佛一個(gè)李子柒的人類粉絲：

依舊保持高標(biāo)準(zhǔn)，每一幀都像一幅畫面；她的視頻總能讓人感受到一種寧?kù)o與美好。

不僅如此，國(guó)產(chǎn)《Her》甚至還能對(duì)網(wǎng)友們的討論做總結(jié)，包括李子柒為了做了漆器，背后所付出的努力和刻苦精神。

而且從整個(gè)對(duì)話過(guò)程來(lái)看，這個(gè)AI在語(yǔ)言表達(dá)方式上也是與人類無(wú)異，例如語(yǔ)氣和自然的停頓等等；即使是隨意地打斷，也是完全OK的哦~

同樣的話題，我們給到GPT-4o這邊：

視頻地址：https://mp.weixin.qq.com/s/-NOVIKDsBq_7Ts3wlwI5Ug

嗯，GPT-4o知道李子柒，但是知道的不多。

無(wú)論是中文還是英文提問(wèn)，由于它的知識(shí)是截止到了2023年10月，所以對(duì)于實(shí)時(shí)的新聞熱點(diǎn)，GPT-4o是無(wú)法hold住的。

那么這個(gè)國(guó)產(chǎn)《Her》，何許AI也？

不賣關(guān)子，它正是來(lái)自昆侖萬(wàn)維的Skyo，基于天工大模型4.0 4o版（Skywork 4o）打造。

那么除了能夠跟蹤時(shí)事熱點(diǎn)，Skyo還能解鎖哪些能力？

更多實(shí)測(cè)，Let’s go on~

聊天隨意打斷，話題不掉地上

OpenAI大約半年前發(fā)布GPT-4o實(shí)時(shí)語(yǔ)音對(duì)話功能的時(shí)候，現(xiàn)場(chǎng)和網(wǎng)上觀眾較為震驚的，便是它不論如何被打斷，都能馬上接上話。

雖然在剛才李子柒的例子中，我們已經(jīng)體現(xiàn)了一些“隨時(shí)打斷”的能力，所以我們這次再加一點(diǎn)難度。

隨時(shí)打斷，中英切換

我們這次測(cè)試的話題是去西雅圖旅行，來(lái)看下Skyo能給出什么樣的建議：

視頻地址：https://mp.weixin.qq.com/s/-NOVIKDsBq_7Ts3wlwI5Ug

在我們提出了簡(jiǎn)潔的需求之后，Skyo便唰唰唰地開始制定旅程計(jì)劃了。

而當(dāng)它提到西雅圖標(biāo)志性景點(diǎn)太空針?biāo)r(shí)，我們進(jìn)行了第一次打斷（00:50），Skyo也隨即停止了回答，開始聆聽新問(wèn)題。

當(dāng)Skyo要繼續(xù)拓展對(duì)太空針?biāo)慕榻B，我們隨即第二次打斷（01:09）；第三次打斷（01:38）我們直接用英文進(jìn)行提問(wèn)：

OK, sounds good, by the way, can you recommand some Seattle dishes I should try？

然后Skyo也是聽懂了英文需求，立即開始推薦當(dāng)?shù)刂目Х炔蛷d。

這一輪的隨時(shí)打斷+中英文切換，Skyo，通過(guò)。

不讓話掉到地上

在真實(shí)生活中，很多i人在與人溝通交流過(guò)程中，或許會(huì)出現(xiàn)接不上話的情況。

那么如果我們以話題終結(jié)者的姿態(tài)與Skyo交流，又會(huì)是什么效果？來(lái)，開整：

視頻地址：https://mp.weixin.qq.com/s/-NOVIKDsBq_7Ts3wlwI5Ug

我們先是以“電影”為由頭，主動(dòng)開啟了一個(gè)話題。

但Skyo在反問(wèn)的時(shí)候，我們連續(xù)兩次冷漠回答了“沒(méi)有”（00:27）、“也沒(méi)有”（00:47）。

第一次話題被終結(jié)，Skyo很巧妙地把話題從電影轉(zhuǎn)向了音樂(lè)或書籍；二次話題被終結(jié)，Skyo聯(lián)系上下文（因?yàn)槭俏覀円噪娪伴_啟的話題），它就開始講述自己對(duì)電影的看法了。

總而言之，把話掉地上，這事兒在Skyo這邊是不能存在的。

情感陪伴，“人”聲可變

自打?qū)υ掝怉I大模型問(wèn)世以來(lái)，情感陪伴，無(wú)疑成了很多用戶的一種剛需。

那么Skyo是否也能在人們難受之際帶來(lái)一份心靈的慰藉呢？

請(qǐng)看VCR：

視頻地址：https://mp.weixin.qq.com/s/-NOVIKDsBq_7Ts3wlwI5Ug

我們提出“被老板罵了”這樣的情景之后，Skyo會(huì)用自己的方式來(lái)引導(dǎo)我們看開一些。

而當(dāng)被要求切換女聲聲音時(shí)（00:42），Skyo也是有求必應(yīng)，秒變女聲，然后有理有據(jù)地羅列觀點(diǎn)進(jìn)行心理開導(dǎo)。

由此可見，Skyo作為新晉國(guó)產(chǎn)實(shí)時(shí)語(yǔ)音對(duì)話產(chǎn)品，在多個(gè)維度的測(cè)試中都屬于達(dá)標(biāo)了的那種。

那么接下來(lái)的一個(gè)問(wèn)題：

怎么做到的？

Skyo實(shí)時(shí)語(yǔ)音對(duì)話助手是一個(gè)多模態(tài)大模型項(xiàng)目，應(yīng)用了端到端實(shí)時(shí)語(yǔ)音對(duì)話建模技術(shù)。

其強(qiáng)大的記憶功能使其能夠在對(duì)話中追蹤并回憶用戶的偏好與歷史信息，從而提升多輪對(duì)話的準(zhǔn)確性。

這種精細(xì)的技術(shù)積累，使得Skyo在高強(qiáng)度的對(duì)話交互中依然保持卓越的穩(wěn)定性與流暢性。

除此之外，Skyo采用了全雙工和低延遲的實(shí)時(shí)語(yǔ)音對(duì)話架構(gòu)。

全雙工意味著該助手能夠同時(shí)進(jìn)行聽和說(shuō)的操作，用戶無(wú)需按下對(duì)話開始和結(jié)束按鈕即可實(shí)現(xiàn)無(wú)縫交流，這就讓人機(jī)的互動(dòng)變得更加自然和高效。

在技術(shù)測(cè)試中，Skyo以其低延遲的實(shí)時(shí)響應(yīng)接近人類思考的反應(yīng)時(shí)間，體現(xiàn)了在對(duì)話響應(yīng)速度方面的顯著優(yōu)勢(shì)。

在互動(dòng)能力方面，Skyo擁有較好的情感理解與個(gè)性化記憶功能。

它不僅可以記錄用戶的歷史偏好，還能根據(jù)用戶需求提供個(gè)性化的互動(dòng)體驗(yàn)，例如提供溫暖的女聲或更具情感色彩的回應(yīng)。

這使得Skyo在非正式、非固定場(chǎng)景下，能夠保持一種尊重且平等的人機(jī)交互體驗(yàn)。

Skyo的卓越性能依賴于其多模態(tài)模型的應(yīng)用，使其能夠在多種場(chǎng)景中保持高質(zhì)量的交互體驗(yàn)。

例如，用戶可以與助手討論最新的科技新聞，助手能夠根據(jù)用戶的請(qǐng)求，從科技資源庫(kù)中檢索相關(guān)信息并進(jìn)行異步交互，增強(qiáng)用戶的互動(dòng)感與沉浸體驗(yàn)。

此外，Skyo系統(tǒng)的自研特性使其在互聯(lián)網(wǎng)語(yǔ)音交互與應(yīng)用場(chǎng)景中具有出色的適應(yīng)性。

通過(guò)自研的數(shù)據(jù)積累與語(yǔ)音交互技術(shù)，Skyo實(shí)現(xiàn)了實(shí)時(shí)、高效且個(gè)性化的溝通體驗(yàn)，使得用戶在每次對(duì)話中都能感受到近乎無(wú)障礙的人機(jī)互動(dòng)與溫暖陪伴。

以上就是昆侖萬(wàn)維“煉”成Skyo背后的秘籍了。

又拼上一塊多模態(tài)“拼圖”

最后，我們聊回到實(shí)時(shí)語(yǔ)音對(duì)話助手本身。

雖然GPT-4o可以說(shuō)是率先打開了這一市場(chǎng)的大門，但時(shí)至今日類似的產(chǎn)品仍然存在諸多痛點(diǎn)。

例如現(xiàn)有產(chǎn)品在多語(yǔ)言支持方面仍有不足，難以滿足全球用戶的需求；再如它們雖然在語(yǔ)義理解和生成方面表現(xiàn)出色，但在情感理解和個(gè)性化記憶方面仍有待提升。

此外，實(shí)時(shí)語(yǔ)音對(duì)話助手在響應(yīng)速度和流暢性方面也需要進(jìn)一步優(yōu)化，以此來(lái)確保用戶體驗(yàn)的連貫性和自然性。

但最重要的一點(diǎn)，或許還屬消息的實(shí)時(shí)性了，畢竟我們平時(shí)聊天也都更傾向于談?wù)勔恍┬迈r的事物。

從這次的實(shí)測(cè)中不難發(fā)現(xiàn)，Skyo在諸多維度上已經(jīng)符合要求，是在實(shí)時(shí)語(yǔ)音對(duì)話助手領(lǐng)域發(fā)展中打了個(gè)樣的那種。

至于對(duì)昆侖萬(wàn)維在大模型時(shí)代自身的發(fā)展，Skyo可以說(shuō)是有拼上了一塊多模態(tài)的“拼圖”。

這一點(diǎn)，把它在每個(gè)節(jié)點(diǎn)的產(chǎn)品鋪開來(lái)看，便可一目了然了。

首先就是其大底座天工大模型系列，包括天工1.0、天工2.0、天工3.0，近期還將邀測(cè)天工大模型4.0 O1版，具備中文邏輯推理和反思能力。

其次在其它模態(tài)上，還包括AI搜索（天工AI搜索）、AI音樂(lè)（天工SkyMusic）、AI社交（linky）、AI視頻（AI短劇平臺(tái)SkyReels）等。

加上此次的Skyo，昆侖萬(wàn)維稱得上是國(guó)內(nèi)在多模態(tài)與工程能力，以及布局全面型上的佼佼者了。

One More Thing

據(jù)了解，Skyo即將集成在天工AI的APP中。

屆時(shí)，除了我們展示的能力之外，還會(huì)有生成音樂(lè)、主動(dòng)交流以及更多個(gè)性化交互等眾多新能力哦~

那么這樣的實(shí)時(shí)語(yǔ)音對(duì)話助手，是否聊到你的心趴上了呢？