全國首個上手機的AI視頻通話來了！《黑神話：悟空》經(jīng)文也能破譯

十三 2024-08-29 22:42:31 來源：量子位

金磊 明敏 發(fā)自 凹非寺

量子位 | 公眾號 QbitAI

免費的AI視頻通話功能，就這么水靈靈地來了。

之前B站Up主“女流姐”在直播《黑神話：悟空》的時候，科普游戲內(nèi)的經(jīng)文被大家津津樂道。

那么這個可以打視頻通話的AI，是否也能幫玩家破譯經(jīng)文呢？

我們這就實測了一波：

視頻地址：https://mp.weixin.qq.com/s/rq7easE8aZss5QgduZutHg

這個AI在看完經(jīng)文后，表示大致意思是：

佛陀在菩提樹下教導弟子如何修行和獲得無上的智慧。

而清華畢業(yè)的“女流姐”在直播中給出的解釋也是“世尊在啟示眾人”。

這一波，AI算是把博大精深的經(jīng)文給解釋到位了。

那么對于這款游戲，AI又了解多少呢？我們給它看了下開場大片并提問：

視頻地址：https://mp.weixin.qq.com/s/rq7easE8aZss5QgduZutHg

嗯，這個AI準確地認出了孫悟空和游戲的名字。

這便是智譜AI最新推出的類GPT-4o視頻通話的功能——讓AI邊看世界邊和你聊天。

而且已經(jīng)在自家App智譜清言里上線了，是全國首個正式開放的那種（一部分人先用起來，再逐步完全開放）。

AI視頻通話，還能用來干啥？

首先，AI視頻通話的入口，就在首頁底部輸入框右側的電話按鈕：

進入通話界面，再點擊視頻按鈕，就可以開啟視頻通話的模式了：

現(xiàn)在，是時候打開新世界的大門了！

它能直接輔導小孩做作業(yè)。不僅能直接看到、看懂題目，還會循循善誘，一步步引導小孩自己思考找到正確答案。

視頻地址：https://mp.weixin.qq.com/s/rq7easE8aZss5QgduZutHg

輕松拿捏英語翻譯，甚至是專業(yè)論文。

視頻地址：https://mp.weixin.qq.com/s/rq7easE8aZss5QgduZutHg

當然還能變成日常生活助手，比如讓它幫忙看下食品是否過期。

視頻地址：https://mp.weixin.qq.com/s/rq7easE8aZss5QgduZutHg

還能陪人閑聊，情緒價值拉滿。

視頻地址：https://mp.weixin.qq.com/s/rq7easE8aZss5QgduZutHg

而且可以隨時打斷它的話，不用固定一來一回，就像和人聊天那樣。

（聊天過程也主打一個“啊對對對，你們?nèi)祟愓f的都對”）

視頻地址：https://mp.weixin.qq.com/s/rq7easE8aZss5QgduZutHg

同時也能和人互動，可以準確找到手指指到的地方。

視頻地址：https://mp.weixin.qq.com/s/rq7easE8aZss5QgduZutHg

總結來說，新增的AI視頻通話能力，讓智譜清言不用僅僅依賴打字、語音這種人類主動輸入的形式了解世界，只要打開攝像頭，咱們看到的畫面，AI也能了解。

這樣一來，AI的能力立馬提升了一個維度。具備跨文本、音頻、視頻實時推理能力后，AI也在交互上變得更加靈活、親切。

基座大模型也升級了

除了這次AI視頻通話功能之外，智譜AI在大模型技術上也一波大更新——

推出新一代基座大模型GLM-4-Plus。

而且是敢在KDD國際數(shù)據(jù)挖掘與知識發(fā)現(xiàn)大會上發(fā)布的那種。今年以來，智譜以“國產(chǎn)之光”的形象頻繁在ICLR等國際舞臺上露臉亮相，向外展示中國大模型當下最前沿進展。

首先，在語言文本能力方面，GLM-4-Plus已經(jīng)取得與GPT4o及405B參數(shù)量的Llama3.1相當?shù)某煽儭?/p>

大模型長文本能力也隨著此次的更新得到了加強：

在圖像和視頻理解能力方面，GLM-4-Plus也取得了較為突出的成績；而且還是可以理解網(wǎng)頁內(nèi)容，并將其轉換為HTML代碼的那種。

即使是面對復雜的視頻內(nèi)容，GLM-4V-Plus也能輕松hold住。

據(jù)了解，該模型將上線開放平臺（bigmodel.cn），智譜AI還將提供國內(nèi)首個通用視頻理解模型的API！

以下面這個視頻為例：

視頻地址：https://mp.weixin.qq.com/s/rq7easE8aZss5QgduZutHg

GLM-4V-Plus在看完視頻之后，便可以對其內(nèi)容做理解并回答用戶的問題。

用戶：這個穿綠色衣服的球員在整個視頻都做了什么？

GLM-4V-Plus：在整個視頻中，穿綠色衣服的球員在場上運球，然后跳起將球投入籃筐。

用戶：這個視頻的精彩時刻是什么？發(fā)生在第幾秒？

GLM-4V-Plus：這個視頻的精彩時刻發(fā)生在第4秒，當時穿綠色衣服的球員跳起并將球投入籃筐。

由此，也就不難理解智譜清言上的AI視頻通話功能為什么可以做到如此絲滑了。

智譜AI，又先邁了一步

今年以來，智譜的大動作不斷。

不僅僅是這次上線的AI視頻通話是全國首個，更早之前的每一個“大動作”也都是屬于領先的梯隊。

比如年初發(fā)布的新一代基座模型GLM-4，全面對標GPT-4；7月發(fā)布的類Sora視頻生成模型CogVideoX；以及文生圖模型迎來最新版本CogView-3-Plus，其效果接近目前最佳的MJ-V6及FLUX等模型，并支持圖片編輯功能。

全面對標OpenAI，不是說說而已。

更關鍵的是，發(fā)布即開放，這很智譜。

智譜清影上線即可免費體驗。底層模型同樣開放。

也是在這兩天，智譜AI的CogVideoX-5B宣布開源。它能在低門檻條件下帶來更好的視頻生成效果。

為開源社區(qū)提供了更豐富選擇。

與此同時，GLM-4-Flash也已經(jīng)做到了完全免費。

由此可見，智譜AI在讓大模型變得親民這條路上是認真的。

畢竟AIGC應用，好用、易用才是硬道理；得用戶者得天下。

那么你覺得智譜AI的視頻通話功能如何呢？歡迎體驗過后在評論區(qū)留言討論哦~

p.s.目前只是Beta版本，近期還會有更大版本迭代~

參考鏈接：
[1]https://www.bilibili.com/video/BV1p2421Z7f1/?vd_source=2cbb36f222ba4fbcf9054d7042914889
[2]https://www.bilibili.com/video/BV1giWHewELY/?spm_id_from=333.337.search-card.all.click&vd_source=1da63cf85df97568b93eb5f22aae3fa3