6天連發(fā)6模型，階躍穩(wěn)穩(wěn)蟬聯(lián)多模態(tài)卷王

衡宇 發(fā)自 凹非寺

量子位 | 公眾號 QbitAI

我勒個老天奶，大模型六小強之一的階躍星辰，給大家拜早年的方式可真不一樣——

6天之內(nèi)，庫庫連發(fā)6個模型。

大秀自家語言、語音、推理、圖片理解、視頻生成等多個類別的模型肌肉。

年前如此密集地發(fā)布新模型，雖然心疼階躍程序員的頭發(fā)們1秒，但很快意識到他們打的是有準備的仗：

早在去年3月正式亮相之前，就語言模型和多模態(tài)模型雙管齊訓，此后一直在多模態(tài)方面穩(wěn)扎穩(wěn)打；1個月前，官宣拿到了2024年的第n筆融資，數(shù)額為數(shù)億美元；于是也很順理成章的，在迎接蛇年之際，亮出了自己同時修的6個模型、“五個學位”。

感慨一下，無論從速度還是覆蓋程度，階躍這一波都能稱得上一句“國內(nèi)基模制造工廠”。

而且！稍微眼尖一點就能發(fā)現(xiàn)，這家伙似乎鉚足了勁要當多模態(tài)卷王——

雖然新模型多到讓人眼花繚亂，但咱一眼就看出來了，最出彩拔尖的，還是多模態(tài)模型。

最直接的證據(jù)就是多模態(tài)模型Step-1o系列，開年又拿下新排位，勇奪多模態(tài)模型評測實時榜單OpenCompass，及大模型競技場最新多模態(tài)榜單中國第一。

至于此次炮轟式上新的具體情況——無論是模型種類、數(shù)量還是質(zhì)量——咱們都拉出來溜溜。

也方便一起更清晰地感知感知，2025年開年，階躍在AGI路上第一波加速狂奔，到底怎么樣。

6款模型密集上新，階躍全面布局基模矩陣

截至推送發(fā)出，階躍已經(jīng)是業(yè)內(nèi)模型矩陣最全面的公司之一。

全面兩個字，何以見得？

6款模型，包括語言、語音、推理、圖片理解、視頻生成：

• 視覺版多模態(tài)模型Step-1o Vision
• 語音模型Step-1o Audio
• 視頻生成模型Step-Video
• 推理模型Step R-mini
• 語言模型Step-2 mini
• 語言模型Step 文學大師版

至此，階躍的基座模型矩陣已經(jīng)覆蓋了從語言、多模態(tài)到推理的全面能力；其中的推理模型是階躍自研Step系列模型家族的首個推理模型，完成了階躍基模界“六邊形戰(zhàn)士”的最后一塊拼圖。

不過，「全方位發(fā)力」是否意味著有真材實料，高舉高打？咱們一一來看。

p.s.先疊個甲，以下模型按量子位隨機實測順序排列，不分重量級與先后（doge）。

咱選擇先從多模態(tài)Step-1o系列開頭。

多模態(tài)系列：視覺版多模態(tài)模型Step-1o Vision

階躍的多模態(tài)之路始于2023年11月，千億參數(shù)的多模態(tài)大模型Step-1V訓練告成。

次年，Step-1V就在大模型競技場位列視覺領域中國大模型第一，后來又接二連三在各種海內(nèi)外榜單上多次霸榜。

可以說，「強多模態(tài)能力」成為了階躍身上烙下的一個鮮明tag。

而其旗下多模態(tài)的主系列，也從Step-1V迭代到了Step-1o。

相比于1v系列，1o系列升級了模型架構(gòu)，讓視覺性能up up，同時實現(xiàn)在視覺識別、感知、指令跟隨、推理等任務的能力提升。

這次密集連發(fā)，Step-1o系列全新發(fā)布了多模態(tài)理解模型 Step-1o Vision，升級語音模型 Step-1o Audio。

先說前者，多模態(tài)視覺模型Step-1o Vision。

值得一提的是，這款模型剛推出，就在大模型競技場最新榜單上一戰(zhàn)成名。

1月20日，Lmsys Org發(fā)布大模型競技場最新榜單，Step-1o Vison榜上有名，是當下中國視覺領域大模型top 1。

具體而言，Step-1o Vision是階躍最新多模態(tài)模型Step-1o的視覺版本。

在Step-1o的基礎上，Step-1o Vision百尺竿頭更進一步，官方稱“識別圖像內(nèi)容更準確（哪怕是復雜場景或相似圖片）”，“能識別圖中的多種語言”。

實戰(zhàn)看看實力！

識別圖像第一關，圖像理解——

最近小紅書上中外網(wǎng)友瘋狂一起搞抽象的事情，想必大家都知道了，有的人肯定深度參與了（盯.gif）。

我們從搞抽象的評論區(qū)，選了一張歪果仁們還不一定學會了的中式meme圖，來考考Step-1o Vision。

但躍問沒有猶豫，直接回答正確，算它功德+1。

識別圖像第二關，根據(jù)圖片內(nèi)容進行推理——

Prompt言簡意賅：

從里面取出一瓶礦泉水，需要幾步?

附帶的圖片從側(cè)面拍攝，一定程度上提升了難度。

而且咱們挖了坑，既沒有說從什么的里面取出礦泉水，也沒說什么什么樣的東西是礦泉水。

然而，Step-1o Vision對答如流。

既說明了是要從“飲料柜”里拿，也說明了礦泉水的位置所在，還正確回答了“需要幾步”這一問題。

多模態(tài)系列：語音模型Step-1o Audio

緊接著說說本次Step-1o系列上新系列的第二款模型，Step-1o Audio。

語音模型其實不是階躍Step系列的新面孔。

階躍此前就有語音復刻和生成大模型Step-tts-mini、語音識別大模型Step-Asr；去年12月13日又官宣了名為Step-1o Audio的千億參數(shù)端到端語音大模型，是國內(nèi)首個千億參數(shù)的端到端語音大模型。

現(xiàn)在，Step-1o Audio還叫這名兒。

但前后不過一個月，它已經(jīng)速度飛快地升級，在情緒感知與理解、多語種和多方言、通話體驗上有了新突破。

官方給的新版本亮點有仨：

• 情緒感知，識別語氣語調(diào)情緒信息，并結(jié)合語境理解需求，給予恰到好處的回應；
• 多語種、多方言對話，中英文可達“同傳”水平；
• 通話體驗升級，低延遲、更自然、個性化。

既然宣稱自己能感知情緒，那咱就來段喪氣滿滿的牢騷。

結(jié)果很妙，Step-1o Audio它說它心疼我哎??！不僅替我埋怨訴苦，還勸我下次早起不要遲到被扣錢了。

好貼心，我哭啊。

然并卵，深受感動也沒影響我們繼續(xù)測試。

于是咱又秀了一段我國南方某地口音的日語，想和它切磋一番。

量子位：おはよう、あけましておめでとう！（你好，新年快樂！）

Step-1o Audio：おはよう、何かお手伝いできることはありますか？（你好，有什么可以幫你的嗎～）

還怪樂于助人的。

至于整體的通話質(zhì)量，如視頻呈現(xiàn)。

沒有加速，確實延遲很低，聲音也很擬人，nice。

推理系列：推理模型Step R-mini

Step R-mini，全稱Step Reasoner mini，是本次階躍模型6連發(fā)里打頭陣的那一個。

這也是階躍的第一個推理模型，“擅長主動進行規(guī)劃、嘗試和反思，能通過慢思考和反復驗證的邏輯機制”。

有了它，有了這塊階躍基模矩陣的重要拼圖，才有了我們前面說階躍是“國內(nèi)基模制造工廠”這個title。

諸多Benchmark評測上，Step R-mini都還挺閃耀：

部分數(shù)學基準測試（如AIME和Math等）上，Step R-mini的成績超過了OpenAI o1-preview，比肩OpenAI o1-mini；代碼任務（如LiveCodeBench）上，Step R-mini的效果優(yōu)于o1-preview。

從官方介紹中，我們還提取到一個Step R-mini的關鍵詞：文理兼修。

這一點比較特別。

因為OpenAI o1為首開啟的推理模型新賽道，著重抓的是模型的邏輯推理能力，通用性也普遍泛化在數(shù)學、代碼、物理、化學等方面。

理論上來講，增加類o1模型的訓練參數(shù)規(guī)模可以提升模型的文科能力，但會因此損失確定性，造成理工科能力的下滑。總之推理模型就很難兼顧文理兩個方向。

據(jù)介紹，為了讓Step R-mini文理兼修，階躍對模型進行了大規(guī)模的強化學習訓練，并使用On-Policy（同策略）強化學習算法。

因此，上手體驗時，量子位也從文理兩方面下手。

先來一道推理題：外星人題。

在此前測試的所有大模型中，這道外星人題只有4o和o1-preview答對過。

不過，4o雖然做對了，卻只是借助python代碼給出了數(shù)值解：

o1就不一樣了，給出完整的解析解還去掉了不符合條件的根。

看看Step R-mini這邊，答題開始——

Step R-mini顯示呈現(xiàn)了自己的完整思考過程。過程不算短，但實際體感吐出的速度是很快的。

思考完畢后，Step R-mini會把思考過程折疊起來，若有需要再手動打開查看。

（相比之下，o1不給看原始思考過程，折疊起來的是思考過程摘要；有的推理模型則是不折疊，在思考過程下面直接接輸出答案）

然后再呈現(xiàn)給用戶一個精煉版的輸出：

答案正確，√2-1。

此外，Step R-mini還可以處理復雜的開發(fā)需求。

它會逐步分析用戶的需求和意圖，構(gòu)建代碼邏輯，在代碼寫作中穿插對當前代碼片段的分析和驗證，最終給到可執(zhí)行的代碼。

比如，短短一行出頭的prompt，要它寫一個AI產(chǎn)品訂閱的頁面，附帶一些特定條件。

運行它寫的代碼，你將得到（這孩子還挺會階梯式定價的）：

至于文科內(nèi)容創(chuàng)作能力方面，官方介紹是醬嬸的：

它會先分析用戶對創(chuàng)作主題、文學題材的要求，然后思考處理創(chuàng)作角度、描繪的景物、修辭手法、內(nèi)容結(jié)構(gòu)，賦予事物人類情感層面的象征意義，并增加個性化的、創(chuàng)新的表達風格。

讓咱來淺淺為難它一下。

輸入prompt：

請以“擠地鐵的早八人”為題，用瓊瑤的文風，創(chuàng)作一篇800字左右的文章。

Step R-mini的思考過程，大致走了“點明瓊瑤文風特色——切入視角——設定主角——氛圍營造和語言表達——控制字數(shù)——排篇布局——動手開寫”這么一個流程。

最后呈現(xiàn)出的短文，描寫生動，仿佛能感覺到車廂里的曖昧流動（？），確實有瓊瑤阿姨作品的味道。

共824個字，以及甚至貼心地在最后加了個關于“瓊瑤文風”的小tips。

另外，階躍在自己的公眾號中明確給出了彩蛋——

除了語言推理模型，我們也在打造視覺推理模型，將推理能力融入更多交互形態(tài)的大模型中。

據(jù)官方所說，針對復雜視覺場景下的Reasoning問題，團隊引入了慢感知和空間推理的思想，把Test-Time Scaling從文本空間轉(zhuǎn)移到視覺空間，實現(xiàn)在視覺空間下的Spatial-Slow-Thinking。

一些階段性成果，也小小偷跑物料了一下。

譬如讓階躍的視覺推理模型解答圖中的題目：

又或者詢問圖中的這些小球，分別對應什么數(shù)字？

從Demo來看表現(xiàn)不錯，值得期待一波。

何況階躍是拍著胸脯保證了，多模態(tài)視覺推理2025年內(nèi)一定發(fā)布。

反正咱已經(jīng)搬著小板凳坐好了（乖巧嗑瓜子等待.jpg）。

語言模型系列：語言模型Step 文學大師版

此次上新的6款模型中，有2款都隸屬語言模型之列。

畢竟語言模型是這一波AI浪潮的起點，也是階躍從第一天就開始布局和扎根的領域（24年3月發(fā)的語言大模型Step-2，是國內(nèi)最早由創(chuàng)業(yè)公司發(fā)布的萬億參數(shù)大模型）。

沿Scaling Law路線，階躍一年多來在語言模型方面成果斐然，多次在國內(nèi)外權威榜單上獲得中國第一。

迄今為止，語言模型簡直可以算階躍的又一傳統(tǒng)強項藝能了（手動狗頭）。

這一波升級的Step 文學大師版、Step-2 mini都脫胎于Step-2，但二者各有所長。

Step 文學大師版，是在文學創(chuàng)作的垂直領域體現(xiàn)出更強實力的那一個。

相比于其它以“數(shù)字+英文”來命名的模型，真的擁有好特別的一個名字！而且名副其實，“專為創(chuàng)作而生”，已經(jīng)上線躍問App。

用實戰(zhàn)說話，咱們先看它寫的內(nèi)容，再來揭曉prompt，看看到底貼合與否：

公布答案的時刻！

我們讓Step 文學大師版寫故事時的要求，是“以明朝為背景創(chuàng)作一個懸疑小說，融入《明書·太祖載紀》的內(nèi)容，帶有天災、地裂、克蘇魯?shù)仍?，第一人稱”。

說起來，Step 文學大師版的文學能力，和文理兼修的Step R-mini的文科能力來源還不一樣：

Step 文學大師版之所以文學修養(yǎng)不低、創(chuàng)作能力強大，是因為沿襲了萬億參數(shù)語言模型Step-2的知識儲備，以及對語言生成的把控。

相信很多朋友用了AI都有一個苦惱，就是AI生成的文字內(nèi)容，有的就是有股說不清道不明的AI味。

針對于此，階躍思考其本質(zhì)邏輯，是那些模型創(chuàng)作出來的內(nèi)容缺乏銳度和新意，沒有真情實感和對社會事件的描繪與思考。

而好的內(nèi)容創(chuàng)作模型需要充分理解用戶的創(chuàng)作需求，邏輯嚴密、語言凝練、言之有物、節(jié)奏緊湊，擁有深刻思想和獨特的風格……

（越聽越像量子位主編對編輯們的要求，xs）

因此，“繼承”Step-2能力的Step 文學大師版，實際上是吃到了萬億參數(shù)語言模型的Scaling Law紅利，以此提升自己語言、文字功底的基石。

語言模型系列：語言模型Step-2 mini

上新之語言模型系列的第二位，則是語言模型Step-2 mini。

相較于Step 文學大師版，它更具性價比和商用性。

顧名思義，mini，意味著這是一位敏捷的輕量級選手，階躍官方對它的介紹是“極速響應、高性價比”。

輕量級，體現(xiàn)在Step-2 mini僅以萬億參數(shù)大模型Step-2的3%左右的參數(shù)量，保有其80%以上的模型性能。

極速響應，體現(xiàn)在Step-2 mini相比此前的階躍模型有著更快的生成速度，輸入4000 tokens的情況下，平均首字時延僅0.17秒。

高性價比，直接體現(xiàn)在價格上，輸入為1元/百萬token；輸出為2元/百萬token。

上述優(yōu)點如果從技術實現(xiàn)上追根溯源，是Step-2 mini采用了階躍自主研發(fā)的新型注意力機制架構(gòu)MFA（Multi-matrix Factorization Attention，多矩陣分解注意力）及其變體 MFA-Key-Reuse。

相比于常用的MHA（Multi-Head Attention，多頭注意力）架構(gòu)，MFA節(jié)省了近94%的KV緩存開銷，從而擁有更快的推理速度，并大幅降低了推理成本。

速度快、性價比高，使得Step-2 mini在同類競品中的商業(yè)化場景更廣泛。

友情提示，現(xiàn)在所有開發(fā)者盆友們，已經(jīng)可以在階躍星辰開放平臺調(diào)用Step-2 mini的API了。

視頻模型系列：視頻生成模型Step-Video

Last one，視頻生成模型Step-Video。

11月底的時候，不少網(wǎng)友就發(fā)現(xiàn)階躍旗下「躍問」的web端，突然冒出了換個“躍問視頻”的選項。

但這事兒悄悄咪咪的，低調(diào)得很符合階躍一貫的行事作派。

想不到這一輪6連發(fā)，直接把初代視頻生成模型的升級版Step-Video給放到web端可用了。

底層模型的升級點標注得很明確，是在復雜運動、美感、人物、簡單文字生成、中英雙語輸入和鏡頭語言方面具備更強的生成能力。

進入后，界面很簡單，沒有各種可以手動調(diào)整的參數(shù)，只用輸入中/英文prompt即可。

輸入框右上方有一個可供選擇的“描述優(yōu)化”按鈕。

優(yōu)化程度大概是，原prompt長這樣：

在外國的唐人街，到處洋溢著春節(jié)的喜氣洋洋的氛圍，中國面孔和外國面孔的很多路人在唐人街上走來走去，路邊還有一個賣冰糖葫蘆的老大爺。

優(yōu)化過的prompt長這樣：

在唐人街上，春節(jié)的喜氣洋洋氛圍中，中國面孔和外國面孔的路人來來往往。一個身穿紅色上衣、灰色褲子的老大爺在路邊擺攤賣冰糖葫蘆，他笑瞇瞇地招呼著行人。陽光灑在唐人街上，照亮了紅燈籠和彩旗，人們在街上品嘗著美食，笑聲不絕于耳。整個場景采用穩(wěn)定器拍攝，畫面流暢，具有紀實風格。

優(yōu)化的細節(jié)包括但不限于人物外表細節(jié)、面部表情、環(huán)境背景、人物動作、運鏡手法、畫面風格等等。

然后量子位淺淺測了一下，主要考驗的是人物形象是否更穩(wěn)定和復雜運動生成是否更自然。

測試prompt如下：

視頻中，一名女子身穿淺色衣服，頭戴花環(huán)，專注地拉小提琴。她身處陽光下，背景是被陽光照亮的樹木。視頻采用特寫鏡頭拍攝，捕捉了女子專注演奏的神情，陽光透過樹葉灑在她身上，營造出一種寧靜而美好的氛圍。整個畫面清晰，具有寫實風格，展現(xiàn)了女子與自然環(huán)境的和諧美感。

沒過多久，就get了如下視頻：

視頻主體的性別、衣著、神態(tài)、動作、背景、光線，都滿足提示詞需求。

視頻質(zhì)量也沒毛病，人物穩(wěn)定，小提琴沒走樣，手部作為經(jīng)常出bug的生成難點也hold住了。

最后，我們再送躍問視頻一題，以此結(jié)束對6款模型的所有實測。

也祝心早已不在工位上的各位，蛇年快樂發(fā)大財！

Prompt：夕夜里，一位小女孩站在四合院的院子中間，手持點燃的仙女棒，火花閃爍照亮她充滿期待的臉龐，背后是貼滿春聯(lián)的大門和高高掛起的紅燈籠，暖黃色燈光透過窗戶灑在地上，營造出溫馨的氛圍。

差異化成生存關鍵，但階躍依舊奔赴AGI

綜上所述，階躍近期6款模型走質(zhì)又走量的全線出擊，其特點可以清晰概括為：

布局全面，實力不俗，迭代迅速。

這樣十二個字，既是對階躍開年打法的精煉概括，也是階躍在牌桌上穩(wěn)扎穩(wěn)打的優(yōu)勢所在。

尤其是它在農(nóng)歷新年到來前，又用實力秀了一波作為多模態(tài)卷王，在多模態(tài)的領域的技術持續(xù)領先性。

而且量子位在過去一年多少獲悉，市場、開發(fā)者對階躍多模態(tài)的能力還是十分認可的。

比如小而美的AI應用胃之書的開發(fā)者趙純想就說過，AB測試下來，用階躍的模型，付費率最高；別的一些網(wǎng)紅AI應用也多少透露過，接入階躍多模態(tài)模型API，實現(xiàn)了用戶付費率的提升。

以這樣的技術實力和行業(yè)口碑作為2025開年基本盤，階躍也無懼現(xiàn)階段業(yè)界悄然形成的一種共識了。

那就是以2024年末、2025年初為界，大模型競爭格局中的基座模型玩家已經(jīng)步入新的篇章，下半場的洗牌之戰(zhàn)已經(jīng)吹響號角。

詳細觀察，可以發(fā)現(xiàn)諸多變化來印證這一點。

譬如有的基座模型玩家，開始轉(zhuǎn)向?qū)Ｗ⒃谔囟ù怪鳖I域進行模型研發(fā)，以精巧取勝。

有的則放棄了對超級大模型訓練的執(zhí)著追求，更務實地選擇訓練參數(shù)適中的更快、更便宜的模型，并基于此打造應用掘金。

還有的基座模型玩家開始進行戰(zhàn)略方向上的調(diào)整，從更注重追求用戶增長，轉(zhuǎn)為傾向?qū)δＰ团c技術能力提升進行重視。

這恰恰call back了去年在坊間流傳的那句話，“大模型六小強生存關鍵是差異化”。

然而，在這場風云變幻中，階躍卻很專情，堅定地沿著去年3月公開宣布的路線穩(wěn)步前行。

即：單模態(tài)——多模態(tài)——多模理解和生成的統(tǒng)一——世界模型——AGI。

任憑風浪起，穩(wěn)坐釣魚臺。