14.9萬元，滿血流暢運行DeepSeek一體機(jī)抱回家！清華90后初創(chuàng)出品

十三 2025-04-29 18:31:17 來源：量子位

金磊 發(fā)自 凹非寺

量子位 | 公眾號 QbitAI

滿血DeepSeek一體機(jī)，價格竟然被打到10萬元級別了！

而且還不是量化版本，正是那個671B參數(shù)、最高質(zhì)量的FP8原版。

或許有小伙伴要問了，那跑DeepSeek-R1/V3的速度，能跟官方一較高下嗎？

可以的，甚至是更快的那種。例如我們提個問題，來感受一下這個feel：

一個漢字具有左右結(jié)構(gòu)，左邊是木，右邊是乞。這個字是什么？只需回答這個字即可。

視頻地址：
https://mp.weixin.qq.com/s/luK0nlylq5faBytZ6Pvc1Q

從視頻中不難看出，不僅答案精準(zhǔn)，一體機(jī)的速度也是肉眼可見地比DeepSeek官網(wǎng)快上一些，粗略估計是已經(jīng)接近了22 tokens/s。

那么這個一體機(jī)到底是什么來頭？

不賣關(guān)子，它就是由北京行云集成電路最新推出的產(chǎn)品——褐蟻HY90，具體價格定到了14.9萬元。

而且除了產(chǎn)品，這家公司本身也是有不少的“標(biāo)簽”在身上的，其中最為吸睛或許當(dāng)屬CEO了：

季宇，清華90后博士、前華為“天才少年”、計算機(jī)學(xué)會CCF優(yōu)博獎獲得者。

那么褐蟻HY90具體執(zhí)行起更多任務(wù)時，又會是什么樣的效果？

來，更多維度的一波實測走起。

實測10萬元級的DeepSeek一體機(jī)

我們先在褐蟻HY90部署DeepSeek-R1，來測試一下它的推理能力。

有請AIME 2025的數(shù)學(xué)題：

Find the sum of all integer bases b>9 for which 17b is a divisor of 97b.

視頻地址：
https://mp.weixin.qq.com/s/luK0nlylq5faBytZ6Pvc1Q

從內(nèi)容生成的速度上來看，褐蟻HY90面對數(shù)學(xué)推理問題，依舊是可以保持接近20+ tokens/s。

并且最終給到的答案也是精準(zhǔn)無誤：70。

再來一道新版類似“9.9和9.11哪個大”、“Strawberry里面有幾個‘r’”，極度迷惑一眾AI的難題：

讓7米長的甘蔗通過2米高1米寬的門。

速度依舊在線，并且這個問題已經(jīng)是難不倒DeepSeek，給出的答案也是正解。

而除了DeepSeek之外，我們還在褐蟻HY90上體驗了一把類似Deep Research的功能：

視頻地址：
https://mp.weixin.qq.com/s/luK0nlylq5faBytZ6Pvc1Q

由此可見，無論是什么類型的題目，褐蟻HY90都能以相對較快的速度絲滑處理。

不過有一說一，以往的一體機(jī)，即便是搭載Q4量化版本，成本動輒就要達(dá)到200萬元。

而褐蟻HY90在搭載滿血、未量化的DeepSeek情況下，不僅能夠保證速度，更是把價格打掉了一個數(shù)量級。

因此，接下來的一個問題便是：

如何煉成的？

在我們聊“如何實現(xiàn)”之前，且需了解一下“什么在阻礙”。

首先，大家提到一體機(jī)，第一反應(yīng)大概率就是GPU，而它本身就或許構(gòu)成了短板。

因為傳統(tǒng)GPU方案因顯存容量限制，例如671GB需求需多張A100顯卡，成本已經(jīng)超過了百萬的級別。

而CPU方案則受限于內(nèi)存帶寬，因為大模型推理需要頻繁加載參數(shù)（如671B參數(shù)的FP8精度模型占用約671GB內(nèi)存）。

如果內(nèi)存帶寬不足，就會導(dǎo)致計算單元（CPU 核心）長時間等待數(shù)據(jù)，形成“內(nèi)存墻”（Memory Wall），嚴(yán)重影響推理速度。

針對上述的短板，行云的褐蟻一體機(jī)采用雙路AMD 9005系列CPU，通過1TB/s的高內(nèi)存帶寬滿足基礎(chǔ)推理需求，同時搭配一張中高端消費級GPU作為算力補(bǔ)充。

這種異構(gòu)計算架構(gòu)通過軟件協(xié)同優(yōu)化，既解決了純CPU方案在部分推理階段的算力不足問題，又顯著降低了成本，將硬件投入壓縮至10萬元以內(nèi)。

除此之外，行云自主研發(fā)的推理引擎框架通過算法優(yōu)化和任務(wù)調(diào)度，同樣對token生成速率起到了顯著的提升作用。

在FP8精度下，Decode階段速度穩(wěn)定在20TPS以上，且受上下文長度影響較小（128K上下文仍保持15TPS）；Prefill階段在16K上下文內(nèi)首字延遲控制在80秒以內(nèi)。

這種高效推理能力尤其適合需要連續(xù)生成大量token的場景（如AI Agent），大幅縮短任務(wù)響應(yīng)時間。

不僅如此，團(tuán)隊還針對大模型運行需求，精準(zhǔn)平衡了計算能力與內(nèi)存帶寬，支持滿血FP8精度的R1/V3模型，并預(yù)留擴(kuò)展能力，未來可支持1.5T參數(shù)量的模型。

通過參數(shù)壓縮技術(shù)（如INT4量化），進(jìn)一步將Decode速度提升至28TPS（1K上下文），滿足不同場景對速度與精度的靈活需求。

據(jù)了解，團(tuán)隊后續(xù)還將對MoE類的模型提供較好的支持。

褐蟻一體機(jī)的出現(xiàn)，可以說是改寫了行業(yè)的格局——

此前運行滿血671B模型需百萬級設(shè)備，而同類低配方案（如32B/70B模型）仍需20-40萬元。

行云通過技術(shù)整合，將最高質(zhì)量的模型體驗直接帶入10萬元價位，為中小團(tuán)隊提供了低門檻、高擴(kuò)展性的AI部署方案。

這一技術(shù)突破不僅實現(xiàn)了“高性能+低成本”的平衡，更推動了大模型在智能客服、數(shù)據(jù)分析等場景的普惠應(yīng)用。

清華90后創(chuàng)辦的公司

最后，正如我們剛才提到的，行云除了產(chǎn)品本身之外，創(chuàng)始團(tuán)隊同樣也有不少的亮點。

首先就是創(chuàng)始人兼CEO季宇，他本科就讀于清華大學(xué)物理系，后轉(zhuǎn)向計算機(jī)體系結(jié)構(gòu)方向，獲得清華大學(xué)計算機(jī)體系結(jié)構(gòu)博士學(xué)位。

在學(xué)術(shù)研究方面，他曾作為共同第一作者在頂級期刊《自然》（Nature）上發(fā)表計算機(jī)體系結(jié)構(gòu)相關(guān)論文，并榮獲中國計算機(jī)學(xué)會（CCF）優(yōu)秀博士學(xué)位論文獎（CCF優(yōu)博獎）。

在2023年8月成立行云集成電路之前，季宇曾在華為海思昇騰芯片團(tuán)隊，擔(dān)任昇騰AI芯片編譯器專家，負(fù)責(zé)多個昇騰編譯器項目，也曾入選“華為天才少年”。

在華為期間，正因長期專注于AI編譯器優(yōu)化和處理器微架構(gòu)等挑戰(zhàn)性問題，也讓他積累了豐富的AI芯片研發(fā)經(jīng)驗。

除了季宇本人之外，CTO余洪敏擁有深厚的學(xué)術(shù)背景和豐富的行業(yè)經(jīng)驗。

他本科畢業(yè)于華中科技大學(xué)，后在中國科學(xué)院半導(dǎo)體研究所獲得博士學(xué)位。

在職業(yè)履歷方面，余洪敏曾擔(dān)任百度昆侖芯、華為海思車載昇騰芯片等多款芯片的負(fù)責(zé)人，并曾在地平線擔(dān)任芯片研發(fā)總監(jiān)。

他長期領(lǐng)導(dǎo)和管理超過100人的研發(fā)團(tuán)隊，精通芯片研發(fā)設(shè)計全流程，具備豐富的實戰(zhàn)經(jīng)驗——成功主導(dǎo)10余款芯片的流片與量產(chǎn)，并多次推動先進(jìn)工藝數(shù)據(jù)中心芯片的架構(gòu)設(shè)計、工程實現(xiàn)及大規(guī)模商用部署。

值得一提的是，在去年11月份，行云集成電路還得到了一眾明星資本的投資，包括智譜AI、峰瑞資本、嘉御資本、春華資本、聚合資本、中科創(chuàng)星、同創(chuàng)偉業(yè)、奇績創(chuàng)壇、水木清華校友基金等。

由此，從行云集成電路成立至今的發(fā)展來看，是有產(chǎn)品，有團(tuán)隊，更有市場的那種了。

但更重要的一點是，這家剛成立兩年的公司，一舉實現(xiàn)了一體機(jī)圈子里類似的DeepSeek的“高性能+低成本”——

嗯，“中國初創(chuàng)”的含金量還在持續(xù)上升。

一體機(jī)近期可從官方公眾號預(yù)約體驗，更多詳情見↓