巧妙！一個傳統(tǒng)技術(shù)讓國產(chǎn)視覺基礎(chǔ)模型直接上大分

十三 2025-05-23 14:21:24 來源：量子位

金磊 發(fā)自 凹非寺

量子位 | 公眾號 QbitAI

咱就是說啊，視覺基礎(chǔ)模型這塊兒，國產(chǎn)AI真就是上了個大分——

Glint-MVT，來自格靈深瞳的最新成果。

先來看下成績——線性探測（LinearProbing）：

簡單來說，線性探測是一種測試預(yù)訓練模型效果的小技巧，測的就是基本功扎不扎實。它的做法是：

把模型最后一部分換成簡單的線性層，其他部分全部保持原樣不動；然后只訓練這個新加的線性層，通過它的表現(xiàn)來判斷模型之前學到的特征好不好用。

這個測試是在26個分類測試集中跟CLIP和OpenCLIP做了對比，結(jié)果顯示，國產(chǎn)視覺基礎(chǔ)模型平均準確率比OpenCLIP高2.3%，比CLIP高1.1%。

再來看應(yīng)用效果。

如果說視覺基礎(chǔ)模型是一個底座，那么它的下游任務(wù)，像“圖像理解+分割一切”，便是更為直觀的效果展現(xiàn)。

例如下面這張圖片，然后我們可以問一下AI：

你能提供一個分割掩膜給這個圖像中觸摸籃球的人嗎？

很顯然，這個任務(wù)的難點在于拿籃球的人被其他人的手、身體等部位擋住，分割難度也大幅增加。

然而，國產(chǎn)AI是不在怕的，啪的一下，超精細地把要求的人物給摳了出來：

我們再來看下更加復(fù)雜的案例：

面對如此繁雜的圖片，不論要求AI分割哪種食物，它都能精準無誤地識別出來。

Glint-MVT中的MVT，全稱叫做Margin-based pretrained Vision Transformer，是團隊自研、設(shè)計的視覺預(yù)訓練Transformer模型。

它的一大亮點，就是創(chuàng)新性地把原先用于人臉識別的間隔Softmax（Margin Softmax）損失函數(shù)引入了進來，再通過構(gòu)造百萬級虛擬類別訓練模型，顯著降低數(shù)據(jù)噪聲影響，提升泛化能力。

并且從實測和性能效果上來看，在各種專業(yè)下游任務(wù)中的表現(xiàn)，要比CLIP等其他ViT模型的結(jié)果更好。

在Glint-MVT這個底座之上，團隊針對引用表達分割（RES，Referring Expression Segmentation）和圖像理解，還分別訓練出了多模態(tài)模型：Glint-RefSeg模型和MVT-VLM模型。

Glint-RefSeg是無需特別搜集訓練就可以分割一切，從剛才的例子中也是感受到其實力，并且相比其他RES任務(wù)的模型，它取得了當前的SOTA。

至于MVT-VLM，它在圖像理解的實力，可以用下面的例子來展示：

請分別告訴我圖中運動員的性別以及衣服顏色和號碼。

即使圖片中紅衣服的號碼呈現(xiàn)出刁鉆的角度，它也能輕松識別：

那么Glint-MVT還有哪些效果，我們繼續(xù)來看。

視頻、具身智能都用上了

首先在分割這件事上，除了圖像之外，Glint-RefSeg也是可以用在視頻上的。

例如給定一段Bruno Mars的唱跳視頻，效果是這樣的：

視頻地址：
https://mp.weixin.qq.com/s/CXEGGF9tJUycreIpPgV98Q

可以看到，不論畫面、角度如何切換，任務(wù)要求的“穿粉色西裝的男子”，穩(wěn)穩(wěn)地被AI鎖定住了。

而且即使Bruno Mars動作幅度再大、變化再快，也絲毫不影響AI分割的效果，尤其是手部等細微之處，可以說是拿捏得相當?shù)轿弧?/p>

而且除了傳統(tǒng)場景之外，像具身智能這樣的fashion場景，Glint-MVT也是用上了。

例如這樣：

在看完機械臂的操作之后，如果問AI：

把橙子放到白色碗里，（結(jié)果是）合適的嗎？請回答是或否。

AI就會根據(jù)當前的場景回答：

是。

從種種的效果來看，不得不說Glint-MVT這個視覺基礎(chǔ)模型，基本功是有夠扎實的。

那么接下來的一個問題就是：

怎么做到的？

正如我們剛才提到的，Glint-MVT技術(shù)核心亮點，就是把間隔Softmax引入了進來。

具體而言，Glint-MVT采用基于大類別分類的間隔Softmax損失函數(shù)進行訓練，通過引入 “類別間隔” 和 “特征緊湊性” 的雙重約束，解決傳統(tǒng)Softmax在大規(guī)模分類中語義區(qū)分不足的問題。

在此基礎(chǔ)上，格靈深瞳團隊提出了進一步的優(yōu)化方案。

首先是虛擬類別構(gòu)造。

團隊利用圖像文本特征聚類技術(shù)，將大規(guī)模數(shù)據(jù)集（如LAION 400M）劃分為100萬虛擬類別，替代傳統(tǒng)人工標注標簽，可以高效地提升數(shù)據(jù)規(guī)模。

其次是噪聲抑制與計算優(yōu)化。

團隊在訓練時僅隨機選取部分負類中心（采樣比例約 10%），如此一來，就可以降低類別間沖突對模型的干擾，同時減少計算量和顯存占用。

相比CLIP的實例對比學習，間隔Softmax通過顯式建模類別間邊界，能讓模型更聚焦語義結(jié)構(gòu)，在圖像檢索、分類等任務(wù)上表現(xiàn)更優(yōu)。

以上就是Glint-MVT效果提升的關(guān)鍵，而Glint-RefSeg和MVT-VLM等模型也是基于這個大底座而來。

例如Glint-RefSeg采用MVT v1.1（MLCD）作為核心視覺編碼組件，并融合了大語言模型與SAM解碼器的技術(shù)優(yōu)勢。

這一設(shè)計使得模型能夠理解用戶的自然語言描述，并精確識別和分割圖像中相應(yīng)的目標對象，輸出高質(zhì)量的分割掩膜。

并且從結(jié)果來看，已然是處于業(yè)界SOTA：

但格靈深瞳團隊在技術(shù)上的動作還遠不止于此。

他們已經(jīng)將技術(shù)錨點鎖定到了更復(fù)雜的多模態(tài)大模型和視頻理解方面，而且也即將推出相應(yīng)的模型：MVT v1.5和MVT v2.0（Video）。

視覺領(lǐng)域的精耕者

除了技術(shù)上的創(chuàng)新，格靈深瞳之所以能夠在視覺基礎(chǔ)模型上有如此的突破，團隊的發(fā)展，也是關(guān)鍵因素之一。

格靈深瞳可以說是國內(nèi)計算機視覺領(lǐng)域的早期探索者，從2013年起便始終專注于視覺技術(shù)的研發(fā)與落地。

從早期的安防、金融行業(yè)解決方案，到如今聚焦視覺大模型與多模態(tài)技術(shù)，其技術(shù)演進始終圍繞一個核心：讓AI真正解決產(chǎn)業(yè)痛點。

這次發(fā)布的Glint-MVT就是對這句話非常好的詮釋。

因為它并非單純追求學術(shù)指標，而是通過提升下游任務(wù)（如分類、檢測、分割）的能力，為實際應(yīng)用場景賦能。

由此可見，即便進入大模型時代，格靈深瞳依舊沒有盲目追逐參數(shù)規(guī)模和噱頭，而是堅持“從業(yè)務(wù)需求中來到產(chǎn)品落地中去”的研發(fā)邏輯。

與此同時，格靈深瞳還是一家主動擁抱開源，但拒絕跟風的企業(yè)。

它的開放策略目標非常明確，正如CEO吳一洲強調(diào)“回到初心，能貢獻什么就貢獻什么”，通過充分的開放和分享，期待能激發(fā)更多社區(qū)伙伴的創(chuàng)新，從而形成創(chuàng)新互哺的良性循環(huán)，伙伴越聚越多，技術(shù)越玩越強。她在公司里也鼓勵團隊?“勇敢點”、“浪一點”。 她認為當下技術(shù)迭代快，但也更加進入了深水區(qū)，要更加擁有直面技術(shù)和應(yīng)用本質(zhì)的勇氣。

再如格靈深瞳算法研究院院長馮子勇，在2016年博士畢業(yè)之后，便加入格靈深瞳。

他帶領(lǐng)的格靈深瞳靈感實驗室，聚焦于視覺及相關(guān)模態(tài)特征表達與應(yīng)用。主要研究方向有視覺基礎(chǔ)大模型、多模態(tài)大模型、圖文多模態(tài)表征、大規(guī)模分布式訓練等。

馮子勇主導(dǎo)了多項關(guān)鍵算法的技術(shù)攻關(guān)，特別在“人臉識別與聚類算法技術(shù)”以及“視頻解析算法技術(shù)”等專業(yè)領(lǐng)域取得了顯著成就。

例如在銀行場景中，實現(xiàn)了倒地檢測在上萬路攝像頭下實際使用，獲得客戶高度認可。相關(guān)技術(shù)在國際賽事中表現(xiàn)優(yōu)異，還斬獲了OpenFAD2023人體動作識別競賽和首屆SkatingVerse花樣滑冰動作識別競賽雙料冠軍。

他所帶來的年輕化思維與豐富實踐經(jīng)驗顯得格外寶貴。

而在格靈深瞳的身上，我們或許還能看到大模型時代發(fā)展的一個縮影——

既需要頭部玩家，也離不開格靈深瞳這樣的精耕者。

格靈深瞳堅持從場景中提煉技術(shù)、以開源回報生態(tài)的路徑，或許正是AI落地“最后一公里”的關(guān)鍵解法。

AI技術(shù)已從通用探索進入垂直深耕階段，不同企業(yè)需要像“打仗”一樣各司其職，找準自己的軍種角色，比盲目擴張更重要；格靈深瞳更像是“特種兵”，通過視覺基礎(chǔ)模型為下游任務(wù)提供訓練支持。

這種務(wù)實與開放并存的哲學，或許正是格靈深瞳在視覺長跑中持續(xù)領(lǐng)跑的密碼。

Glint-MVT體驗地址：
https://glint-mvt.com