年輕人的第一個(gè)多模態(tài)大模型，1080Ti輕松運(yùn)行，已開(kāi)源在線可玩
還能做通用目標(biāo)檢測(cè)
Vary-toy團(tuán)隊(duì) 投稿
量子位 | 公眾號(hào) QbitAI
一款名為Vary-toy的“年輕人的第一個(gè)多模態(tài)大模型”來(lái)了！
模型大小不到2B，消費(fèi)級(jí)顯卡可訓(xùn)練，GTX1080ti、8G的老顯卡輕松運(yùn)行。
想將一份文檔圖片轉(zhuǎn)換成Markdown格式？以往需要文本識(shí)別、布局檢測(cè)和排序、公式表格處理、文本清洗等多個(gè)步驟。
現(xiàn)在只需一句話命令：
無(wú)論中英文，圖片中的大段文字都能分分鐘提取出來(lái)：
對(duì)一張圖做對(duì)象檢測(cè)，還是能給出具體坐標(biāo)的那種：
這項(xiàng)研究由來(lái)自曠視、國(guó)科大、華中大的研究人員共同提出。
據(jù)介紹，Vary-toy雖小，但卻幾乎涵蓋了目前LVLM（大型視覺(jué)語(yǔ)言模型）主流研究中的所有能力：文檔OCR識(shí)別（Document OCR）、視覺(jué)定位（Visual Grounding）、圖像描述（Image Caption）、視覺(jué)問(wèn)答（VQA）。
現(xiàn)在，Vary-toy代碼和模型均已開(kāi)源，并有在線demo可試玩。
網(wǎng)友一邊表示感興趣，一邊關(guān)注點(diǎn)在于舊·GTX1080，心情belike：
“縮小版”Vary
其實(shí)，早在去年12月Vary團(tuán)隊(duì)就發(fā)布了Vary的首項(xiàng)研究成果“Vary: Scaling up the Vision Vocabulary for Large Vision-Language Models”。
研究人員指出CLIP視覺(jué)詞表在密集感知能力上的不足，并用一種簡(jiǎn)單有效的擴(kuò)充詞表方案給出了一種全新的OCR范式。
Vary發(fā)布后得到廣泛關(guān)注，目前Github 1.2k+ star，但也有不少人因?yàn)橘Y源受限運(yùn)行不了。
考慮到目前開(kāi)源得很好且性能出色的“小”VLM比較少，于是該團(tuán)隊(duì)又新發(fā)布了號(hào)稱是“年輕人的第一個(gè)多模大模型”的Vary-toy。
與Vary相比，Vary-toy除了小之外，也訓(xùn)練了更強(qiáng)的視覺(jué)詞表，新的詞表不再將模型局限于文檔級(jí)OCR，而是給出了一個(gè)更加通用和全面的視覺(jué)詞表，其不僅能做文檔級(jí)OCR，還能做通用視覺(jué)目標(biāo)檢測(cè)。
那這究竟是如何做到的？
Vary-toy的模型結(jié)構(gòu)和訓(xùn)練流程如下圖所示，總的來(lái)說(shuō)，訓(xùn)練共分兩個(gè)階段。
首先在第一階段，使用Vary-tiny+結(jié)構(gòu)，預(yù)訓(xùn)練出一個(gè)相比原版Vary更好的視覺(jué)詞表，新的視覺(jué)詞表解決了原Vary只用它做文檔級(jí)OCR的網(wǎng)絡(luò)容量浪費(fèi)問(wèn)題、以及沒(méi)有充分利用到SAM預(yù)訓(xùn)練優(yōu)勢(shì)的問(wèn)題。
然后在第二階段中，將第一階段中訓(xùn)好的視覺(jué)詞表merge到最終結(jié)構(gòu)進(jìn)行multi-task training/SFT。
眾所周知，一個(gè)好的數(shù)據(jù)配比對(duì)于產(chǎn)生一個(gè)能力全面的VLM是至關(guān)重要的。
因此在預(yù)訓(xùn)練階段，Vary-toy使用了5種任務(wù)類型的數(shù)據(jù)構(gòu)建對(duì)話，數(shù)據(jù)配比和示例prompt如下圖所示：
而在SFT階段，只使用了LLaVA-80K數(shù)據(jù)。更多的技術(shù)細(xì)節(jié)，可以查看Vary-toy的技術(shù)報(bào)告。
實(shí)驗(yàn)測(cè)試結(jié)果
Vary-toy在DocVQA、ChartQA、RefCOCO、MMVet四個(gè)基準(zhǔn)測(cè)試的得分如下：
Vary-toy在DocVQA上可以達(dá)到 65.6%的ANLS，在ChartQA上達(dá)到59.1%的準(zhǔn)確率，RefCOCO88.1%的準(zhǔn)確率：
MMVet上可以達(dá)到29%準(zhǔn)確率，無(wú)論是從基準(zhǔn)測(cè)試評(píng)分上還是可視化效果上，不到2B的Vary-toy甚至能和一些流行的7B模型的性能一較高下。
項(xiàng)目鏈接：
[1]https://arxiv.org/abs/2401.12503
[2]https://varytoy.github.io/
- 多人有聲視頻一體化生成！用百度最新AI生成營(yíng)銷(xiāo)視頻，現(xiàn)在1.4元/5秒2025-08-22
- 馬斯克一覺(jué)醒來(lái)，Space X在京開(kāi)賣(mài)了2025-08-21
- 離譜！現(xiàn)在的Agent都卷成100個(gè)成團(tuán)了？3分鐘并行干完5個(gè)復(fù)雜任務(wù)，還能隨時(shí)改需求2025-08-18
- 國(guó)家級(jí)AI創(chuàng)新應(yīng)用賽事殺瘋了！超200萬(wàn)元獎(jiǎng)金池+全場(chǎng)景賽道，沖線團(tuán)隊(duì)速來(lái)2025-08-15
相關(guān)閱讀
手機(jī)流暢運(yùn)行470億大模型：上交大發(fā)布LLM手機(jī)推理框架PowerInfer-2，提速29倍
蘋(píng)果和馬斯克不用吵了
3D生成競(jìng)技場(chǎng)來(lái)了！比拼360°環(huán)繞視頻，最強(qiáng)模型由你pick
還支持指定模型比較、單個(gè)模型交互
