吉娃娃or松餅難題被解決！IDEA研究院新模型打通文本視覺(jué)Prompt
連黑客帝國(guó)的子彈都能數(shù)清楚
白交 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI
還記得黑客帝國(guó)經(jīng)典的子彈時(shí)間嗎？
IDEA研究院最新檢測(cè)模型T-Rex2，可以齊刷刷給全部識(shí)別出來(lái)~
而面對(duì)難倒一眾大模型「吉娃娃or松餅」的難題，它只需被投喂一張吉娃娃的照片，就能瞬間迎刃而解。
此前，也是同樣的團(tuán)隊(duì)，推出了基于視覺(jué)提示的檢測(cè)模型T-Rex。
如今，他們將視覺(jué)和文本提示融合，相互彌補(bǔ)各自的缺陷，實(shí)現(xiàn)了更強(qiáng)的目標(biāo)檢測(cè)能力。
并且與多目標(biāo)跟蹤模型結(jié)合后，各種視頻檢測(cè)任務(wù)也不在話下。
來(lái)看新研究到底說(shuō)了什么。
打通文本和視覺(jué)提示
在開(kāi)集目標(biāo)檢測(cè)領(lǐng)域，盡管文本提示受到一定的青睞，但也存在一定的局限性。
比如長(zhǎng)尾數(shù)據(jù)短缺。稀有或者全新的物體類別的數(shù)據(jù)稀缺可能會(huì)削弱其學(xué)習(xí)效率。還有描述上的局限性，對(duì)于一些難以用語(yǔ)言描繪的對(duì)象，因受限于無(wú)法精確描述，也會(huì)削弱效果。
而視覺(jué)提示提供了更直觀且直接的對(duì)象表示方法，但在捕捉常見(jiàn)對(duì)象的概念時(shí)效果就會(huì)很差。
T-Rex2通過(guò)對(duì)比學(xué)習(xí)在單個(gè)模型中整合兩種提示，因此接受多種格式的輸入，包括文本提示、視覺(jué)提示以及兩者的組合。
在不同場(chǎng)景中，它可以通過(guò)在兩種提示方式之間切換來(lái)處理。
因此，它大致有三種工作模式：
文本提示模式、交互式視覺(jué)提示模式、通用視覺(jué)提示模式。
以通用視覺(jué)提示模式為例，用戶可以通過(guò)向模型提供任意數(shù)量的示例圖片，來(lái)自定義特定對(duì)象的視覺(jué)嵌入，然后使用這個(gè)嵌入來(lái)檢測(cè)任意圖像中的對(duì)象。
也就是不需要用戶與模型直接互動(dòng)，就能完成檢測(cè)任務(wù)。
最終在在四個(gè)學(xué)術(shù)基準(zhǔn)測(cè)試集 COCO, LVIS, ODinW, 和Roboflow100 上取得了 Zero-Shot SOTA的性能。
開(kāi)箱即用諸多領(lǐng)域
無(wú)需重新訓(xùn)練或微調(diào)，T-Rex2即可檢測(cè)模型在訓(xùn)練階段從未見(jiàn)過(guò)的物體。
該模型不僅可應(yīng)用于包括計(jì)數(shù)在內(nèi)的所有檢測(cè)類任務(wù)，還為智能交互標(biāo)注領(lǐng)域提供新的解決方案。
除此之外，結(jié)合現(xiàn)有的多目標(biāo)跟蹤模型（ 如ByteTrack )，T-Rex2還可用于視頻檢測(cè)任務(wù)。
事實(shí)上，這種跨圖檢測(cè)能力，讓目標(biāo)檢測(cè)技術(shù)在生產(chǎn)生活中可以真正開(kāi)始廣泛應(yīng)用。
比如工業(yè)生產(chǎn)流水線器件檢測(cè)，交通航運(yùn)領(lǐng)域的船舶、飛機(jī)檢測(cè)，農(nóng)業(yè)領(lǐng)域的農(nóng)作物、果蔬檢測(cè)，生物醫(yī)學(xué)領(lǐng)域的細(xì)胞、組織檢測(cè)，物流領(lǐng)域的貨物檢測(cè)，環(huán)境領(lǐng)域的野生動(dòng)物監(jiān)測(cè)等。
現(xiàn)在，T-Rex2讓通用物體檢測(cè)又邁出了新的一步。
試玩鏈接：
https://deepdataspace.com/playground/ivp
T-Rex2 API：https://github.com/IDEA-Research/T-Rex
論文鏈接：
https://arxiv.org/abs/2403.14610
— 完 —
- 英偉達(dá)最新芯片B30A曝光2025-08-20
- AI應(yīng)用如何落地政企？首先不要卷通用大模型2025-08-12
- 本科必學(xué)Dijkstra算法被超越！清華段然團(tuán)隊(duì)打破圖靈獎(jiǎng)得主證明的普遍最優(yōu)性2025-08-09
- 智能體邁入L4 時(shí)代！納米AI多智能體蜂群，可創(chuàng)作最長(zhǎng)10分鐘AI視頻2025-08-06
相關(guān)閱讀
