AI一眼認(rèn)出95萬(wàn)物種，還能分辨雄雌老幼，2億生物圖像煉成“生命視覺(jué)”大模型
BioCLIP 2在大規(guī)模訓(xùn)練中獲取了物種之外的涌現(xiàn)的生物學(xué)理解
BIOCLIP 2團(tuán)隊(duì) 投稿
量子位 | 公眾號(hào) QbitAI
讓AI看懂95萬(wàn)物種，并自己悟出生態(tài)關(guān)系與個(gè)體差異!
俄亥俄州立大學(xué)研究團(tuán)隊(duì)在2億生物圖像數(shù)據(jù)上訓(xùn)練了BioCLIP 2模型。大規(guī)模的訓(xùn)練讓BioCLIP 2取得了目前最優(yōu)的物種識(shí)別性能。
而更令人驚喜的是，即使在訓(xùn)練過(guò)程中沒(méi)有相應(yīng)監(jiān)督信號(hào)，BioCLIP 2還在棲息地識(shí)別、植物疾病識(shí)別等5個(gè)非物種任務(wù)中給出了遠(yuǎn)超DINOv2的準(zhǔn)確率。
BioCLIP 2在大規(guī)模訓(xùn)練中獲取了物種之外的涌現(xiàn)的生物學(xué)理解：
- 物種間生態(tài)對(duì)齊：不同達(dá)爾文雀在特征空間中的排列和他們喙的大小一致；
- 物種內(nèi)差異分離：雌雄/幼成體的特征落在與物種區(qū)別正交的子空間，且隨訓(xùn)練規(guī)模增大而更容易區(qū)分。
以下是論文詳情：
把“生命之樹”搬進(jìn)顯存
大語(yǔ)言/視覺(jué)模型的“涌現(xiàn)”告訴我們：規(guī)模+結(jié)構(gòu)化監(jiān)督=意料之外的能力。
然而，生物多樣性研究領(lǐng)域一直沒(méi)有見(jiàn)到一個(gè)具有涌現(xiàn)屬性的視覺(jué)語(yǔ)義基座。BIOCLIP把CLIP的多模態(tài)對(duì)齊搬到物種上，利用〔界-門-綱-目-科-屬-種〕+學(xué)名+常用名的多粒度文本提供層級(jí)監(jiān)督。在此基礎(chǔ)之上，研究團(tuán)隊(duì)提出一個(gè)問(wèn)題：
如果把層級(jí)對(duì)比學(xué)習(xí)從1千萬(wàn)張圖像直接推到2億，會(huì)不會(huì)學(xué)出超越“物種標(biāo)簽”的生物學(xué)知識(shí)？
BIOCLIP 2正是這一實(shí)驗(yàn)的答案。
為了實(shí)現(xiàn)這一目標(biāo)，研究團(tuán)隊(duì)從GBIF、EOL、BIOSCAN-5M、FathomNet等 4 大平臺(tái)收集了2.14億生物圖像，提出了TreeOfLife-200M數(shù)據(jù)集。該數(shù)據(jù)集包含95.2萬(wàn)個(gè)不同的分類標(biāo)簽，涵蓋標(biāo)本、野外相機(jī)陷阱等豐富的圖像類別。這是迄今規(guī)模最大、最豐富的生命圖像庫(kù)。
在增大訓(xùn)練數(shù)據(jù)量的同時(shí)，研究團(tuán)隊(duì)也將模型從ViT-B擴(kuò)大至ViT-L。更大的參數(shù)量為新知識(shí)的涌現(xiàn)做好了準(zhǔn)備。
性能一覽
物種識(shí)別：零樣本物種識(shí)別平均準(zhǔn)確率55.6% →比第二好的SigLIP模型提升了16.1。少樣本物種識(shí)別遠(yuǎn)優(yōu)于常用的視覺(jué)模型DINOv2。
非物種視覺(jué)任務(wù)：除了物種分類之外，BioCLIP 2還在棲息地識(shí)別、生物屬性識(shí)別、新物種發(fā)現(xiàn)和植物疾病識(shí)別等多項(xiàng)任務(wù)上超越了SigLIP和DINOv2等常用視覺(jué)模型。
BioCLIP 2在訓(xùn)練階段只接觸了物種層級(jí)的監(jiān)督信號(hào)，但卻在各類非物種生物視覺(jué)任務(wù)上取得了優(yōu)異的性能。這讓研究團(tuán)隊(duì)深入調(diào)查了模型的特征空間，并發(fā)現(xiàn)了大規(guī)模訓(xùn)練帶來(lái)的涌現(xiàn)屬性。
兩大涌現(xiàn)屬性
1. 物種間生態(tài)對(duì)齊
具有相似生活習(xí)性和生態(tài)學(xué)意義的物種在特征空間中聚集在一起，如淡水vs咸水魚隨著訓(xùn)練規(guī)模擴(kuò)大分界逐漸清晰。
解釋：層級(jí)標(biāo)簽把生態(tài)近鄰拉向相似的文本原型，從而實(shí)現(xiàn)視覺(jué)特征和功能特征的對(duì)齊。
2. 物種內(nèi)差異分離
同一物種雌雄、幼成體之間的差異沒(méi)有被對(duì)比學(xué)習(xí)消除，而是沿著物種間差異正交的方向分布，且正交程度隨著訓(xùn)練規(guī)模增大同步增大。
解釋：當(dāng)對(duì)比學(xué)習(xí)將不同的物種分開(kāi)后，物種內(nèi)的差異可以在正交子空間內(nèi)分布而不會(huì)影響物種分類的損失優(yōu)化（論文中定理 5.1）。
1M→10M→50M→214M 四檔實(shí)驗(yàn)顯示：所有非物種視覺(jué)任務(wù)性能單調(diào)上升，且體內(nèi)差異的分離度 / 正交度同步提升，進(jìn)一步證實(shí)了擴(kuò)大訓(xùn)練規(guī)模給涌現(xiàn)屬性帶來(lái)的增益。
一句話總結(jié)：BIOCLIP 2 證明了“把正確的監(jiān)督做大”同樣能在專業(yè)領(lǐng)域復(fù)刻大模型的涌現(xiàn)屬性——不僅準(zhǔn)確，而且懂生物。
項(xiàng)目主頁(yè)：https://imageomics.github.io/bioclip-2/
Demo網(wǎng)址：https://huggingface.co/spaces/imageomics/bioclip-2-demo
論文網(wǎng)址：https://arxiv.org/abs/2505.23883
