識別細胞也能用大模型了！清華系團隊出品，已入選ICML 2024 | 開源

水木分子 投稿

量子位 | 公眾號 QbitAI

大模型帶來的生命科學(xué)領(lǐng)域突破，剛剛再傳新進展。

來自清華系，使用大模型實現(xiàn)了單細胞身份識別，同時模型LangCell也正式對外開源。

它不僅可以準(zhǔn)確識別細胞身份，還具有很強的零樣本分析能力，論文已被ICML 2024錄?。

LangCell的數(shù)據(jù)集中包含約2750萬條數(shù)據(jù)，覆蓋了細胞類型、發(fā)育階段、組織器官、疾病等8個維度的信息，稱得上是“細胞的百科全書”。

實際測試中，LangCell也在多個細胞識別理解任務(wù)上超越了前SOTA，在研究人員專門設(shè)計的新任務(wù)上也表現(xiàn)突出。

而且，即使在不使用文本信息的情況下，單獨用其包含的細胞編碼器模塊，也能在各個任務(wù)上實現(xiàn)最優(yōu)表現(xiàn)。

出品團隊：清華系創(chuàng)業(yè)公司??分?與清華?學(xué)AIR聶再清教授團隊。

大模型，細胞識別的“新武器”

細胞，是探索?命奧秘的起點，細胞?份的識別，是?物科學(xué)領(lǐng)域的??熱點。

這不僅關(guān)乎細胞的“戶?調(diào)查”，還關(guān)系到它們在組織中的“社交關(guān)系”，以及它們對“?物信號”和“環(huán)境變化”的敏感反應(yīng)，?了解這些信息的重要途徑，就是分析單細胞測序數(shù)據(jù)。

但單細胞測序數(shù)據(jù)分析，就像是?場科學(xué)界的“尋寶游戲”，可能需要?個??到???不等的跨學(xué)科的團隊，用?周到?個?，甚?更?時間來完成。

現(xiàn)在，LangCell模型成為了細胞?份識別的“新武器”。

LangCell是?個結(jié)合單細胞RNA測序數(shù)據(jù)與?然語?處理進?預(yù)訓(xùn)練的單細胞表征模型，不僅提?了識別的準(zhǔn)確性，還減少了對?量標(biāo)記數(shù)據(jù)的依賴。

傳統(tǒng)的單細胞RNA測序數(shù)據(jù)分析，就像是在沒有地圖的情況下尋找寶藏，雖然能找到?些線索，但總有些?不從?。

?LangCell模型，通過構(gòu)建單細胞數(shù)據(jù)和?然語?的統(tǒng)?表?，就像是給了模型?張“藏寶圖”，讓它能夠更直接地找到與細胞?份相關(guān)的信息。

具體來說，LangCell主要由細胞編碼器（Cell Encoder，CE）和文本編碼器兩部分組成。

其中細胞編碼器使用預(yù)訓(xùn)練的Geneformer初始化。將排序后的基因表達序列輸入轉(zhuǎn)化為嵌入向量序列，在序列開始處添加[CLS]標(biāo)記，其嵌入向量經(jīng)過線性變換作為整個細胞的表征向量。

文本編碼器又有單模態(tài)和多模態(tài)兩種編碼模式。

單模態(tài)時相當(dāng)于一個BERT模型,用于將文本轉(zhuǎn)換為嵌入向量；

多模態(tài)時在self-attention后添加cross-attention模塊，融合細胞嵌入向量計算聯(lián)合表征，并通過線性層預(yù)測細胞-文本匹配概率。

為訓(xùn)練LangCell，研究?員還構(gòu)建了?個名為scLibrary的數(shù)據(jù)集，它包含了2750萬條scRNA-seq數(shù)據(jù)及從OBO Foundry中獲取的細胞?份的多視??本描述，就像是細胞研究的“百科全書”。

這個數(shù)據(jù)集不僅包含了?量的原始數(shù)據(jù)，還包含了多視?的細胞?份?本描述，為模型提供了豐富的學(xué)習(xí)材料。

此外在零樣本場景中，只需未知類型細胞的scRNA-seq數(shù)據(jù)輸入到CE中，得到細胞嵌入向量表征，然后與候選類型的文本嵌入向量進行相似度計算，分數(shù)最高的類型即被預(yù)測為該未知細胞的類型。

結(jié)果，LangCell模型在零樣本細胞?份理解場景中表現(xiàn)出?，即使沒有進?微調(diào)，也能直接對新的細胞類型進?注釋。

在PBMC數(shù)據(jù)集上，零樣本的LangCell分類準(zhǔn)確率就已達到86.5%，F(xiàn)1評分更是超過了前SOTA模型的9-shot表現(xiàn)。

在更具挑戰(zhàn)的跨數(shù)據(jù)集的細胞-文本檢索任務(wù)中，LangCell的零樣本召回率R@1、R@5和R@10結(jié)果都超過了用30%標(biāo)注數(shù)據(jù)訓(xùn)練的BioTranslator模型。

此外，研究者還專門構(gòu)建了“非小細胞肺癌亞型分類”和“細胞通路識別”兩個具有重要生物學(xué)意義的新基準(zhǔn)測試任務(wù)。

結(jié)果在非小細胞肺癌亞型分類任務(wù)中，LangCell的零樣本分類準(zhǔn)確率和F1分數(shù)分別達到93.5%和93.2%，比10-shot的Geneformer高出約20%。

而對于細胞批次整合任務(wù)，在PBMC10K和Perirhinal Cortex兩個數(shù)據(jù)集上，LangCell的Avgbio、ASWbatch和Sfinal三個指標(biāo)均達到了最優(yōu)。

不僅LangCell的表現(xiàn)優(yōu)異，即使在不使用文本信息的情況下，單獨的CE模塊也能在各個任務(wù)上實現(xiàn)最優(yōu)表現(xiàn)。

在多個細胞類型注釋任務(wù)的數(shù)據(jù)集上，CE模塊的成績都超過了前SOTA，在細胞通路識別上的表現(xiàn)也十分優(yōu)異。

作者介紹，LangCell的這些能力，在新疾病或細胞亞型的研究中尤為重要，可以減少對?量標(biāo)記數(shù)據(jù)的依賴，加速疾病機理的發(fā)現(xiàn)。

團隊簡介

??分?由清華?學(xué)智能產(chǎn)業(yè)研究院（AIR）孵化，重點研究方向是?物醫(yī)藥?業(yè)基礎(chǔ)?模型及新?代對話式?物醫(yī)藥研發(fā)助?。

水木分子和清華大學(xué)還有兩項與北大和南大共同研發(fā)的成果一同入選了ICML 2024，分別在小分子3D表示學(xué)習(xí)和大分子蛋白質(zhì)表示學(xué)習(xí)方面取得進展。

GitHub：
https://github.com/PharMolix/OpenBioMed

論文地址
https://arxiv.org/abs/2405.06708