用AIGC搞藥物發(fā)現(xiàn)，大分子那種，來自Bengio核心團隊教授唐建新成果

衡宇 2023-07-01 13:24:38 來源：量子位

衡宇 發(fā)自 凹非寺

量子位 | 公眾號 QbitAI

又一名AI大牛，為AI制藥領(lǐng)域帶來了新進展——

AlphaFold2僅僅是蛋白質(zhì)結(jié)構(gòu)建模邁出的第一步，現(xiàn)在可以基于結(jié)構(gòu)進行蛋白質(zhì)設(shè)計了！

最近在智源大會AI+生命科學(xué)論壇上，來自Mila實驗室的教授唐建介紹了團隊的最新成果，一同受邀參會的還有諾貝爾化學(xué)獎得主Arieh Warshel等知名學(xué)者。

相關(guān)論文《Protein Representation Learning by Geometric Structure Pretraining》已經(jīng)被頂會ICLR’23接收，還在GitHub上開源。

研究團隊由深度學(xué)習(xí)三巨頭之一Yoshua Bengio的Mila實驗室、蒙特利爾大學(xué)、劍橋大學(xué)、IBM Research等機構(gòu)組成。

在MILA這個學(xué)術(shù)界最大AI研究中心之一里，唐建任終身教授，同時也是該實驗室創(chuàng)辦以來唯一的華人教授。

其研究方向主要包括幾何深度學(xué)習(xí)、深度生成模型、知識圖譜以及這些方法在藥物發(fā)現(xiàn)中的應(yīng)用。

AI 2.0浪潮下，唐建想做的事，是加速AI參與藥物設(shè)計逐漸走向從drug discovery（發(fā)現(xiàn)自然界存在的drug）到drug design（直接通過AI設(shè)計drug分子）的演變。

于是，延續(xù)之前的發(fā)展路線，所創(chuàng)AI驅(qū)動型生物制藥公司百奧幾何，近期將重點落到構(gòu)建尋找新分子結(jié)構(gòu)的生成式模型上。

蛋白質(zhì)大分子的基礎(chǔ)模型，搞它！

唐建團隊的目標(biāo)，是利用生成式AI，向藥物設(shè)計更進一步。

大分子藥物（蛋白質(zhì)、抗體）在生物醫(yī)藥領(lǐng)域扮演著越來越重要的作用，有著廣泛的應(yīng)用前景。

蛋白質(zhì)的功能有三種不同的表示：一級序列，二級結(jié)構(gòu)，三級空間結(jié)構(gòu)。

大多數(shù)已有的蛋白質(zhì)建模的方法是基于序列的方法。蛋白質(zhì)的序列決定其3D結(jié)構(gòu)，而結(jié)構(gòu)決定功能。

因此，想要更好地理解蛋白質(zhì)的功能，從基于結(jié)構(gòu)的角度出發(fā)，是一條更好的技術(shù)路徑。

But！AlphaFold2只是在基于蛋白質(zhì)結(jié)構(gòu)的建模方向上走出了第一步。

唐建團隊做的事，是基于AIGC，進一步推進基于結(jié)構(gòu)的大分子藥物設(shè)計。

首先基于蛋白質(zhì)3D結(jié)構(gòu)的表征學(xué)習(xí)，得到預(yù)訓(xùn)練模型，在此基礎(chǔ)上就能做更精準(zhǔn)的功能預(yù)測。

也就是前面介紹到的發(fā)表在ICLR’23的論文。

團隊首先提出GearNet和GearNet-edge，它們依賴稀疏邊緣消息（sparse edge message）的傳遞，來增強蛋白質(zhì)圖中的序列和結(jié)構(gòu)信息的捕獲。

在功能預(yù)測和折疊分類任務(wù)上，這個方法和最先進的基于序列預(yù)測蛋白質(zhì)表征的方法相當(dāng)（或優(yōu)于），而且使用的預(yù)訓(xùn)練數(shù)據(jù)更少。

第二步是更精準(zhǔn)的結(jié)構(gòu)預(yù)測。AlphaFold2主要是對主鏈進行了預(yù)測，對側(cè)鏈的預(yù)測不是很準(zhǔn)確。

團隊提出扭轉(zhuǎn)擴散模型DiffPack，通過在扭轉(zhuǎn)空間上擴散和去噪，來學(xué)習(xí)側(cè)鏈扭轉(zhuǎn)角的聯(lián)合分布。

側(cè)鏈?zhǔn)堑鞍踪|(zhì)結(jié)構(gòu)的構(gòu)成部分之一，它的差異會帶來蛋白質(zhì)結(jié)構(gòu)和功能的差異。

搞清楚側(cè)鏈結(jié)構(gòu)，能夠更精準(zhǔn)地幫助藥物設(shè)計流程更快更準(zhǔn)地抓住藥物和受體該在什么點位結(jié)合。

DiffPack包含了一個自回歸擴散過程，對準(zhǔn)確度和速度的限制有所緩解。

實驗結(jié)果顯示，新方法在CASP13和CASP14上的角度和精度，分別提高了11.9%和13.5%，雙雙取得SOTA，且模型參數(shù)卻能減少60倍。

接下來，基于精準(zhǔn)結(jié)構(gòu)預(yù)測結(jié)果，就能更好完成蛋白質(zhì)設(shè)計。

這部分用到了擴散模型。已有的工作如華盛頓知名教授David Baker組的工作RFDiffusion采用的是兩階段算法，首先生成結(jié)構(gòu)，然后根據(jù)結(jié)構(gòu)設(shè)計蛋白質(zhì)序列。

唐建團隊提出了一個新算法，能夠同時對結(jié)構(gòu)和序列進行設(shè)計。

也就是說，只需要利用同一個算法，就可以對大分子蛋白質(zhì)的氨基酸序列和三維結(jié)構(gòu)進行建模和設(shè)計，并展示二者之間的相互關(guān)系，從而生成具有特定功能的蛋白質(zhì)。

迄今為止，團隊已經(jīng)實現(xiàn)了抗體CDR Loop結(jié)構(gòu)和序列的生成，還設(shè)計了具有指定個數(shù)的α螺旋跨膜蛋白。

其實唐建團隊這段征程里的主角，即蛋白質(zhì)3D結(jié)構(gòu)大模型，無論是模型參數(shù)和訓(xùn)練數(shù)據(jù)量都遠(yuǎn)不如最熱門的ChatGPT。

但因其用于垂直領(lǐng)域，還是生物制藥領(lǐng)域——人類的語言詞匯量多大幾千萬，而蛋白質(zhì)的詞匯表只有20個——不那么龐大的參數(shù)和訓(xùn)練量已經(jīng)能夠滿足實際需求，達(dá)到比較好的生成效果。

而對訓(xùn)練數(shù)據(jù)細(xì)究來處，有三個源頭：生物制藥領(lǐng)域公開數(shù)據(jù)、AlphaFold2等預(yù)測出的大分子結(jié)構(gòu)、實驗室的自有數(shù)據(jù)。

來自最后兩個實驗室的訓(xùn)練數(shù)據(jù)，被唐建團隊視為壁壘之一。

Bengio所領(lǐng)導(dǎo)的實驗室核心團隊唯一華人教授

2014年，唐建博士畢業(yè)于北京大學(xué)信息科學(xué)技術(shù)學(xué)院，其研究方向主要包括幾何深度學(xué)習(xí)、深度生成模型等。

而后，唐建遠(yuǎn)赴美國，在CMU以及密歇根大學(xué)進行博士后研究。

2013年，恰逢深度學(xué)習(xí)興起，一直專注傳統(tǒng)機器學(xué)習(xí)領(lǐng)域的他在關(guān)注到ImageNet、Word2Vec等在深度學(xué)習(xí)領(lǐng)域取得了非常不錯的效果。

“當(dāng)時我覺得自己的研究遇到了一定的瓶頸，所以也開始想轉(zhuǎn)向深度學(xué)習(xí)領(lǐng)域?！?/p>

唐建稱自己做了很多層面的思考，即便是要真的做出研究方向的調(diào)整，也想做自己能drive、相對獨立的研究，而不是隨大流進行“follow”。

最后，他尋找的的機會是用深度學(xué)習(xí)解決圖結(jié)構(gòu)數(shù)據(jù)，成為國內(nèi)利用DL研究圖結(jié)構(gòu)數(shù)據(jù)的最早的一批人。

他作為一作的理論工作《Understanding the Limiting Factors of Topic Modeling via Posterior Contraction》獲得ML頂級會議ICML 2014的最佳論文。

此后，他在圖表示學(xué)習(xí)領(lǐng)域的工作LINE（《Line: Large-scale information network embedding》）引用次數(shù)超5300次，并多次在計算機頂會ICML、NeurlPS擔(dān)任領(lǐng)域主席。

再后來，因為對“21世紀(jì)是生物的世紀(jì)”這句話的深信不疑，他的研究逐漸集中在AI和生物交叉領(lǐng)域，在分子性質(zhì)預(yù)測、結(jié)構(gòu)性質(zhì)預(yù)測上進行探索。

2017年12月起，唐建成為Mila實驗室（加拿大魁北克省人工智能研究中心）20余名教授中的一員，與深度學(xué)習(xí)三巨頭之一Yoshua Bengio一起，致力于推進AI for Science。

投身創(chuàng)業(yè)前，唐建團隊已經(jīng)發(fā)布了藥物研發(fā)機器學(xué)習(xí)平臺TorchDrug。

并在一年后，即2022年9月，聯(lián)合英偉達(dá)、英特爾、IBM等公司，發(fā)布了針對大分子藥物研發(fā)的開源機器學(xué)習(xí)平臺TorchProtein。

平臺開源了深度學(xué)習(xí)對大分子建模的一個通用框架、基于蛋白質(zhì)三維幾何結(jié)構(gòu)的第一個預(yù)訓(xùn)練大模型、以及專門用于評價深度學(xué)習(xí)對蛋白質(zhì)建模效果的標(biāo)準(zhǔn)數(shù)據(jù)集。

唐建坦然表示，在接下來的進展中，這些公司也將成為百奧幾何在大模型研究中的國際合作伙伴，“這是我們與同行相比的優(yōu)勢所在”。

TorchProtein發(fā)布的同時，公司宣布完成千萬美元天使輪融資。

現(xiàn)在，唐建白天醉心百奧幾何的技術(shù)研究，夜晚為遠(yuǎn)在大洋彼岸的學(xué)生們指導(dǎo)。但這樣的工作模式并沒有讓他疲于應(yīng)對或感到苦惱：

在兩者間取得平衡并不是難事，這反而讓公司團隊更具國際化優(yōu)勢。