爆火神經(jīng)網(wǎng)絡(luò)架構(gòu)KAN更新2.0！可專屬定制，輕松應(yīng)對經(jīng)典物理學(xué)研究
作者：和MLP不能互相取代
白交 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI
爆火神經(jīng)網(wǎng)絡(luò)架構(gòu)KAN，上新了！
KAN2.0。
此次與科學(xué)問題更深入地融合，可以輕松解出經(jīng)典物理學(xué)研究。
比如發(fā)現(xiàn)拉格朗日量（用來描述整個物理系統(tǒng)動力狀態(tài)的函數(shù)）
除此之外，研究者還可以量身定制屬于自己的KAN2.0，將專業(yè)知識作為輔助變量添加到輸入當(dāng)中去。
此前，KAN橫空出世，一夜引爆科技圈。它以200萬參數(shù)模型架構(gòu)，直接復(fù)現(xiàn)DeepMind用30萬參數(shù)的MLPs發(fā)現(xiàn)數(shù)學(xué)定理的研究。要知道，后者可是登上Nature封面的研究。
由于KAN性能太好，一度引來關(guān)于「能否替代掉Transformer的MLP層」的探討，大家直呼：Yes We KAN！
MIT博士生劉子鳴再次為論文一作。
業(yè)內(nèi)學(xué)者們，紛紛趕來祝賀。
KAN2.0將AI與科學(xué)統(tǒng)一起來
AI+科學(xué)的一大挑戰(zhàn)在于他們之間固有的不兼容性：當(dāng)前AI主要基于連接主義，科學(xué)則依賴于符號主義。
此次新框架KAN2.0就主打?qū)ANs同科學(xué)無縫協(xié)同，這種協(xié)同作用是雙向的：科學(xué)到 KAN（將科學(xué)知識融入 KAN），KAN到科學(xué)（從KAN中提取科學(xué)見解）。
更具體來說，KAN2.0對科學(xué)發(fā)現(xiàn)主要有三個方面的作用，從簡單粗略到逐漸精細(xì)復(fù)雜：
識別重要特征、揭示模塊結(jié)構(gòu)、發(fā)現(xiàn)符號公式。
在原始KAN基礎(chǔ)上主要引入了這三個新功能。
1、MultKAN：帶有乘法節(jié)點(diǎn)的 KAN。
2、kanpiler：將符號公式編譯成 KAN的編譯器。
3、樹轉(zhuǎn)化器，將 KAN2.0架構(gòu)（或任何神經(jīng)網(wǎng)絡(luò)）轉(zhuǎn)換為樹狀圖。
跟上一版本相比，KAN2.0的解釋性更通用，比如像化學(xué)、生物學(xué)等這種很難用符號方程表示的，模塊化結(jié)構(gòu)和關(guān)鍵特征能夠來描述。
比如，用戶可以將模塊化結(jié)構(gòu)構(gòu)建到KAN2.0中。
再通過KAN2.0同MLP神經(jīng)元交換，就可以直接看到模塊化結(jié)構(gòu)。
此外，團(tuán)隊探究了如何將先驗知識融入KAN2.0。
基于這些更新，團(tuán)隊展示了KAN2.0發(fā)現(xiàn)各種經(jīng)典物理定律的能力。
比如發(fā)現(xiàn)二維諧振子的守恒量。
利用MLP和KAN2.0重新發(fā)現(xiàn)史瓦西黑洞的隱藏對稱性。
還有像通過與KAN2.0交互，發(fā)現(xiàn)構(gòu)造定律。
接下來，團(tuán)隊有兩個方向：一是將該框架應(yīng)用于更大規(guī)模的問題；二是將其擴(kuò)展到物理學(xué)以外的其他科學(xué)學(xué)科。
MIT華人一作
此次研究來自MIT、加州理工學(xué)院、MIT CSAIL等機(jī)構(gòu)的五位研究者，共有三位華人。
相比于KAN初始版本，還有不少原班人馬，其中MIT劉子鳴依然為一作。
劉子鳴目前是MIT四年級博士生，Max Tegmark是他的導(dǎo)師，其研究興趣在于人工智能與物理學(xué)的交叉領(lǐng)域，具體像AI科學(xué)家、物理學(xué)啟發(fā)的深度學(xué)習(xí)、深度學(xué)習(xí)科學(xué)、機(jī)械可解釋性等。
由于KAN受到廣泛的關(guān)注，作為核心作者，他在GitHub頁面上特意注明，在設(shè)計KAN并編寫代碼的時候，考慮的是數(shù)學(xué)和物理示例（規(guī)模相當(dāng)?。。┮虼藳]有考慮到效率而可重用性方面的優(yōu)化。
對于專注機(jī)器學(xué)習(xí)的用戶，他坦言，KAN可能還不是個可以開箱即用的簡單插件（目前還不是）。
KAN和MLP不能互相取代，他們在某些情況下各有優(yōu)勢，在其他情況下也有局限性。
好了，感興趣的小伙伴，可戳下方鏈接了解更多~
論文鏈接：
https://arxiv.org/abs/2408.10205
參考鏈接：
[1]https://github.com/KindXiaoming/pykan?tab=readme-ov-file
[2]https://kindxiaoming.github.io/
[3]https://x.com/ZimingLiu11/status/1825731703723405757
- 英偉達(dá)最新芯片B30A曝光2025-08-20
- AI應(yīng)用如何落地政企？首先不要卷通用大模型2025-08-12
- 本科必學(xué)Dijkstra算法被超越！清華段然團(tuán)隊打破圖靈獎得主證明的普遍最優(yōu)性2025-08-09
- 智能體邁入L4 時代！納米AI多智能體蜂群，可創(chuàng)作最長10分鐘AI視頻2025-08-06
相關(guān)閱讀
3行代碼就能可視化Transformer的奧義 | 開源
顏水成團(tuán)隊開源VOLO：無需額外數(shù)據(jù)，首次在ImageNet上達(dá)到87.1%的精度
Transformer揚(yáng)眉吐氣：我們真的不比CNN差
