百年微分方程難題被解決！神經(jīng)元相互作用方式有了解析解描述，作者：可以模擬大腦動(dòng)力學(xué)了 | MIT

蕭簫 2022-11-17 13:17:20 來(lái)源：量子位

Pine 蕭簫 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI

困擾數(shù)學(xué)家百年的微分方程難題，被MIT解決了！

這個(gè)微分方程可以用來(lái)模擬神經(jīng)元間通過(guò)突觸的相互作用方式，換言之就是大腦傳遞信息的過(guò)程?，F(xiàn)實(shí)生活中有諸多應(yīng)用場(chǎng)景，比如自動(dòng)駕駛、大腦和心臟的監(jiān)測(cè)等。

然而，以前求解這個(gè)微分方程的過(guò)程比較復(fù)雜，計(jì)算量還會(huì)隨著數(shù)據(jù)的增加而暴增——

模擬幾個(gè)神經(jīng)元之間的信息傳遞還好。但如果像人腦一樣，有幾百億個(gè)神經(jīng)元、幾百萬(wàn)億個(gè)突觸呢？

現(xiàn)在，研究人員終于找到了這個(gè)微分方程的近似解析解，一下子將計(jì)算速度提升了好幾倍。

要知道，論文第一作者表示，從1907年以來(lái)，就一直沒(méi)有人能找到這個(gè)微分方程的解析解。

牽一發(fā)而動(dòng)全身，論文第一作者還放話稱：

由數(shù)十億個(gè)神經(jīng)元和數(shù)萬(wàn)億個(gè)突觸組成的大腦動(dòng)力學(xué)，我們現(xiàn)在也可以模擬了！

還有網(wǎng)友表示：

這將會(huì)改善神經(jīng)網(wǎng)絡(luò)對(duì)大規(guī)模數(shù)據(jù)計(jì)算的適應(yīng)能力。點(diǎn)個(gè)贊！

相關(guān)論文已發(fā)表在最新一期的Nature MI上，立刻引發(fā)了不少關(guān)注：

到底是什么樣的一個(gè)數(shù)學(xué)難題，能夠讓網(wǎng)友產(chǎn)生這樣大的反應(yīng)，一起來(lái)看看~

解決了一個(gè)什么樣的難題？

這次MIT的突破，在于找到了兩個(gè)神經(jīng)元之間通過(guò)突觸相互作用微分方程的近似解析解。

突觸，即一個(gè)神經(jīng)元的沖動(dòng)傳到另一個(gè)神經(jīng)元或另一細(xì)胞間的相互接觸的結(jié)構(gòu)。兩個(gè)神經(jīng)元之間神經(jīng)沖動(dòng)，則是由突觸前末梢，傳遞給突觸后神經(jīng)元的。

要模擬神經(jīng)元間通過(guò)突觸相互作用的過(guò)程，就需要模擬傳導(dǎo)的動(dòng)作電位。

MIT研究人員先是用去年做出來(lái)的“液體”神經(jīng)網(wǎng)絡(luò)?（Liquid Time-constant Networks，簡(jiǎn)稱LTC）模擬了這一現(xiàn)象。

如下圖，x(t)就是研究希望求解的突觸后神經(jīng)元電位，但之前它需要通過(guò)直接求解微分方程來(lái)計(jì)算，也就是圖中左邊的一大堆方程：

BUT，他們很快發(fā)現(xiàn)，LTC神經(jīng)網(wǎng)絡(luò)模型雖然模擬得好，但常微分方程（ODE）計(jì)算還是不夠快，通常需要結(jié)合ODE求解器來(lái)搞定。

即通過(guò)左邊的一堆公式，雖然在給定時(shí)間t的情況下也能算出x(t)來(lái)，但它不僅算得慢，而且誤差還會(huì)隨著求解過(guò)程中的迭代計(jì)算一步步被放大。

但如果能求出x(t)的解析解，也就是求出等式右邊不包含x(t)這個(gè)變量的公式，那么計(jì)算效率就能得到成倍的提升。

然而，求解這個(gè)常微分方程dv/dt=?glv(t)+S(t)的方法，從1907年提出以來(lái)還沒(méi)有人求出過(guò)它的解析解。

在通過(guò)一番計(jì)算后，研究人員終于得出了這個(gè)微分方程的近似解析解，能很好地近似出x(t)的數(shù)值：

最關(guān)鍵的是解析解能“一步到位”地求出結(jié)果，研究人員表示這比正常求微分方程模型快上1~5倍。

依靠這個(gè)新的近似解析解，研究人員提出了一種名叫CfC?（closed-form continuous-depth networks，閉式連續(xù)深度神經(jīng)網(wǎng)絡(luò)）的模型，進(jìn)一步提升了計(jì)算效率、降低了微分方程求解帶來(lái)的近似誤差（approximation error）。

求解出來(lái)與原微分方程的相似度也極高：

所以CfC的提出，究竟解決了什么問(wèn)題？

作者：下一步建立大腦計(jì)算模型

提到CfC的作用，還得先說(shuō)回它的基礎(chǔ)，也就是MIT去年建立的“液體”神經(jīng)網(wǎng)絡(luò)（LTC）。

△圖源：MIT

當(dāng)時(shí)“液體”神經(jīng)網(wǎng)絡(luò)的提出，是用于簡(jiǎn)化如視頻處理、金融數(shù)據(jù)和醫(yī)療診斷這類與連續(xù)時(shí)間強(qiáng)相關(guān)的問(wèn)題計(jì)算。

這類問(wèn)題往往與時(shí)間的相關(guān)度很高（如股票、視頻等變量會(huì)不停地隨著時(shí)間產(chǎn)生變化），這也導(dǎo)致它們的變化情況難以預(yù)測(cè)，往往需要求解非常復(fù)雜的偏微分方程。

“液體”神經(jīng)網(wǎng)絡(luò)就是為了解決這一點(diǎn)出現(xiàn)的，確實(shí)也提升了這類場(chǎng)景的計(jì)算效率。

然而，建立“液體”神經(jīng)網(wǎng)絡(luò)的靈感雖然來(lái)自小物種的大腦，具有很強(qiáng)的靈活性和適應(yīng)能力，不過(guò)計(jì)算量仍然不算低——

一旦增加神經(jīng)元和突觸的數(shù)量，計(jì)算機(jī)可能就因?yàn)閿?shù)據(jù)計(jì)算量過(guò)大“撐不住”了。

這不，今年MIT就帶著CfC神經(jīng)網(wǎng)絡(luò)來(lái)了！

與“Liquid”神經(jīng)網(wǎng)絡(luò)相比，CfC可謂去粗取精，它既保留了“Liquid”網(wǎng)絡(luò)的靈活、因果、穩(wěn)定和可解釋性，同時(shí)數(shù)量級(jí)更快、可擴(kuò)展性更高。

換句話說(shuō)，就是CfC更快更強(qiáng)了，而這也意味著它能夠適用于更多任務(wù)。

論文中的測(cè)試結(jié)果顯示，CfC在一系列任務(wù)中表現(xiàn)都要優(yōu)于SOTA神經(jīng)網(wǎng)絡(luò)。

比如說(shuō)在一項(xiàng)醫(yī)學(xué)預(yù)測(cè)任務(wù)中，對(duì)8000名患者進(jìn)行抽樣調(diào)查，新模型的速度要比連續(xù)潛伏模型快220倍。

其中，CfC在從運(yùn)動(dòng)傳感器識(shí)別人類活動(dòng)、建立模擬步行機(jī)器人的物理動(dòng)力學(xué)模型以及基于事件的連續(xù)圖像處理方面具有相當(dāng)高的加速度和性能。

而這對(duì)應(yīng)到現(xiàn)實(shí)的實(shí)際應(yīng)用，就是無(wú)人駕駛、無(wú)人機(jī)導(dǎo)航或者各類預(yù)測(cè)任務(wù)。

值得一提的是，據(jù)MIT消息，此前也已有證據(jù)證明，CfC神經(jīng)網(wǎng)絡(luò)能夠在沒(méi)有額外學(xué)習(xí)的情況下將所學(xué)技能遷移到一個(gè)全新的環(huán)境中，這恰恰是人工智能研究最基本的挑戰(zhàn)之一。

（沒(méi)錯(cuò)，CfC也是不容小覷的）

這一步研究團(tuán)隊(duì)解決了神經(jīng)元之間如何相互作用的描述，那下一步準(zhǔn)備干啥？他們立了個(gè)flag：

希望通過(guò)測(cè)量數(shù)百萬(wàn)個(gè)神經(jīng)元連接，建立大腦動(dòng)力學(xué)模型。

論文的第一作者，同時(shí)也是MIT CSAIL研究所附屬機(jī)構(gòu)的Ramin Hasani也表示：

一旦我們對(duì)神經(jīng)元和突觸的聯(lián)系有了一個(gè)解析解描述，我們就可以用數(shù)十億個(gè)細(xì)胞建立大腦的計(jì)算模型了。

據(jù)神經(jīng)學(xué)家估計(jì)，人腦神經(jīng)元數(shù)量在1000億個(gè)左右，不知道團(tuán)隊(duì)是否會(huì)挑戰(zhàn)“模擬人類大腦”這一難題（手動(dòng)狗頭）。

目前CfC模型已經(jīng)開(kāi)源，想要拿它用來(lái)模擬一些問(wèn)題計(jì)算的小伙伴，可以去看看了~

CfC項(xiàng)目地址：
https://github.com/raminmh/CfC

論文地址：
https://www.nature.com/articles/s42256-022-00556-7