邊策 明敏 發(fā)自 凹非寺
量子位 報道 | 公眾號 QbitAI

最近的氣溫真是忽高忽高、讓人琢磨不定，但所幸天氣預(yù)報都還很準確，沒有和大家開玩笑。

不過，你知道這些準確的氣溫預(yù)測，是通過解方程算出來的嗎？

不僅如此，靠解方程還能模擬飛機空氣動力、疾病傳播模型！

是什么方程這么厲害？我學(xué)過嗎？

它就是偏微分方程（PDE），在我們的世界中無處不在。

但在實際應(yīng)用中，用計算機求解偏微分方程的難度很大，往往為了求出一個解而需要大型機器運行一個月。

并且，隨著科研中遇到問題的復(fù)雜度、運算量逐漸增加，也就更需要高效快速的求解方法。

最近，來自加州理工大學(xué)的一個研究團隊就用AI來解決這一難題，他們開發(fā)了一種新的神經(jīng)網(wǎng)絡(luò)，比傳統(tǒng)的PDE求解快幾個數(shù)量級，并且在理論上適用于任何偏微分方程。

甚至連流體力學(xué)里的“老大難”：N-S方程也不在話下！

對于簡單方程的求解，這種方法只需幾秒就能解出答案，而傳統(tǒng)方法需要18個小時！

訓(xùn)練神經(jīng)網(wǎng)絡(luò)=求解PDE

神經(jīng)網(wǎng)絡(luò)的本質(zhì)是逼近一個函數(shù)，函數(shù)是從一個變量到另一個變量的映射。

比如圖像識別網(wǎng)絡(luò)，就是把輸入的圖像數(shù)據(jù)，與最后的分類結(jié)果之間建立映射關(guān)系。

訓(xùn)練神經(jīng)網(wǎng)絡(luò)其實就是盡可能逼近這個函數(shù)，這和數(shù)值求解PDE本質(zhì)是一樣的。

2016年，人們開始研究圖像識別神經(jīng)網(wǎng)絡(luò)如何用于求解PDE，用成對的生成數(shù)據(jù)來訓(xùn)練神經(jīng)網(wǎng)絡(luò)，比如計算平面上不同基本形狀（如三角形、四邊形）物體周圍的空氣流速場。

訓(xùn)練數(shù)據(jù)集的輸入是物體幾何形狀和的初始條件信息，輸出是相應(yīng)的二維幾何物體。訓(xùn)練過程等于建立輸入和輸出之間的相關(guān)性。

訓(xùn)練后的神經(jīng)網(wǎng)絡(luò)，可以用于預(yù)測其他情況（比如汽車形狀）的流速場，它只和與傳統(tǒng)數(shù)值求解器的結(jié)果略有不同，但求解速度更快。

然而，對于專門研究PDE的人來說，這種方法還遠遠不夠。

因為上面的方法精度一般達不到要求，如果想要實現(xiàn)更高的精度，所需的數(shù)據(jù)量和網(wǎng)絡(luò)大小將爆炸式增長，失去了原本快速求解的意義。

從函數(shù)到算子

所以，人們想到了一種新方法，求助于“算子”。算子是一種從函數(shù)到函數(shù)的映射。

函數(shù)：數(shù)→數(shù)
算子：函數(shù)→函數(shù)

比如，正弦算子(sin)把線性函數(shù)x變成三角函數(shù)sinx，微分（求導(dǎo)）算子(d/dx)把三次函數(shù)x3變成二次函數(shù)3x2。

2019年，來自布朗大學(xué)和中科院的學(xué)者開發(fā)了一種“深度算子網(wǎng)絡(luò)”（DeepONet），就是用算子的方法求解PDE。

DeepONet的特殊之處在于其分叉架構(gòu)，它以兩個并行網(wǎng)絡(luò)處理數(shù)據(jù)，一個是“分支”和一個“主干”。

“分支網(wǎng)絡(luò)”學(xué)習(xí)生成算子，也就是對輸入端函數(shù)進行近似，“主干網(wǎng)絡(luò)”負責(zé)對輸出端函數(shù)進行同樣操作。然后，DeepONet結(jié)合兩個網(wǎng)絡(luò)的輸出，得到PDE的解。

雖然DeepONet相比PDE數(shù)值求解器速度驚人，但是它需要在訓(xùn)練期間進行密集計算。當(dāng)必須使用大量數(shù)據(jù)訓(xùn)練使算子越來越精確時，可能會存在問題。

那么神經(jīng)算子能加速PDE求解嗎？

傅里葉變換

后來，加州理工大學(xué)與普渡大學(xué)的團隊，開發(fā)了另一種新的方法——“傅里葉神經(jīng)算子”（FNO）。

FNO比DeepONet在計算上要更加簡單，因為DeepONet還要淺層網(wǎng)絡(luò)去近似模擬算子，而FNO有現(xiàn)成的方法可用，就是傅里葉變換。

有些音樂軟件顯示的頻譜圖，其實就是一種傅里葉變換，它把連續(xù)變化聲音信號轉(zhuǎn)換到頻率空間中。

經(jīng)過傅里葉變換，原來函數(shù)之間的卷積，在頻率空間中變成了更簡單的乘積。

FNO的核心是傅里葉層。

傅里葉層會在訓(xùn)練數(shù)據(jù)推送到神經(jīng)網(wǎng)絡(luò)的單層之前，對其進行傅里葉變換，然后用一個線性變換R過濾掉其中的高頻部分，再通過傅里葉逆變換的得到原空間的函數(shù)。

FNO可以顯著提高求解PDE的速度。在一個求解NS方程的例子中，需要3萬次模擬，F(xiàn)NO每次模擬的不到一秒，總耗時2.5秒，而在這種情況下，傳統(tǒng)的求解器需要18個小時。

團隊介紹

該研究的第一作者是Zongyi Li，是加州理工計算機和數(shù)學(xué)系的一名博士二年級學(xué)生。研究方向為機器學(xué)習(xí)、理論計算機科學(xué)和應(yīng)用數(shù)學(xué)。

他的導(dǎo)師是英偉達著名女科學(xué)家Anima Anandkumar。

作為AI界的風(fēng)云女性，Anima不僅在研究成果上戰(zhàn)績斐然，在學(xué)術(shù)圈也是懟天懟地。

此前，她曾在博客公開喊話，強烈反對發(fā)論文不給代碼行為，呼吁學(xué)術(shù)會議強制要求投稿同時必須公開代碼，以對造假論文進行追責(zé)、利于行業(yè)公平競爭。

并且為了對抗AI學(xué)術(shù)界對女性的歧視和調(diào)侃，她曾在Twitter上大戰(zhàn)LeCun。以一己之力讓頂級學(xué)術(shù)會議NIPS改了名字，避免了女性參會者的尷尬。

Anima希望學(xué)術(shù)界更關(guān)注女性的學(xué)術(shù)成就，而不是長相。當(dāng)有人在她的講座視頻下夸她漂亮?xí)r，她的做法是——刪評。