邊策 明敏 發(fā)自 凹非寺
量子位 報道 | 公眾號 QbitAI

最近的氣溫真是忽高忽高、讓人琢磨不定，但所幸天氣預報都還很準確，沒有和大家開玩笑。

不過，你知道這些準確的氣溫預測，是通過解方程算出來的嗎？

不僅如此，靠解方程還能模擬飛機空氣動力、疾病傳播模型！

是什么方程這么厲害？我學過嗎？

它就是偏微分方程（PDE），在我們的世界中無處不在。

但在實際應用中，用計算機求解偏微分方程的難度很大，往往為了求出一個解而需要大型機器運行一個月。

并且，隨著科研中遇到問題的復雜度、運算量逐漸增加，也就更需要高效快速的求解方法。

最近，來自加州理工大學的一個研究團隊就用AI來解決這一難題，他們開發(fā)了一種新的神經網絡，比傳統(tǒng)的PDE求解快幾個數(shù)量級，并且在理論上適用于任何偏微分方程。

甚至連流體力學里的“老大難”：N-S方程也不在話下！

對于簡單方程的求解，這種方法只需幾秒就能解出答案，而傳統(tǒng)方法需要18個小時！

訓練神經網絡=求解PDE

神經網絡的本質是逼近一個函數(shù)，函數(shù)是從一個變量到另一個變量的映射。

比如圖像識別網絡，就是把輸入的圖像數(shù)據(jù)，與最后的分類結果之間建立映射關系。

訓練神經網絡其實就是盡可能逼近這個函數(shù)，這和數(shù)值求解PDE本質是一樣的。

2016年，人們開始研究圖像識別神經網絡如何用于求解PDE，用成對的生成數(shù)據(jù)來訓練神經網絡，比如計算平面上不同基本形狀（如三角形、四邊形）物體周圍的空氣流速場。

訓練數(shù)據(jù)集的輸入是物體幾何形狀和的初始條件信息，輸出是相應的二維幾何物體。訓練過程等于建立輸入和輸出之間的相關性。

訓練后的神經網絡，可以用于預測其他情況（比如汽車形狀）的流速場，它只和與傳統(tǒng)數(shù)值求解器的結果略有不同，但求解速度更快。

然而，對于專門研究PDE的人來說，這種方法還遠遠不夠。

因為上面的方法精度一般達不到要求，如果想要實現(xiàn)更高的精度，所需的數(shù)據(jù)量和網絡大小將爆炸式增長，失去了原本快速求解的意義。

從函數(shù)到算子

所以，人們想到了一種新方法，求助于“算子”。算子是一種從函數(shù)到函數(shù)的映射。

函數(shù)：數(shù)→數(shù)
算子：函數(shù)→函數(shù)

比如，正弦算子(sin)把線性函數(shù)x變成三角函數(shù)sinx，微分（求導）算子(d/dx)把三次函數(shù)x3變成二次函數(shù)3x2。

2019年，來自布朗大學和中科院的學者開發(fā)了一種“深度算子網絡”（DeepONet），就是用算子的方法求解PDE。

DeepONet的特殊之處在于其分叉架構，它以兩個并行網絡處理數(shù)據(jù)，一個是“分支”和一個“主干”。

“分支網絡”學習生成算子，也就是對輸入端函數(shù)進行近似，“主干網絡”負責對輸出端函數(shù)進行同樣操作。然后，DeepONet結合兩個網絡的輸出，得到PDE的解。

雖然DeepONet相比PDE數(shù)值求解器速度驚人，但是它需要在訓練期間進行密集計算。當必須使用大量數(shù)據(jù)訓練使算子越來越精確時，可能會存在問題。

那么神經算子能加速PDE求解嗎？

傅里葉變換

后來，加州理工大學與普渡大學的團隊，開發(fā)了另一種新的方法——“傅里葉神經算子”（FNO）。

FNO比DeepONet在計算上要更加簡單，因為DeepONet還要淺層網絡去近似模擬算子，而FNO有現(xiàn)成的方法可用，就是傅里葉變換。

有些音樂軟件顯示的頻譜圖，其實就是一種傅里葉變換，它把連續(xù)變化聲音信號轉換到頻率空間中。

經過傅里葉變換，原來函數(shù)之間的卷積，在頻率空間中變成了更簡單的乘積。

FNO的核心是傅里葉層。

傅里葉層會在訓練數(shù)據(jù)推送到神經網絡的單層之前，對其進行傅里葉變換，然后用一個線性變換R過濾掉其中的高頻部分，再通過傅里葉逆變換的得到原空間的函數(shù)。

FNO可以顯著提高求解PDE的速度。在一個求解NS方程的例子中，需要3萬次模擬，F(xiàn)NO每次模擬的不到一秒，總耗時2.5秒，而在這種情況下，傳統(tǒng)的求解器需要18個小時。

團隊介紹

該研究的第一作者是Zongyi Li，是加州理工計算機和數(shù)學系的一名博士二年級學生。研究方向為機器學習、理論計算機科學和應用數(shù)學。

他的導師是英偉達著名女科學家Anima Anandkumar。

作為AI界的風云女性，Anima不僅在研究成果上戰(zhàn)績斐然，在學術圈也是懟天懟地。

此前，她曾在博客公開喊話，強烈反對發(fā)論文不給代碼行為，呼吁學術會議強制要求投稿同時必須公開代碼，以對造假論文進行追責、利于行業(yè)公平競爭。

并且為了對抗AI學術界對女性的歧視和調侃，她曾在Twitter上大戰(zhàn)LeCun。以一己之力讓頂級學術會議NIPS改了名字，避免了女性參會者的尷尬。

Anima希望學術界更關注女性的學術成就，而不是長相。當有人在她的講座視頻下夸她漂亮時，她的做法是——刪評。