LeCun「超酷」新成果：用自監(jiān)督姿勢打開偏微分方程

十三 2023-07-14 15:30:28 來源：量子位

金磊 發(fā)自 凹非寺

量子位 | 公眾號 QbitAI

偏微分方程（PDE，Partial Differential Equation），這個在流體動力學、天體物理學等領(lǐng)域的?？?，現(xiàn)在有了新求解“姿勢”。

深度學習三巨頭之一的Yann LeCun，在他自稱“很酷”的最新研究中提出——

自監(jiān)督學習方法用在偏微分方程求解這事上，結(jié)果更快更好。

并且LeCun認為，這項工作有望在最終開發(fā)偏微分方程的通用基礎(chǔ)模型時能起到作用。

對此，網(wǎng)友們在發(fā)出“非常有前景”的聲音同時，也表示這項工作的開源推動了AI相關(guān)工作的發(fā)展。

用自監(jiān)督的方式打開偏微分方程

正如我們剛才提到的，這項研究的主角，即偏微分方程，在眾多科學領(lǐng)域中可以說是無處不在。

因為它對于準確預(yù)測流體動力學、天體物理學等系統(tǒng)的演變起到了至關(guān)重要的作用。

就連北大數(shù)學系“韋神”韋東奕的研究方向之一，就是流體力學中的數(shù)學問題，其中就包括偏微分方程中的Navier-Stokes方程。

在求解的偏微分方程的道路上，傳統(tǒng)的路數(shù)是采用數(shù)值方法來求解；但它的缺點也逐漸顯現(xiàn)出來，那便是計算量大，特別是在有高精度要求的情況下。

后來，隨著AI（尤其是深度學習）的發(fā)展，為求解偏微分方程開辟了一條又快又好的新路徑。

而這也成為了學術(shù)界越發(fā)關(guān)注的領(lǐng)域之一，例如華盛頓大學在2017年提出的PDE-FIND、谷歌AI在2018年提出的數(shù)據(jù)驅(qū)動求解偏微分方程的方法，以及布朗大學在2019年提出的PINN等等。

雖然進步是有目共睹，但Yann LeCun團隊在此基礎(chǔ)上提出了一個“靈魂一問”：

這些方法有個“通病”：給定方程的神經(jīng)網(wǎng)絡(luò)是在同一方程的模擬上訓練的，由高精度但相對較慢的數(shù)值求解器生成。

如果我們希望從異構(gòu)數(shù)據(jù)中學習（例如信息缺失的數(shù)據(jù)），或從對不同物理系統(tǒng)的實際觀測而非純粹模擬中收集的數(shù)據(jù)，該怎么辦？

為了解決這個問題，Yann LeCun團隊從最近成功的自監(jiān)督學習（SSL）中汲取靈感，將它作為一種工具，以此從大型、無標記的文本和圖像數(shù)據(jù)集中學習豐富表征。

這就相當于從“未標注”關(guān)鍵信息的大型偏微分方程數(shù)據(jù)集中學習表征，然后將這些表征用于解決數(shù)據(jù)量有限的下游任務(wù)。

若是以伯格斯方程（Burgers’ Equation）的運動黏度（kinematic viscosity）作為上述“未標注”關(guān)鍵信息，將運動黏度回歸作為下游任務(wù)，則如下圖所示：

（注：運動黏度即流體的動力粘度與同溫度下該流體密度ρ之比。）

△在傳統(tǒng)的圖像數(shù)據(jù)（上排）和本文提出的PDE（下排）環(huán)境下，自監(jiān)督學習pipeline概覽

從上圖中的pipeline中可以看出，在給定大量未標記數(shù)據(jù)的情況下，自監(jiān)督學習使用增強功能來訓練網(wǎng)絡(luò)f(θ)，以便從輸入圖像中生成有用的表征。

給定較小的標注數(shù)據(jù)集后，這些表征可用作監(jiān)督學習pipelin的輸入，執(zhí)行預(yù)測類標簽（圖像）或回歸運動粘度ν（伯格斯方程）等任務(wù)。

這個過程中的重點是，通過自監(jiān)督學習到的表征函數(shù)，在應(yīng)用于下游任務(wù)時不會發(fā)生改變。

具體而言，LeCun團隊提出了一種學習來自不同偏微分方程數(shù)據(jù)源表征的通用框架。

他們采用聯(lián)合嵌入自監(jiān)督學習范式，其中輸入數(shù)據(jù)通過保留基本信息的增強轉(zhuǎn)換為兩個獨立的“視圖”。

然后，增強的視圖通過可學習的編碼器傳遞到下游任務(wù)的表示中；自監(jiān)督學習損失函數(shù)由相似性損失和正則化損失組成，以確保不變表示并避免平凡解。

團隊還使用方差不變性協(xié)方差正則化（VICReg）作為他們的自監(jiān)督損失函數(shù)。

從實驗結(jié)果上來看，自監(jiān)督學習方法在解決偏微分方程方面，可以說是優(yōu)于監(jiān)督學習方法。

與監(jiān)督基線相比，經(jīng)過自監(jiān)督學習訓練的網(wǎng)絡(luò)將歸一化均方誤差（NMSE）減少了近三倍。

此外，當給予更大的無標簽數(shù)據(jù)集時，自監(jiān)督學習方法始終表現(xiàn)更好。

總體而言，實驗結(jié)果證明了自監(jiān)督表表征學習在偏微分方程中的有效性。

研究團隊

這項研究的團隊來自Meta AI、法國古斯塔夫·埃菲爾大學和MIT。

其中，第一作者除了LeCun之外，還包括Meta AI（法國）的Grégoire Mialon。

△左：Yann LeCun；右：Grégoire Mialon

但這并非LeCun第一次用深度學習方法優(yōu)化偏微分方程求解問題。

早在2021年3月，他便在推特上發(fā)布并開源了關(guān)于用深度學習符號求解積分和微分方程的研究。

若是對比傳統(tǒng)研究方法，LeCun在與之相關(guān)工作的特點可以總結(jié)如下：

• 深度學習方法：特別是神經(jīng)網(wǎng)絡(luò)，來解決與微分方程相關(guān)的問題。傳統(tǒng)方法通常依賴于解析或數(shù)值方法來求解微分方程。
• 數(shù)據(jù)驅(qū)動學習：強調(diào)使用數(shù)據(jù)驅(qū)動學習。他的方法不是僅僅依靠數(shù)學公式和假設(shè)，而是從大型數(shù)據(jù)集中學習，以捕獲數(shù)據(jù)中的模式和關(guān)系。
• 表征學習：通過從數(shù)據(jù)中學習通用表示，他的方法旨在捕獲方程的底層結(jié)構(gòu)和動力學。與依賴于顯式數(shù)學公式的傳統(tǒng)方法相比，這可以帶來更高效和有效的解決方案。
• 自監(jiān)督學習：這種方法可以幫助學習有意義的表示并發(fā)現(xiàn)數(shù)據(jù)中隱藏的模式，這有利于求解微分方程。
• 對稱性的整合：通過將對稱性納入模型，他的方法旨在提高學習表示的泛化和魯棒性。

若想更深入了解LeCun團隊的這項工作，可戳下方鏈接。

論文地址：
https://huggingface.co/papers/2307.05432

參考鏈接：
[1]https://twitter.com/ylecun/status/1679489959387090948
[2]https://twitter.com/ylecun/status/1376630942014578694?lang=en