讓Sora和ChatGPT更可靠！只需這個知識價值定量評估新框架

西風 2024-03-14 23:01:43 來源：量子位

西風 發(fā)自 凹非寺

量子位 | 公眾號 QbitAI

為了讓AI更像科學家，他們將人類知識注入大模型…

正如教孩子解難題，你可以讓他們自己反復試錯找到正確方法，也可以教他們一些基礎規(guī)則和技巧提高解題效率。

類似地，將規(guī)則和技巧等人類知識融入到ChatGPT、Sora等基于數(shù)據(jù)驅(qū)動的AI模型訓練中，有可能提高模型的效率和推理能力。

△該圖由AI模型StableDiffusionXL生成

但關鍵問題是如何平衡數(shù)據(jù)和知識對模型的影響。

為了解決這一問題，美國國家工程院院士張東曉、寧波東方理工大學（暫名）助理教授陳云天領銜，提出了一個新框架——

它首次對知識的價值進行定量評估，從而增強深度學習模型的預測能力。

實驗證明，該框架可在物理、化學、工程學等不同領域有廣泛的實際應用，比如使用該方法優(yōu)化機器學習模型來解決多變量方程、預測薄層色譜實驗的結(jié)果優(yōu)化未來的實驗化學條件等。

目前，該研究已刊于Cell Press交叉學科領域期刊Nexus。

此外值得一提的是，雖然Sora發(fā)布后被認為可以理解“事物在現(xiàn)實世界中的存在方式”，但本文研究人員認為它不能準確模擬許多基本交互的物理特性：

如果沒有對世界的基本理解，模型本質(zhì)上就是動畫，而不是一個模擬。

新框架長啥樣？

在數(shù)據(jù)科學中，知識可被視為是數(shù)據(jù)在時間和空間維度中復雜關系的體現(xiàn)。深度學習領域，先驗知識對于彌補數(shù)據(jù)驅(qū)動模型的缺陷至關重要。

然而，要想將物理機理等知識融入大模型仍然存在挑戰(zhàn)——

如何評估先驗知識的價值？數(shù)據(jù)和知識之間的關系是什么？如何使先驗知識更好地發(fā)揮作用？

為解決這幾點問題，本文研究框架的核心提出了兩個新的概念：

• 規(guī)則重要性（Rule Importance, RI）
• 完全重要性（Full Importance, FI）

其中，規(guī)則重要性（RI）用于量化每條規(guī)則對模型預測精度的邊際貢獻，研究特定規(guī)則或組合如何影響模型的預測準確性。

本文提到的“規(guī)則”指的是在知情機器學習（informed machine learning）框架中，用于指導模型學習和預測的先驗知識。

計算過程如下圖：

對于模型中納入的第i條規(guī)則，定義它的邊際貢獻為：

為了進行比較，完全重要性（FI）表示在所有其他規(guī)則存在的情況下，某條規(guī)則的重要性，計算公式可以表示為：

值得一提的是，研究人員還建立了一種基于擾動的高效計算RI的方法，避免了每次都從頭訓練模型。

（更多細節(jié)，感興趣的家人們可以查看原論文）

數(shù)據(jù)和規(guī)則的基本原理

接下來，研究人員通過一系列系統(tǒng)實驗，揭示了數(shù)據(jù)和規(guī)則之間的一些內(nèi)在原理和關系。

具體來說，他們選擇了四個典型的物理過程作為實驗案例，涉及的規(guī)則包括控制偏微分方程（PDEs）、邊界條件（BCs）和初始條件（ICs）。

研究人員發(fā)現(xiàn)，在分布內(nèi)（in-distribution）預測場景中，隨著訓練數(shù)據(jù)量增加，RI會逐漸降低。尤其是局部規(guī)則（local rules）如初始條件，RI下降得更快。

這表明在數(shù)據(jù)量較大時，模型可以通過學習數(shù)據(jù)本身來提高預測精度，而不需要依賴于規(guī)則來限制可能的分布范圍。

分布外（out-of-distribution）預測場景中，不同類型規(guī)則的RI會隨數(shù)據(jù)量變化呈現(xiàn)出不同趨勢。全局規(guī)則（global rules）如PDE，RI會隨數(shù)據(jù)量的增加而升高，而局部規(guī)則如初始條件的RI會隨著數(shù)據(jù)量的增加而降低。

全局規(guī)則在指導模型全局分布方面發(fā)揮更關鍵的作用，而局部規(guī)則與觀測數(shù)據(jù)緊密相關，過多的數(shù)據(jù)可能導致過擬合。

研究人員總結(jié)，規(guī)則之間存在著依賴（Dependence）、協(xié)同（Synergism）和替代（Substitution）等復雜交互作用。

• 依賴性體現(xiàn)為規(guī)則內(nèi)部之間的依賴（inner dependence）和規(guī)則與依賴變量之間的外部依賴（outer dependence）。內(nèi)部依賴指的是規(guī)則之間相互依賴以發(fā)揮作用，而外部依賴則是指規(guī)則對模型預測的依賴程度。
• 協(xié)同作用體現(xiàn)為：在某些情況下，多條規(guī)則共同作用產(chǎn)生的效應大于它們各自效應的總和。
• 替代作用體現(xiàn)為：在某些情況下，一個規(guī)則的功能可以被數(shù)據(jù)或其他規(guī)則替代。

值得一提的是，研究人員表示該框架在實際應用中具有實際效用，不僅能夠提高知情機器學習（informed machine learning）的性能，還能夠通過改善模型的規(guī)則選擇來提高模型的安全性和可靠性。

作者簡介

論文通訊作者

張東曉，美國工程院院士，美國地質(zhì)學會會士，國際石油工程師協(xié)會SPE最高榮譽會員。

現(xiàn)任寧波東方理工大學（暫名）常務副校長兼教務長，主要從事智慧能源與碳中和領域研究。

陳云天，東方理工助理教授，博導。清華大學能源與動力工程系學士，北京大學力學（能源與資源工程）博士，鵬城實驗室博士后。

研究方向為科學機器學習，主要專注于：物理驅(qū)動與數(shù)據(jù)驅(qū)動的融合、AI輔助的科學知識發(fā)現(xiàn)。

論文一作

徐浩，北京大學工學院博士研究生。

擅長運用人工智能技術(shù)輔助科學探索，相關研究曾發(fā)表在Nature Communications、Chem和Advanced Science等期刊。

參考鏈接：
[1]https://www.eurekalert.org/news-releases/1036117
[2]https://www.cell.com/nexus/fulltext/S2950-1601(24)00001-9