羿閣 發(fā)自 凹非寺

量子位 | 公眾號(hào) QbitAI

這幾天，一本免費(fèi)數(shù)學(xué)教程在機(jī)器學(xué)習(xí)圈被瘋轉(zhuǎn)。

這本書(shū)名叫《概率數(shù)值》（Probabilistic Numerics），作者是來(lái)自馬普所、牛津大學(xué)和INRIA的三位機(jī)器學(xué)習(xí)大牛，其中一位的谷歌學(xué)術(shù)引用量達(dá)到17000+。

Philipp Hennig、Michael A. Osborne和Hans P. Kersting三位作者在寫這本書(shū)時(shí)，前后一共寫了7年，長(zhǎng)達(dá)400多頁(yè)。

新書(shū)發(fā)布后，作者之一Philipp Hennig在推特上感嘆：它終于出來(lái)了。

除了實(shí)體出書(shū)以外，作者們也在網(wǎng)上分享了全書(shū)的免費(fèi)電子版。（ps:文末可以查看~）

具體來(lái)說(shuō)，這本書(shū)希望從數(shù)學(xué)的角度，教會(huì)大家如何優(yōu)化機(jī)器學(xué)習(xí)模型。

通常，機(jī)器學(xué)習(xí)涉及大量線性代數(shù)、積分、或?qū)ふ曳蔷€性函數(shù)的最小值等問(wèn)題，而這些問(wèn)題往往會(huì)占用大量計(jì)算資源。

因此，作者希望能通過(guò)講解背后概率數(shù)值計(jì)算的原理，讓我們理解模型“耗能的原因”，從而更好地優(yōu)化模型。

對(duì)于這本書(shū)，愛(ài)丁堡大學(xué)機(jī)器學(xué)習(xí)講師Antonio Vergari點(diǎn)了個(gè)贊：

數(shù)值計(jì)算積分不僅是機(jī)器學(xué)習(xí)、人工智能的核心，也是工程、物理等領(lǐng)域的核心。

除了數(shù)值分析的角度，從模型推理和傳播不確定性等領(lǐng)域來(lái)看，也是非常有價(jià)值的。

這本書(shū)有什么用？

在計(jì)算機(jī)中，有很多問(wèn)題涉及復(fù)雜系統(tǒng)的求解。

例如用計(jì)算機(jī)預(yù)測(cè)天氣、癌細(xì)胞基因突變等問(wèn)題，都與復(fù)雜系統(tǒng)有關(guān)，由于這種系統(tǒng)在求解時(shí)容易引入不確定性，又會(huì)導(dǎo)致計(jì)算資源的浪費(fèi)。

而在機(jī)器學(xué)習(xí)中中，模型給出的預(yù)測(cè)結(jié)果不一定是可靠的，各種因素也會(huì)導(dǎo)致輸出結(jié)果的不確定性。

目前，隨著數(shù)據(jù)精度的提升，不確定性帶來(lái)的計(jì)算量也還在進(jìn)一步增大。

從數(shù)學(xué)角度來(lái)說(shuō)，如何量化這種不確定性、降低計(jì)算資源的浪費(fèi)，就涉及概率數(shù)值（概率統(tǒng)計(jì)、數(shù)值分析等）的理論和方法。

如果能掌握它的理論技巧，計(jì)算機(jī)就能更高效地處理數(shù)據(jù)，還能利用這種不確定性來(lái)做出計(jì)算的最優(yōu)決策，包括使用貝葉斯推斷等理論，來(lái)構(gòu)建更靈活、更高效、更個(gè)性化的算法。

在書(shū)中，作者不僅充分講解了概率數(shù)值計(jì)算的原理，還進(jìn)一步通過(guò)練習(xí)題手把手地教你如何優(yōu)化一個(gè)機(jī)器學(xué)習(xí)模型，并且所有重要的練習(xí)都配備了解決方案。

這一點(diǎn)獲得了網(wǎng)友的點(diǎn)贊。

正如作者在簡(jiǎn)介中所說(shuō)：

我們?yōu)樗行枰褂脭?shù)值計(jì)算的人寫了這本書(shū)，不管是天體物理學(xué)家還是深度學(xué)習(xí)黑客。

對(duì)于那些正在或正打算成為數(shù)值計(jì)算領(lǐng)域開(kāi)發(fā)者的人，以及正在學(xué)習(xí)機(jī)器學(xué)習(xí)的人，我們希望這本書(shū)會(huì)是有趣的。

這本書(shū)講了什么？

在機(jī)器學(xué)習(xí)快速發(fā)展的當(dāng)下，這本書(shū)旨在給新興的概率數(shù)值領(lǐng)域做一個(gè)概述。

書(shū)中內(nèi)容主要從以下幾方面展開(kāi)：

1、數(shù)學(xué)基礎(chǔ)

概率數(shù)值計(jì)算是機(jī)器學(xué)習(xí)和應(yīng)用數(shù)學(xué)之間的橋梁，要想學(xué)會(huì)機(jī)器學(xué)習(xí)，數(shù)學(xué)是繞不開(kāi)的話題。

這一章節(jié)對(duì)后續(xù)會(huì)使用到的概率推理、高斯函數(shù)、回歸、線性代數(shù)等關(guān)鍵概念進(jìn)行了介紹。

有統(tǒng)計(jì)學(xué)或機(jī)器學(xué)習(xí)背景的讀者讀起來(lái)會(huì)很輕松～

2、積分

本章利用積分的基本概念，介紹了概率數(shù)值計(jì)算的核心——貝葉斯積分公式、經(jīng)典求積公式等理論，并重構(gòu)現(xiàn)有的數(shù)值求積規(guī)則，在現(xiàn)有的方法上開(kāi)發(fā)新的功能。

3、線性代數(shù)

線性代數(shù)運(yùn)算，可以說(shuō)是最基本的數(shù)值計(jì)算。與矩陣運(yùn)算、向量運(yùn)算一樣，它們幾乎是當(dāng)代計(jì)算機(jī)領(lǐng)域所有重量級(jí)運(yùn)算的基石。因此，這一領(lǐng)域的研究非常深入。

首先，你需要了解一些線性代數(shù)的基礎(chǔ)知識(shí)——向量化矩陣、克羅內(nèi)克積、正定矩陣、弗羅貝尼烏斯矩陣范數(shù)等等。

其次，書(shū)中致力于培養(yǎng)對(duì)線性代數(shù)的直覺(jué)理解，這有助于我們更好地理解數(shù)學(xué)的本質(zhì)、看懂復(fù)雜公式背后最簡(jiǎn)單的套路。

4、局部?jī)?yōu)化

在數(shù)值計(jì)算過(guò)程中，如果建模不當(dāng)會(huì)導(dǎo)致很多問(wèn)題，這點(diǎn)在深度學(xué)習(xí)等領(lǐng)域格外明顯。

本章重點(diǎn)關(guān)注非線性優(yōu)化問(wèn)題，以步長(zhǎng)選取為例進(jìn)行講解。

5、全局優(yōu)化

本章介紹一個(gè)很有效的全局優(yōu)化算法——貝葉斯優(yōu)化，該方法可以不受限制地解決計(jì)算成本高、導(dǎo)數(shù)未知的問(wèn)題，并且能夠在盡可能少的步驟中找到全局最小值。

6、常微分方程解法

在研究常微分方程的過(guò)程中，我們需要辯證看待常微分方程和偏微分方程的關(guān)系，并且需要適時(shí)將其進(jìn)行轉(zhuǎn)化。這樣，我們才能靈活求解常微分方程。

本章主要從經(jīng)典的ODE求解器、ODE濾波器和平滑器等方面進(jìn)行講解。

7、前景

概率數(shù)值的未來(lái)是廣闊的，該領(lǐng)域中的許多基礎(chǔ)數(shù)學(xué)、工程和哲學(xué)問(wèn)題仍有待解決。在本章中，我們將重點(diǎn)討論一些可能至少影響學(xué)術(shù)界未來(lái)十年發(fā)展的開(kāi)放性問(wèn)題。

8、練習(xí)&答案

除了上述的文字資料外，本書(shū)還提供了許多附帶解決方案的練習(xí)題。

三位作者都是誰(shuí)？

作者之一的Michael A. Osborne昨天在推特上分享道“我們從2015年開(kāi)始寫這本關(guān)于機(jī)器學(xué)習(xí)的新計(jì)算基礎(chǔ)的書(shū)，現(xiàn)在它像我的孩子一樣長(zhǎng)大了”。

Michael A. Osborne，牛津大學(xué)機(jī)器學(xué)習(xí)教授，也是Mind Foundry有限公司的聯(lián)合創(chuàng)始人。

Osborne專注于機(jī)器學(xué)習(xí)領(lǐng)域中的主動(dòng)學(xué)習(xí)、貝葉斯優(yōu)化和貝葉斯積分等方向，而且熱衷于新興的概率數(shù)值領(lǐng)域。

Philipp Hennig，蒂賓根大學(xué)機(jī)器學(xué)習(xí)方法教授，同時(shí)也是MPII（馬克斯·普朗克智能系統(tǒng)研究所）的兼職研究員，ELLIS(歐洲學(xué)習(xí)和智能系統(tǒng)實(shí)驗(yàn)室)學(xué)習(xí)機(jī)器理論、算法和計(jì)算研究項(xiàng)目的聯(lián)合主任。

在他的職業(yè)生涯中，概率數(shù)值方法是主要的研究方向之一。Hennig的研究得到了艾米·諾特(Emmy Noether)、馬克斯·普朗克(Max Planck)和ERC獎(jiǎng)學(xué)金的支持。

Hans P. Kersting，INRIA（法國(guó)國(guó)家信息與自動(dòng)化研究所）和ENS（巴黎高等師范學(xué)院）的博士后研究員，從事機(jī)器學(xué)習(xí)方面工作，主要研究方向是貝葉斯推理、動(dòng)態(tài)系統(tǒng)優(yōu)化等。

最后附上作者提供的《概率數(shù)值》免費(fèi)電子版，感興趣的小伙伴趕緊一睹為快吧！

《概率數(shù)值》：https://www.probabilistic-numerics.org/assets/ProbabilisticNumerics.pdf