一文讀懂深度學(xué)習(xí)中的矩陣微積分，fast.ai創(chuàng)始人&ANTLR之父出品 | 免費(fèi)資源
魚羊 編譯整理
量子位 報(bào)道 | 公眾號(hào) QbitAI
想要真正了解深度神經(jīng)網(wǎng)絡(luò)是如何訓(xùn)練的，免不了從矩陣微積分說起。
雖然網(wǎng)絡(luò)上已經(jīng)有不少關(guān)于多元微積分和線性代數(shù)的在線資料，但它們通常都被視作兩門獨(dú)立的課程，資料相對(duì)孤立，也相對(duì)晦澀。
不過，先別打退堂鼓，來自舊金山大學(xué)的Terence Parr教授說：矩陣微積分真的沒有那么難。
這位ANTLR之父和fast.ai創(chuàng)始人Jeremy Howard一起推出了一篇免費(fèi)教程，旨在幫你快速入門深度學(xué)習(xí)中的矩陣微積分。簡(jiǎn)明，易懂。
DeepMind研究科學(xué)家Andrew Trask評(píng)價(jià)說：
如果你想跳過不相干的內(nèi)容，一文看盡深度學(xué)習(xí)中所需的數(shù)學(xué)知識(shí)，那么就是這份資源沒錯(cuò)了。
只需一點(diǎn)關(guān)于微積分和神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)知識(shí)，就能單刀直入，開始以下的學(xué)習(xí)啦。
深度學(xué)習(xí)所需的矩陣微積分
先來看一眼這篇教程都涵蓋了哪些內(nèi)容：
基本概念
矩陣微積分
神經(jīng)元激活的梯度
神經(jīng)網(wǎng)絡(luò)損失函數(shù)的梯度
文章開篇，先介紹了一下人工神經(jīng)元。
神經(jīng)網(wǎng)絡(luò)中單個(gè)計(jì)算單元的激活函數(shù)，通常使用權(quán)重向量w與輸入向量x的點(diǎn)積來計(jì)算。
神經(jīng)網(wǎng)絡(luò)由許多這樣的單位組成。它們被組織成稱為層的神經(jīng)元集合。上一層單元的激活成為下一層單元的輸入，最后一層中一個(gè)或多個(gè)單元的激活稱為網(wǎng)絡(luò)輸出。
訓(xùn)練神經(jīng)元意味著對(duì)權(quán)重w和偏差b的選擇。我們的目標(biāo)是逐步調(diào)整w和b，使總損失函數(shù)在所有輸入x上都保持較小。
導(dǎo)數(shù)規(guī)則、向量計(jì)算、偏導(dǎo)數(shù)……復(fù)習(xí)完需要掌握的先導(dǎo)知識(shí)，文章開始進(jìn)入重要規(guī)則的推導(dǎo)，這些規(guī)則涉及矢量偏導(dǎo)數(shù)的計(jì)算，是神經(jīng)網(wǎng)絡(luò)訓(xùn)練的基礎(chǔ)。
比如在矩陣微積分這一節(jié)中，涵蓋：
- 雅可比式（Jacobian）的推廣
- 向量element-wise二元算子的導(dǎo)數(shù)
- 涉及標(biāo)量展開的導(dǎo)數(shù)
- 向量和降維
- 鏈?zhǔn)椒▌t
每一小節(jié)中，都有簡(jiǎn)潔明了的示例，由淺入深，層層遞進(jìn)。
如果你在學(xué)習(xí)的過程中遇到不理解的地方，不要著急，耐心返回上一節(jié)閱讀，重新演算一下文中的示例，或許就能理順?biāo)悸贰?/p>
如果實(shí)在是卡住了無法推進(jìn)，你還可以在fast.ai論壇（鏈接見文末）的“Theory”分類下提問，向Parr和Howard本人求解答。
而在文章的末尾，作者附上了所有數(shù)學(xué)符號(hào)的對(duì)照表。
以及重點(diǎn)概念的詳細(xì)補(bǔ)充信息。
值得注意的是，Parr和Howard也強(qiáng)調(diào)了，與其他學(xué)術(shù)方法不同，他們強(qiáng)烈建議先學(xué)會(huì)如何訓(xùn)練和使用神經(jīng)網(wǎng)絡(luò)，然后再深入了解背后的基礎(chǔ)數(shù)學(xué)。因?yàn)?strong>有了實(shí)踐經(jīng)驗(yàn)，數(shù)學(xué)會(huì)變得剛?cè)菀桌斫?/strong>。
傳送門
網(wǎng)頁版：
https://explained.ai/matrix-calculus/index.html
PDF：
https://arxiv.org/abs/1802.01528
fast.ai論壇：
http://forums.fast.ai/
—?完?—
- 標(biāo)準(zhǔn)化3D生成質(zhì)量榜單來了！首創(chuàng)層次化評(píng)價(jià)體系，告別“誰的demo更吸睛”主觀評(píng)估2025-08-16
- 阿里閃電入局Agent Infra！智能體新基建亮相WAIC，“超級(jí)大腦”開箱即用2025-07-31
- 世紀(jì)華通謝斐：在“三大平衡”中領(lǐng)跑，實(shí)現(xiàn)游戲行業(yè)更高質(zhì)量的發(fā)展2025-08-01
- 1.5B參數(shù)撬動(dòng)“吉卜力級(jí)”全能體驗(yàn)，國產(chǎn)開源之光多模態(tài)統(tǒng)一模型，來了2025-07-30
相關(guān)閱讀
MIT數(shù)學(xué)最強(qiáng)本科生：2年半畢業(yè)，20多篇論文在手，還推動(dòng)了停滯幾十年的數(shù)學(xué)研究
師從MIT華裔教授，曾獲阿里巴巴數(shù)學(xué)競(jìng)賽銀獎(jiǎng)
1200+標(biāo)星，3千多人點(diǎn)贊，這本書讓你系統(tǒng)了解機(jī)器學(xué)習(xí)可解釋性丨開源免費(fèi)閱讀
“唯一一本機(jī)器學(xué)習(xí)可解釋性”的書
谷歌突失Hinton！深度學(xué)習(xí)之父警告AI風(fēng)險(xiǎn)，對(duì)畢生工作表示遺憾
為了自由地討論人工智能的風(fēng)險(xiǎn)。
