給你一些點與線，只用動畫就能看懂張量乘法，還能證明跡循環(huán)定理
曉查 發(fā)自 凹非寺
量子位 報道 | 公眾號 QbitAI
鉆研機器學習離不開線性代數(shù)，對于初學者來說，矩陣、向量還容易理解，到了張量這個概念就變得復雜了起來。
只因張量的乘法腳標太多，讓人頭大。而張量又是NumPy、TensorFlow等工具中必不可少的一種變量。如何理解它呢？
有一位來自紐約市立大學的小姐姐Tai-Danae，用手繪的方式介紹了一種表示張量乘法的直觀方法，博客文章在初學者中廣受好評。
之后，又有一位來自印度理工學院的小哥，用3blue1brown的數(shù)學動畫工具manim，把張量乘法做成了動畫，通俗演示了張量乘法的運算過程，淺顯易懂。
下面就讓我們來看看他們是如何圖解張量運算的。
愛因斯坦求和約定
在了解張量運算前，先解釋一下愛因斯坦求和約定。
愛因斯坦求和約定是愛因斯坦在研究相對論時提出的。由于相對論中經(jīng)常用到張量乘積運算，愛因斯坦發(fā)明了一種簡化寫法，后來經(jīng)常被人們所使用。
比如兩個矩陣的乘積，定義為：
仔細觀察，你可以發(fā)現(xiàn)矩陣A的第二個腳標和矩陣B第一個腳標相同，都是k。
即A的第k行乘以B的第k列對應元素。最后再把乘積相加，最后的結果里k消失了，所以對k求和的符號是完全多余的。
所以愛因斯坦規(guī)定，凡是遇到腳標相同的情況，就表示對這個腳標求和，把求和符號拿掉：
張量運算的公式因此得到了大大的簡化。
Rajat發(fā)現(xiàn)如果把矩陣的兩個維度變成兩個“觸角”，把相同腳標的“觸角”連接起來就是矩陣乘法：
用圖表示張量
Rajat的張量乘積動畫是自己領悟的，其實早在他之前，就已經(jīng)有人引入了“張量網(wǎng)絡”，它用一個節(jié)點和伸出去的幾條線來表示張量。
線的條數(shù)等于張量的階數(shù)，矩陣是二階張量，所以有兩條線：
這是來自Tai-Danae手繪圖。另外，標量可以看做零階張量，向量可以看做一階張量，矩陣是二階張量，以此類推：
上面的矩陣乘法里，對于相同的腳標，就等于是一條線，于是兩個矩陣M和N連接了起來：
經(jīng)過乘法運算后，得到的張量只有兩個向外的邊，可以把中間兩個節(jié)點壓縮成一個節(jié)點：
所以矩陣乘以矩陣仍然是一個矩陣（二階張量）。
張量乘積的圖表示
Rajat在“張量網(wǎng)絡”概念的基礎上，加入了一組視頻，更生動地表示了幾種常見的張量運算。
矩陣×向量：
矩陣×矩陣：
阿達瑪乘積：
外積：
One More Thing
最后還有一種特殊情況，那就是矩陣的“跡”（trace）：
就是對M中行數(shù)與列數(shù)相等的元素求和，相當于把自己的兩個“觸角”連在一起，形成一個閉環(huán)。
矩陣的跡滿足如下的循環(huán)規(guī)律：
tr(ABC)=tr(CAB)=tr(BCA)
如果用圖示法，就能更好地理解它：
參考鏈接：
https://rajatvd.github.io/Factor-Graphs/
https://www.math3ma.com/blog/matrices-as-tensor-network-diagrams
- 腦機接口走向現(xiàn)實，11張PPT看懂中國腦機接口產(chǎn)業(yè)現(xiàn)狀｜量子位智庫2021-08-10
- 張朝陽開課手推E=mc2，李永樂現(xiàn)場狂做筆記2022-03-11
- 阿里數(shù)學競賽可以報名了！獎金增加到400萬元，題目面向大眾公開征集2022-03-14
- 英偉達遭黑客最后通牒：今天必須開源GPU驅動，否則公布1TB機密數(shù)據(jù)2022-03-05
