給你一些點(diǎn)與線，只用動(dòng)畫(huà)就能看懂張量乘法，還能證明跡循環(huán)定理
曉查 發(fā)自 凹非寺
量子位 報(bào)道 | 公眾號(hào) QbitAI
鉆研機(jī)器學(xué)習(xí)離不開(kāi)線性代數(shù)，對(duì)于初學(xué)者來(lái)說(shuō)，矩陣、向量還容易理解，到了張量這個(gè)概念就變得復(fù)雜了起來(lái)。
只因張量的乘法腳標(biāo)太多，讓人頭大。而張量又是NumPy、TensorFlow等工具中必不可少的一種變量。如何理解它呢？
有一位來(lái)自紐約市立大學(xué)的小姐姐Tai-Danae，用手繪的方式介紹了一種表示張量乘法的直觀方法，博客文章在初學(xué)者中廣受好評(píng)。
之后，又有一位來(lái)自印度理工學(xué)院的小哥，用3blue1brown的數(shù)學(xué)動(dòng)畫(huà)工具manim，把張量乘法做成了動(dòng)畫(huà)，通俗演示了張量乘法的運(yùn)算過(guò)程，淺顯易懂。
下面就讓我們來(lái)看看他們是如何圖解張量運(yùn)算的。
愛(ài)因斯坦求和約定
在了解張量運(yùn)算前，先解釋一下愛(ài)因斯坦求和約定。
愛(ài)因斯坦求和約定是愛(ài)因斯坦在研究相對(duì)論時(shí)提出的。由于相對(duì)論中經(jīng)常用到張量乘積運(yùn)算，愛(ài)因斯坦發(fā)明了一種簡(jiǎn)化寫(xiě)法，后來(lái)經(jīng)常被人們所使用。
比如兩個(gè)矩陣的乘積，定義為：
仔細(xì)觀察，你可以發(fā)現(xiàn)矩陣A的第二個(gè)腳標(biāo)和矩陣B第一個(gè)腳標(biāo)相同，都是k。
即A的第k行乘以B的第k列對(duì)應(yīng)元素。最后再把乘積相加，最后的結(jié)果里k消失了，所以對(duì)k求和的符號(hào)是完全多余的。
所以愛(ài)因斯坦規(guī)定，凡是遇到腳標(biāo)相同的情況，就表示對(duì)這個(gè)腳標(biāo)求和，把求和符號(hào)拿掉：
張量運(yùn)算的公式因此得到了大大的簡(jiǎn)化。
Rajat發(fā)現(xiàn)如果把矩陣的兩個(gè)維度變成兩個(gè)“觸角”，把相同腳標(biāo)的“觸角”連接起來(lái)就是矩陣乘法：
用圖表示張量
Rajat的張量乘積動(dòng)畫(huà)是自己領(lǐng)悟的，其實(shí)早在他之前，就已經(jīng)有人引入了“張量網(wǎng)絡(luò)”，它用一個(gè)節(jié)點(diǎn)和伸出去的幾條線來(lái)表示張量。
線的條數(shù)等于張量的階數(shù)，矩陣是二階張量，所以有兩條線：
這是來(lái)自Tai-Danae手繪圖。另外，標(biāo)量可以看做零階張量，向量可以看做一階張量，矩陣是二階張量，以此類(lèi)推：
上面的矩陣乘法里，對(duì)于相同的腳標(biāo)，就等于是一條線，于是兩個(gè)矩陣M和N連接了起來(lái)：
經(jīng)過(guò)乘法運(yùn)算后，得到的張量只有兩個(gè)向外的邊，可以把中間兩個(gè)節(jié)點(diǎn)壓縮成一個(gè)節(jié)點(diǎn)：
所以矩陣乘以矩陣仍然是一個(gè)矩陣（二階張量）。
張量乘積的圖表示
Rajat在“張量網(wǎng)絡(luò)”概念的基礎(chǔ)上，加入了一組視頻，更生動(dòng)地表示了幾種常見(jiàn)的張量運(yùn)算。
矩陣×向量：
矩陣×矩陣：
阿達(dá)瑪乘積：
外積：
One More Thing
最后還有一種特殊情況，那就是矩陣的“跡”（trace）：
就是對(duì)M中行數(shù)與列數(shù)相等的元素求和，相當(dāng)于把自己的兩個(gè)“觸角”連在一起，形成一個(gè)閉環(huán)。
矩陣的跡滿足如下的循環(huán)規(guī)律：
tr(ABC)=tr(CAB)=tr(BCA)
如果用圖示法，就能更好地理解它：
參考鏈接：
https://rajatvd.github.io/Factor-Graphs/
https://www.math3ma.com/blog/matrices-as-tensor-network-diagrams
- 腦機(jī)接口走向現(xiàn)實(shí)，11張PPT看懂中國(guó)腦機(jī)接口產(chǎn)業(yè)現(xiàn)狀｜量子位智庫(kù)2021-08-10
- 張朝陽(yáng)開(kāi)課手推E=mc2，李永樂(lè)現(xiàn)場(chǎng)狂做筆記2022-03-11
- 阿里數(shù)學(xué)競(jìng)賽可以報(bào)名了！獎(jiǎng)金增加到400萬(wàn)元，題目面向大眾公開(kāi)征集2022-03-14
- 英偉達(dá)遭黑客最后通牒：今天必須開(kāi)源GPU驅(qū)動(dòng)，否則公布1TB機(jī)密數(shù)據(jù)2022-03-05
相關(guān)閱讀
逼真照片隨手畫(huà)，馬良神筆已上線 | 點(diǎn)擊收獲這份英偉達(dá)GauGAN開(kāi)源代碼
英偉達(dá)馬良神筆GauGAN開(kāi)源啦
創(chuàng)意0-263115529195356278.jpg)
你的涂鴉活了，CMU中國(guó)本科生讓畫(huà)成真丨有代碼有Demo
隨手涂鴉畫(huà)小人，它就活了，開(kāi)始動(dòng)了，仿佛是神筆馬良。這是CMU中國(guó)本科生Lingdong Huang創(chuàng)造的虛擬世界，在這里，只要隨意涂鴉，你筆下的形象就能立馬蹦蹦跳跳，就像魔法世界一樣。
站-e1563166207521-300x175.png)
