在《我的世界》里搭建神經(jīng)網(wǎng)絡(luò)，運(yùn)行過程清晰可見 | 開源

賴可 2020-05-01 13:47:45 來源：量子位

曉查 賴可 發(fā)自 凹非寺
量子位 報(bào)道 | 公眾號(hào) QbitAI

可能是疫情吧，大家在現(xiàn)實(shí)中行動(dòng)受限，就越來越多去游戲世界中釋放天性。

前有《我的世界》舉辦畢業(yè)典禮，后有《動(dòng)物森友會(huì)》舉辦AI會(huì)議。最近《我的世界》又被大神帶來了硬核玩法：

你以為他在涂鴉？不！其實(shí)他在進(jìn)行神經(jīng)網(wǎng)絡(luò)的推理。

你如果是一個(gè)熟悉神經(jīng)網(wǎng)絡(luò)的人，想必已經(jīng)猜出來了。

圖片里這位玩家做的正是MNIST手寫數(shù)字分類網(wǎng)絡(luò)。

只需用劍在墻壁上畫出數(shù)字，神經(jīng)網(wǎng)絡(luò)就能知道你寫的是幾。不僅僅如此，神經(jīng)網(wǎng)絡(luò)在推理過程中，哪些神經(jīng)元被激活，都可以在這里看得一清二楚。

這個(gè)腦洞大開的玩家是一位來自印度的小哥Ashutosh Sathe，游戲項(xiàng)目叫做Scarpet-nn。

Sathe不僅放出了試玩視頻，還開源了代碼，如果你是《我的世界》玩家+神經(jīng)網(wǎng)絡(luò)煉丹師，那么你也可以把自己的網(wǎng)絡(luò)放在游戲里。

Scarpet-nn支持卷積層和完全連接層，允許在單個(gè)世界中運(yùn)行多個(gè)神經(jīng)網(wǎng)絡(luò)。而且可以展示中間張量的逐塊激活，甚至還能一次運(yùn)行多個(gè)神經(jīng)網(wǎng)絡(luò)。

Sathe小哥到底是怎么想到用《我的世界》來搭建神經(jīng)網(wǎng)絡(luò)的呢？

像素風(fēng)和神經(jīng)網(wǎng)絡(luò)是絕配

我的世界里那一個(gè)個(gè)像素色塊簡直就是顯示3維數(shù)組的神器。如果一個(gè)長方體的每個(gè)小塊都用不同顏色來展示數(shù)值，那么一個(gè)長方體就可以表示一個(gè)張量。

但是用表示的范圍有限，我的世界地圖里的資源也有限，在神經(jīng)網(wǎng)絡(luò)中顯示BERT什么的顯然不切實(shí)際。

所以用兩種顏色的色塊表示二值神經(jīng)網(wǎng)絡(luò)（BNN）最合適了。

BNN是一種高度簡化的神經(jīng)網(wǎng)絡(luò)，權(quán)重和激活都只能取兩個(gè)值：+1或-1。但是計(jì)算機(jī)中二進(jìn)制的位表示是不同的。因此在BNN中，我們將+1存儲(chǔ)為1為，將-1存儲(chǔ)為0。

這樣在BNN中乘法運(yùn)算就變成了邏輯門中的同或運(yùn)算，而邏輯門在《我的世界》中可以用紅石電路造出。

至此，用《我的世界》搭建神經(jīng)網(wǎng)絡(luò)的理論基礎(chǔ)已經(jīng)完成，下面開始實(shí)際操作。

神經(jīng)網(wǎng)絡(luò)轉(zhuǎn)像素模塊

我們需要在電腦上安裝《我的世界》Java版，第三方Mod也是必不可少的。在這個(gè)項(xiàng)目里，我們要安裝Litematica和carpetmod兩個(gè)Mod。

另外還需要通過Python3安裝PyTorch和nbtlib。

接下來就是“煉丹”，先在PyTorch里訓(xùn)練好你的二值神經(jīng)網(wǎng)絡(luò)。

Litematica是一個(gè)幫助用戶從零開始繪制示意圖的模塊，它可以準(zhǔn)確地構(gòu)建結(jié)構(gòu)，指定將塊放置在何處。

運(yùn)行modeltolitematica.py將神經(jīng)網(wǎng)絡(luò)的所有層轉(zhuǎn)換為不同的Litematica示意圖。每個(gè)示意圖僅包含一層神經(jīng)網(wǎng)絡(luò)。

圖中以紫色表示+1的塊，以綠色代表-1的塊。

在這一步后，你會(huì)獲得一組示意圖文件，后綴名為.litematica。文件的名稱和你命名的網(wǎng)絡(luò)層相同，比如conv1.weight.litematica、fc2.weight.litematica等等。將相應(yīng)文件導(dǎo)入即可。

把神經(jīng)網(wǎng)絡(luò)鋪在地上

由于卷積層會(huì)出現(xiàn)4維數(shù)組，這在3維空間里是沒法表示的，因此這個(gè)過程中還加入了壓縮。

一般卷積層的形式是：[c2, c1, fh, fw]。其中c2是輸出激活的通道數(shù)量，c1是輸入激活的通道數(shù)量，fh和fw是卷積濾波器的高度和寬度。

通過scarpet-nn將后兩個(gè)維度乘起來，變成[c2, c1, fh× fw]，這樣就解決了3維顯示問題。

而全連接層都是2維的，不存在不能顯示的狀況，因此不需要做任何調(diào)整。

然后你就可以在空地上繪制一張16×16的輸入圖像了。

將卷積層導(dǎo)入地圖后，你就可以進(jìn)行神經(jīng)網(wǎng)絡(luò)運(yùn)算了。

最后，作者還給出了一個(gè)MNIST示意圖MineCraft文件包，如果只想簡單看看實(shí)際運(yùn)行效果，可以在我們的公眾號(hào)中回復(fù)我的世界獲取。

不得不說，《我的世界》里大神太多，之前有復(fù)旦本科生從零計(jì)算機(jī)，現(xiàn)在又有印度小哥從零打造神經(jīng)網(wǎng)絡(luò)。

（相關(guān)閱讀：在《我的世界》里從零打造一臺(tái)計(jì)算機(jī)有多難？復(fù)旦本科生大神花費(fèi)了一年心血）

只是現(xiàn)在的模塊還不能在《我的世界》里訓(xùn)練神經(jīng)網(wǎng)絡(luò)，相信在這些大神的努力下，未來用《我的世界》煉丹也不是夢。

傳送門

博客地址：https://ashutoshbsathe.github.io/scarpet-nn/scarpet-apps/twoclassmnist/

Litematica下載地址：http://minecraft.curseforge.com/projects/litematica

源代碼：https://github.com/ashutoshbsathe/scarpet-nn