ICLR2019最佳論文！神經(jīng)網(wǎng)絡(luò)子網(wǎng)絡(luò)壓縮10倍，精確度保持不變 | MIT出品

安妮 2019-05-07 13:38:22 來源：量子位

銅靈 發(fā)自 凹非寺

量子位 出品 | 公眾號 QbitAI

在大洋彼岸的新奧爾良，正在舉行一年一度的機器學習頂會：ICLR 2019。

今年，ICLR19共收到了1578篇投稿，較去年增長60%。在這1600篇論文中，MIT的“彩票假設(shè)”理論從中脫穎而出，其論文斬獲今年的最佳論文。

這是項什么研究？

研究人員證明，將神經(jīng)網(wǎng)絡(luò)包含的子網(wǎng)絡(luò)縮小至原來的十分之一，依舊不會影響訓練精度，甚至于，壓縮后的模型可能比原神經(jīng)網(wǎng)絡(luò)更快！

來看看今年的研究新風向。

彩票假設(shè)

這篇獲獎?wù)撐拿麨門he Lottery Ticket Hypothesis: Finding Sparse, Trainable Neural Networks，提出了一種叫作“彩票假設(shè)”（lottery ticket hypothesis）的縮小方法。

此前，神經(jīng)網(wǎng)絡(luò)的剪枝技術(shù)能將網(wǎng)絡(luò)的參數(shù)減少到90%，但此方法的弊端也很明顯，即剪枝架構(gòu)一開始的訓練就相當困難。

MIT計算機科學與人工智能實驗室（CSAIL）的研究人員表示，與其在后期修修剪剪，何必不在一開始就創(chuàng)建一個尺寸合適的網(wǎng)絡(luò)呢？

他們將傳統(tǒng)的深度學習方法比作樂透，訓練大型神經(jīng)網(wǎng)絡(luò)就像在通過盲目隨機選號中獎，而這種新的方法不采用這種大海撈針的方式，想在一開始就拿到最后中獎的號碼。

于是乎，“彩票假設(shè)”問世。

他們發(fā)現(xiàn)，傳統(tǒng)的剪枝技術(shù)會在神經(jīng)網(wǎng)絡(luò)子網(wǎng)絡(luò)處動刀，讓初始化后的子網(wǎng)絡(luò)能夠進行有效訓練。

密集、隨機初始化的前饋神經(jīng)網(wǎng)絡(luò)包含一些子網(wǎng)絡(luò)，也就是中獎號碼，當對其單獨進行訓練時，這些子網(wǎng)絡(luò)能夠在相似迭代次數(shù)中達到與原始網(wǎng)絡(luò)比肩的準確率。

問題來了，如何找到這個中獎號碼呢？總共分為四步：

1. 隨機初始化一個神經(jīng)網(wǎng)絡(luò)f(x; θ₀)
2. 訓練這個網(wǎng)絡(luò)j次，得到網(wǎng)格參數(shù)θ_j
3. 修剪θ_j中p%的參數(shù)，創(chuàng)建mask m
4. 用θ₀重新設(shè)置剩余網(wǎng)絡(luò)，創(chuàng)建中獎號碼f(x; m⊙θ₀)

在MNIST和CIFAR10數(shù)據(jù)集上，“中獎彩票”的大小是很多全連接和卷積前饋架構(gòu)的10%~20%。

△?上圖為當?shù)糁驮俅坞S機初始化時，Conv-2/4/6 架構(gòu)的早停迭代、測試和訓練準確率

并且，比原始網(wǎng)絡(luò)的學習速度更快：甚至準確度更高：

論文地址：

https://arxiv.org/abs/1803.03635

作者團隊

這篇論文背后的研究人員只有兩位。

一作為MIT的在讀博士生Jonathan Frankle，在普林斯頓大學完成計算機科學的本科和研究生學習時，F(xiàn)rankle小哥曾去谷歌、微軟、喬治城大學實習，主要研究人工智能、應(yīng)用密碼學和技術(shù)政策。

二作Michael Carbin為MIT電子工程和計算機科學的助理教授，此前在微軟雷德蒙研究院的研究員，從事大規(guī)模深度學習系統(tǒng)的研究，包括優(yōu)化和應(yīng)用。

此前，Carbin的數(shù)篇論文被ICML19、OOPSLA18、LICS18等機器學習大會接收。

最佳論文×2

今年的ICLR最佳論文共有兩篇，除了彩票假設(shè)外，還有一篇蒙特利爾大學 MILA 研究所和微軟研究院的作品：

Ordered Neurons: Integrating Tree Structures into Recurrent Neural Networks，翻譯過來就是《有序神經(jīng)元：將樹結(jié)構(gòu)集成到循環(huán)神經(jīng)網(wǎng)絡(luò)》。

自然語言是一種有層次的結(jié)構(gòu)：小的單元會嵌套在大單元里，比如短語會嵌套在句子中。當較大的單元關(guān)閉時，其中的小單元也必須關(guān)閉。

雖然標準的LSTM架構(gòu)可以將不同的神經(jīng)元在不同的時間階段追蹤信息，但在模型構(gòu)成層次上差別不大。

在這篇論文中，研究人員提出，通過對神經(jīng)元進行排序，增加這種歸納偏差，用一個控制輸入和遺忘門的向量來確保當給定神經(jīng)元更新時，跟隨它的所有神經(jīng)元也將按照順序被更新。

這種全新的循環(huán)結(jié)構(gòu)稱為有序神經(jīng)元?LSTM (ON-LSTM)，在語言建模、無監(jiān)督語法分析、目標語法評估和邏輯推理這四個不同的任務(wù)上取得了不錯的性能。

論文地址：

https://openreview.net/forum?id=B1l6qiR5F7

傳送門

最后，附上ICLR 2019官網(wǎng)地址：

https://iclr.cc/

— 完 —

誠摯招聘

量子位正在招募編輯/記者，工作地點在北京中關(guān)村。期待有才氣、有熱情的同學加入我們！相關(guān)細節(jié)，請在量子位公眾號(QbitAI)對話界面，回復“招聘”兩個字。

量子位 QbitAI · 頭條號簽約作者