只有加法也能做深度學(xué)習(xí)，北大、華為等提出AdderNet，性能不輸傳統(tǒng)CNN
曉查 發(fā)自 凹非寺
量子位 報(bào)道 | 公眾號 QbitAI
在深度學(xué)習(xí)里，乘積是個避免不了的運(yùn)算，比如做圖像識別的卷積層，就需要做大量的乘法。
但是，與加法運(yùn)算相比，乘法運(yùn)算的計(jì)算復(fù)雜度高得多。
現(xiàn)在的深度學(xué)習(xí)在很大程度上依賴于GPU硬件，做大量的乘法運(yùn)算，限制了它在移動設(shè)備上的應(yīng)用，需要一種更高效的方法。
如果能夠拋棄乘法運(yùn)算，是不是會讓代碼運(yùn)行速度更快呢？
來自北京大學(xué)、華為諾亞方舟實(shí)驗(yàn)室、鵬城實(shí)驗(yàn)室的研究人員提出了一種加法器網(wǎng)絡(luò)AdderNet，去掉卷積乘法，并設(shè)計(jì)一種新的反向傳播算法，結(jié)果也能訓(xùn)練神經(jīng)網(wǎng)絡(luò)。
而且實(shí)驗(yàn)結(jié)果證明了，這種方法在MNIST、CIFAR-10、SVHN上已經(jīng)接近傳統(tǒng)CNN的SOTA結(jié)果。
加法網(wǎng)絡(luò)早已有之
早在2015年，Bengio等人就提出了二元權(quán)重（1或-1）神經(jīng)網(wǎng)絡(luò)，用簡單的累加運(yùn)算來代替乘法，提高深度學(xué)習(xí)硬件的運(yùn)行效率。
緊接著在2016年，Bengio等人進(jìn)一步提出了二元神經(jīng)網(wǎng)絡(luò)（BNN），不僅是權(quán)重，連激活函數(shù)也被設(shè)定為二元形式。
盡管將深度神經(jīng)網(wǎng)絡(luò)二元化可以極大地降低了計(jì)算成本，但是原始識別精度經(jīng)常無法保持。另外，二元網(wǎng)絡(luò)的訓(xùn)練過程不穩(wěn)定，并且通常收斂速度較慢。
卷積通常作為默認(rèn)操作從圖像數(shù)據(jù)中提取特征，若引入各種方法來加速卷積，則存在犧牲網(wǎng)絡(luò)性能的風(fēng)險(xiǎn)。
如何讓避免CNN中的乘法呢？研究人員使用L1了距離。L1距離是兩點(diǎn)坐標(biāo)差值的絕對值之和，不涉及乘法。
加法運(yùn)算是L1距離中的主要操作，使用補(bǔ)碼可以輕松地將求差值的運(yùn)算轉(zhuǎn)化為加法。
研究人員在此基礎(chǔ)上提出了加法器網(wǎng)絡(luò)AdderNet，下圖展示了AdderNet和CNN的不同之處：
不同類別的CNN特征按其角度來劃分。由于AdderNet使用L1范數(shù)來區(qū)分不同的類，因此AdderNet的特征傾向于聚集到不同的類中心。
可視化的結(jié)果表明，L1距離可用作深度神經(jīng)網(wǎng)絡(luò)中濾波器與輸入特征之間距離的相似性度量。濾波器和輸入特征的距離可以表述為：
在傳統(tǒng)的CNN中，計(jì)算偏導(dǎo)數(shù)的公式為：
而在L1范數(shù)的定義中，偏導(dǎo)數(shù)變成了：
其中sgn代表符號函數(shù)，它讓我們求得的梯度只能取三種值：-1，0，1。
由此進(jìn)行優(yōu)化的方法叫做符號SGD（signSGD）。但是，signSGD幾乎永遠(yuǎn)不會沿著最陡的下降方向，并且方向性只會隨著維數(shù)的增長而變差。因此要使用另一種形式的梯度：
在優(yōu)化過程中，不僅需要求出對濾波器的梯度，還要求對輸入特征的偏導(dǎo)數(shù)：
其中HT是HardTanh函數(shù)：
最后，得到了AdderNet的優(yōu)化方法：
學(xué)習(xí)率的公式是：
其中k是Fl中元素的數(shù)量，ΔL(Fl)是第l層的濾波器梯度。
最后，在CIFAR-10的圖像分類任務(wù)中，AdderNet相比原始的二元神經(jīng)網(wǎng)絡(luò)BNN性能有大幅的提升，并且性能已經(jīng)接近了傳統(tǒng)CNN的結(jié)果。
這種方法訓(xùn)練的得到的權(quán)重分布也和CNN有很大的不同，AdderNet的權(quán)重服從拉普拉斯分布，而CNN的權(quán)重服從高斯分布。
作者表示，在未來的工作中，他們將研究AdderNet的量化結(jié)果，以實(shí)現(xiàn)更高的速度和更低的能耗，以及AdderNet的通用性，不僅用于圖像分類，還將用到目標(biāo)檢測和語義分割等任務(wù)中。
遭網(wǎng)友diss
這篇文章發(fā)布到網(wǎng)上后，引發(fā)了Reddit論壇機(jī)器學(xué)習(xí)板塊的熱議。
有網(wǎng)友認(rèn)為，文章以提高運(yùn)算性能為目的，但在結(jié)尾只提到了圖像分類認(rèn)為的正確率，不免讓人感到文不對題。
文章不是在深度學(xué)習(xí)任務(wù)中更常見的GPU硬件上部署模型，而是選擇在CPU上部署，可能無法體現(xiàn)出加法運(yùn)算的優(yōu)勢。
而且現(xiàn)在各種專用AI芯片、FPGA都對深度學(xué)習(xí)任務(wù)做了優(yōu)化，算浮點(diǎn)乘法并不一定與加法消耗資源相差太大。
對此你怎么看呢？
論文鏈接：
https://arxiv.org/abs/1511.00363
相關(guān)閱讀
這個深度學(xué)習(xí)庫能執(zhí)行10多種圖像文本任務(wù)，有20多個數(shù)據(jù)集，還統(tǒng)一接口｜已開源
沒錯，這是一個視覺語言深度學(xué)習(xí)框架就可以擁有的。
曠視天元MegEngine開源 CUDA INT4 量化源碼實(shí)現(xiàn)
曠視天元成為首個開源 CUDA INT4 量化源碼實(shí)現(xiàn)的深度學(xué)習(xí)框架
