谷歌大腦新算法，不折騰TPU就能加快AI訓練速度
摩爾定律黃昏中的新方向
魚羊 發(fā)自 凹非寺
量子位 報道 | 公眾號 QbitAI
訓練神經(jīng)網(wǎng)絡，硬件要過硬？現(xiàn)在谷歌提出強有力反駁。
GPU和像谷歌TPU這樣的硬件加速器大大加快了神經(jīng)網(wǎng)絡的訓練速度，推助AI迅速成長，在各個領域發(fā)揮超能力。
然而，硬件發(fā)展再迅速，也總有力有不逮的時候。
比如，由于芯片的架構方式，像數(shù)據(jù)預處理這樣的訓練pipeline早期階段并不會受益于硬件加速器的提升。
谷歌大腦的科學家們可不希望看到算法掣肘硬件，于是他們研究出了一種名為“數(shù)據(jù)回放（Data Echoing）”的新技術。
加速神經(jīng)網(wǎng)絡訓練速度，這回不靠折騰半導體。
Data Echoing的黑科技
新的加速方法的核心在于減少訓練pipeline早期階段消耗的時間。
按照經(jīng)典的訓練pipeline，AI系統(tǒng)先讀取并解碼輸入數(shù)據(jù)，然后對數(shù)據(jù)進行混洗，應用轉換擴充數(shù)據(jù)，然后再將樣本收集到批處理中，迭代更新參數(shù)以減少誤差。
而Data Echoing是在pipeline中插入了一個階段，在參數(shù)更新之前重復前一階段的輸出數(shù)據(jù)，理論回收空閑算力。
如果重復數(shù)據(jù)的開銷可以忽略不計，并且echoing任意側的階段都是并行執(zhí)行的，那么數(shù)據(jù)回放完成一個上游步驟和e個下游步驟的平均時間就是：
假設上游步驟花費的時間大于等于下游步驟花費的時間，你會發(fā)現(xiàn)附加的下游步驟是“免費”的，因為它們利用了空閑的下游容量。
data echoing縮短訓練時間的關鍵在于上游步驟和下游步驟之間的權衡。
一方面，重復數(shù)據(jù)的價值可能會比新數(shù)據(jù)的價值低，那么data echoing就需要更多的下游SGD（隨機梯度下降）更新來達到預期性能。
另一方面，data echoing中每個下游步驟僅需要1/e個上游步驟。
如果下游步驟因回放因子而增加的數(shù)量比e小，那么上游步驟的總數(shù)就會減少，總的訓練時間也就減少了。
需要注意的是，有兩個因素會影響在不同插入點處data echoing的表現(xiàn)：
在批處理前回放（echoing）
在批處理之前回放意味著數(shù)據(jù)是在樣本級別而不是批處理級別重復和混洗的，這增加了臨近批次不同的可能性，代價是批次內可能會有重復的樣本。
在數(shù)據(jù)擴增前回放
在數(shù)據(jù)增強之前進行回放，重復數(shù)據(jù)就可能以不同的方式轉換，這樣一來重復數(shù)據(jù)就會更像新數(shù)據(jù)。
效果如何
研究團隊對這一方法進行了實驗，他們選擇了兩個語言模型任務，兩個圖像識別任務和一個對象檢測任務，AI模型都是用開源數(shù)據(jù)集訓練的。
實驗中，“新”訓練樣本（訓練樣本從磁盤中被讀取出來，就算做一個新的樣本）的數(shù)目達到指定目標的時間就算作訓練的時長。同時，研究人員也會調查data echoing是否減少了所需的樣本數(shù)量。
除了用ImageNet訓練的ResNet-50，data echoing的效率都比基線方法效率高。并且更早地在pipeline中插入echoing，訓練所需的新樣本會更少。
而隨著批量大小的增加，data echoing相對于基線方法的改進會更加明顯。
摩爾定律的黃昏
隨著摩爾定律走向終結，要依靠芯片制造工藝的突破來實現(xiàn)人工智能算力的提升越來越困難，雖然有硬件加速器加持，但CPU這樣的通用處理器依然成為了神經(jīng)網(wǎng)絡訓練速度進一步提升的攔路虎。
另辟蹊徑，以算法性能來突破重圍，正在成為New sexy。
論文地址：https://arxiv.org/abs/1907.05550
— 完 —
