讓你的AI綠起來，艾倫研究所提出深度學(xué)習(xí)效率評估標(biāo)準(zhǔn)Green AI

魚羊 2019-07-29 12:20:17 來源：量子位

魚羊 發(fā)自 凹非寺

量子位 報道 | 公眾號 QbitAI

培養(yǎng)一個靠譜的AI需要消耗大量的算力。

隨著摩爾定律的終結(jié)，AI的計(jì)算成本正在瘋長，幾乎每隔幾個月計(jì)算基線就要翻一番。

聽起來可能有點(diǎn)嚇人，可事實(shí)就是，從2012年到2018年，AI算力消耗幾乎增長了30萬倍。

連Facebook的AI負(fù)責(zé)人杰爾姆·佩森蒂都公開表示了對此事的擔(dān)憂：

隨著算力的提升，在AI研究上我們?nèi)杂惺斋@，但同時，壓力也變得越來越大。

最新的一項(xiàng)研究甚至發(fā)現(xiàn)，單一模型在訓(xùn)練期間產(chǎn)生的二氧化碳排放為180噸，這相當(dāng)于普通汽車整個服役期排放量的3倍。

什么概念呢，大概就相當(dāng)于一個人從紐約坐飛機(jī)去舊金山，又從舊金山坐回來，來回來去2000趟吧…

對此，艾倫研究所，卡內(nèi)基梅隆大學(xué)和華盛頓大學(xué)的科學(xué)家們提出，讓你的AI綠一點(diǎn)。

紅AI與綠AI與AI

不只是喊喊口號，這一回，科學(xué)家們嚴(yán)謹(jǐn)?shù)匾揽繑?shù)據(jù)分析，提出了紅AI綠AI的概念。

先別著急撓頭，科學(xué)家們并不是在搞繞口令創(chuàng)新，只是想知道什么是綠AI，應(yīng)該先了解一下另外一個概念——紅AI（Red AI）。

紅AI

ELMo，BERT，openGPT-2，XLNet……

這些模型的名字是不是一個賽一個響亮？沒錯，它們都在紅AI的名單上。

谷歌的BERT-large需要在一個包含64個TPU的的30億字?jǐn)?shù)據(jù)集上訓(xùn)練四天，才能練成不滅金身。

OpenAI的最強(qiáng)文本生成模型GPT-2-XL用40億字投喂。

至于那只揚(yáng)名全世界的阿法狗，每個小時就能花掉1000美刀。

太！費(fèi)！資！源！了！

科學(xué)家們給它們下了一個定義：這些使用了大量算力資源來追求“state-of-the-art”的AI其實(shí)就是在“買”最佳結(jié)果，它們就是紅AI。

紅AI，是一切只向準(zhǔn)確率看齊的AI，它們的研究人員總是忽略成本和效率，只管state-of-the-art，哪管洪水滔天。

沒有調(diào)查就沒有發(fā)言權(quán)，科學(xué)家們從幾個頂會里抽取了60篇論文，用統(tǒng)計(jì)數(shù)據(jù)說明AI研究人員們就是關(guān)注準(zhǔn)確率多過效率。

真是個紅AI大行其道的時代啊。

不可否認(rèn)，紅AI的工作是有價值的，其中大部分的工作都在幫助人們推動人工智能的界限。

但是，它們確實(shí)不夠高效，并且它們是收益遞減的。

↓↓↓↓

訓(xùn)練樣本指數(shù)增加，目標(biāo)檢測準(zhǔn)確率卻是線性增長的。

△R-結(jié)果；E-樣本；D-數(shù)據(jù)集；H-超參數(shù)

總結(jié)一下，紅AI具有以下幾大特征：

• 訓(xùn)練單個樣本花銷巨大
• 需要大量訓(xùn)練樣本
• 需要大量實(shí)驗(yàn)

再次強(qiáng)調(diào)，推動模型大小，數(shù)據(jù)集大小和超參數(shù)搜索空間的限制邊界是有意義的。

但是，一定要提高對紅AI成本的認(rèn)識，優(yōu)化效率！優(yōu)化效率！優(yōu)化效率！

而對效率的追求，就是所謂的綠AI（Green AI）。

綠AI

綠AI實(shí)際上是一種深度學(xué)習(xí)效率評估標(biāo)準(zhǔn)。

研究人員提到，高昂的成本不僅對環(huán)境產(chǎn)生了壓力，也在阻止來自新興經(jīng)濟(jì)體的研究人員進(jìn)入深度學(xué)習(xí)領(lǐng)域。

畢竟就算環(huán)境允許，也不是誰都能像谷歌那樣動輒燒1000多個CPU的。

綠AI的愿景是，在人工智能研究中，在不增加計(jì)算成本，甚至是減少成本的情況下，仍然能產(chǎn)生新穎的結(jié)果。不增加碳排放，更關(guān)注效率，保護(hù)環(huán)境，更加包容。

那么衡量標(biāo)準(zhǔn)到底是什么呢？

當(dāng)然也可以用碳排放、用電量、消耗時間、參數(shù)數(shù)量這些數(shù)值來對一只AI進(jìn)行評價，但這難免受到地域、設(shè)備差異的影響。

比如用火電和用水電訓(xùn)出來的AI，那能一樣嗎？

研究人員提出FPO（浮點(diǎn)運(yùn)算）來作為評價指標(biāo)。

FPO能夠估計(jì)計(jì)算過程執(zhí)行的工作量。通過定義加和乘兩個基本操作，可以計(jì)算任何機(jī)器學(xué)習(xí)抽象操作的FPO成本，包括矩陣乘法，卷積操作等等。

使用FPO的好處在于，第一，它能直接計(jì)算機(jī)器在執(zhí)行模型的特定實(shí)例時完成的工作量，因此是與能量消耗直接相關(guān)的一個參數(shù)。

第二，F(xiàn)PO與運(yùn)行模型的硬件無關(guān)，有利于不同方法之間的公平比較。

第三，F(xiàn)PO與模型的運(yùn)行時間密切相關(guān)，還會考慮每個時間步長的工作量。

不過，F(xiàn)PO也不是完美的，它忽略了模型的內(nèi)存消耗和實(shí)現(xiàn)等因素。

研究人員承認(rèn)，單靠FPO不足以促進(jìn)真正的綠AI的發(fā)展。他們鼓勵A(yù)I研究人員們在模型訓(xùn)練期間觀察預(yù)算/準(zhǔn)確度曲線，這樣開發(fā)人員能做出更明智的決策，突出不同方法的穩(wěn)定性。

他們還主張將效率列為計(jì)算機(jī)頂會官方承認(rèn)的貢獻(xiàn)，并且支持開發(fā)人員公布預(yù)訓(xùn)練模型，以便為其他人節(jié)省再訓(xùn)練的費(fèi)用。

想想有一天綠AI成為主流，那么抱著筆記本電腦的本科生也可以愉快地搞一搞機(jī)器學(xué)習(xí)了。

網(wǎng)友怎么看

這篇論文一公布，立刻有網(wǎng)友表示，這對AI的發(fā)展來說非常重要。

文章提到了技術(shù)民主化的問題。當(dāng)模型需要越來越多的算力，能夠達(dá)到門檻的人就會越來越少，那么AI技術(shù)就會落入少數(shù)幾個公司手中。

還有網(wǎng)友表示：

長遠(yuǎn)來看，這可能會將更多研究推向更多數(shù)據(jù)簡約深度學(xué)習(xí)技術(shù)。更合理的方法也許是，改進(jìn)軟件以使大型模型的部署更加簡單。

但也有人懷疑Green AI并沒有什么卵用：

就算你可以在10秒內(nèi)訓(xùn)練模型，頂級研究團(tuán)隊(duì)還是不會放棄超強(qiáng)算力。也許綠AI是一件好事，但它不會讓AI研究更環(huán)保，也不會改善包容性。

那么，你會讓自己的AI綠一點(diǎn)嗎？

傳送門

論文：https://arxiv.org/abs/1907.10597

— 完 —