Jeff Dean被迫發(fā)論文自證：解雇黑人員工純屬學(xué)術(shù)原因

蕭簫 2021-04-30 16:10:02 來(lái)源：量子位

蕭簫 發(fā)自 凹非寺
量子位 報(bào)道 | 公眾號(hào) QbitAI

還記得去年12月，Jeff Dean在網(wǎng)上成為“千夫所指”嗎？

當(dāng)時(shí)谷歌一名員工Timnit Gebru準(zhǔn)備發(fā)表一篇AI倫理論文，結(jié)果雙方內(nèi)部評(píng)審上存在著嚴(yán)重分歧，Jeff Dean就把她開(kāi)除了。

這篇論文指出了大語(yǔ)言模型訓(xùn)練時(shí)，造成的碳排放量和能源消耗量過(guò)于巨大，還談到了谷歌BERT在AI倫理上的負(fù)面影響。

不到幾天，已有1400名谷歌員工和1900名AI學(xué)術(shù)圈人士對(duì)谷歌的行為表示譴責(zé)，一向口碑不錯(cuò)的Jeff Dean，也因此成了眾矢之的。

現(xiàn)在，Jeff Dean終于“有理有據(jù)”了——

他親自下場(chǎng)，對(duì)Gebru的論文進(jìn)行了指正，表明她統(tǒng)計(jì)碳排放量和能源消耗的方法“不合理”，并將結(jié)果寫(xiě)成了一篇新的論文。

近日，谷歌聯(lián)合加州大學(xué)伯克利分校，撰寫(xiě)了一篇新論文，仔細(xì)研究了AI模型對(duì)環(huán)境的影響，并得出結(jié)果表明：

AI模型，不會(huì)顯著增加碳排放。

論文指出，Gebru的論文對(duì)AI模型產(chǎn)生的碳排放量估算不合理。

“如果數(shù)據(jù)中心、處理器和模型選擇得當(dāng)，甚至能將碳排放量降低為原來(lái)的百分之一。”

“此前評(píng)估方法不嚴(yán)謹(jǐn)”

Jeff Dean的這篇論文，同樣選擇了NLP模型進(jìn)行研究。

這項(xiàng)研究，將模型的碳排放量定義成多變量函數(shù)，（每個(gè)變量都對(duì)結(jié)果有影響）這些變量包括：

算法選擇、實(shí)現(xiàn)算法的程序、運(yùn)行程序所需的處理器數(shù)量、處理器的速度和功率、數(shù)據(jù)中心供電和冷卻的效率以及供能來(lái)源（如可再生能源、天然氣或煤炭）。

也就是說(shuō)，碳排放與很多因素都有關(guān)系。

而此前的研究，對(duì)模型的評(píng)估方法有誤，尤其是對(duì)基于NAS的模型訓(xùn)練方法理解有誤。

以基于NAS方法的Transformer為例，研究者們經(jīng)過(guò)重新評(píng)估后，發(fā)現(xiàn)碳排放量可以降為原來(lái)的八十八分之一。

研究者們還表示，采用新公式估計(jì)機(jī)器學(xué)習(xí)模型的碳排放量的話，凈排放量可以降低10倍。

采用新公式，研究者們重新估計(jì)了5個(gè)大語(yǔ)言模型的能源使用量和二氧化碳排放量：

• T5，谷歌預(yù)訓(xùn)練語(yǔ)言模型，86MW，47噸
• Meena，谷歌的26億參數(shù)對(duì)話機(jī)器人，232MW，96噸
• GShard，谷歌語(yǔ)言翻譯框架，24MW，4.3噸
• Switch Transformer，谷歌路由算法，179MW，59噸
• GPT-3，OpenAI大語(yǔ)言模型，1287MW，552噸

不過(guò)，即使谷歌的碳排放量，真是Jeff Dean這篇論文統(tǒng)計(jì)的結(jié)果，這些模型訓(xùn)練導(dǎo)致的二氧化碳排放總量也已經(jīng)超過(guò)200噸。

甚至OpenAI的一個(gè)GPT-3模型，就已經(jīng)達(dá)到了這個(gè)數(shù)值。

這相當(dāng)于43輛車、或是24個(gè)家庭在一年內(nèi)的碳排放量。

論文還表示，谷歌會(huì)繼續(xù)不斷提高模型質(zhì)量、改進(jìn)方法，來(lái)降低訓(xùn)練對(duì)環(huán)境造成的影響。

例如，谷歌對(duì)Transformer改進(jìn)后的Evolved Transformer模型，每秒所用的浮點(diǎn)計(jì)算降低了1.6倍，訓(xùn)練時(shí)間也減少了1.1~1.3倍。

除此之外，稀疏激活（讓信息編碼中更多元素為0或趨近于0）也同樣能降低模型能耗，甚至最多能降低55倍的能源消耗、減少約130倍的凈碳排放量。

這篇論文，還引用了發(fā)表在Science上的一篇論文：

即使算力已經(jīng)被增加到原來(lái)的550%，但全球數(shù)據(jù)中心的能源消耗僅比2010年增長(zhǎng)了6%。

論文最后給出的建議如下：

需要大量計(jì)算資源的機(jī)器學(xué)習(xí)模型，在實(shí)際應(yīng)用中，應(yīng)該明確“能源消耗”和“二氧化碳排放量”的具體數(shù)值，這兩者都應(yīng)該成為評(píng)估模型的關(guān)鍵指標(biāo)。

所以，Jeff Dean忽然參與到碳排放量研究中，到底是怎么回事？

與谷歌利益相沖突

事實(shí)上，這篇論文是對(duì)此前Timnit Gebru合著的一篇論文的“指正”。

Gebru那篇論文的標(biāo)題，名為「On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?」（隨機(jī)鸚鵡的危險(xiǎn)：語(yǔ)言模型會(huì)太大嗎？）

論文提出，自然語(yǔ)言模型存在“四大風(fēng)險(xiǎn)”：

• 環(huán)境和經(jīng)濟(jì)成本巨大
• 海量數(shù)據(jù)與模型的不可解釋性
• 存在研究機(jī)會(huì)成本
• 語(yǔ)言AI可能欺騙人類

論文表明，使用神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)搜索方法（NAS）的語(yǔ)言模型，會(huì)產(chǎn)生相當(dāng)于284噸的二氧化碳，相當(dāng)于5輛汽車在其壽命內(nèi)的碳排放量。

論文還以谷歌的NLP模型BERT為例，指出它會(huì)在AI倫理上會(huì)產(chǎn)生一系列負(fù)面影響：

它排放的1823磅二氧化碳量，相當(dāng)于紐約到舊金山航班往返的碳排放量。

這篇論文被認(rèn)為顯然不符合谷歌的商業(yè)利益。

谷歌此前開(kāi)發(fā)過(guò)許多AI模型，包括云翻譯和NLP語(yǔ)言對(duì)話模型等，而谷歌云業(yè)務(wù)，還在2021年Q1收入增長(zhǎng)了46%，達(dá)到40.4億美元。

論文被送到谷歌相關(guān)部門(mén)審核，但過(guò)了兩個(gè)月，卻一直沒(méi)有得到反饋。

2020年12月，Gebru忽然被解雇。

Jeff Dean表示，Gebru的論文存在著一些漏洞，只提到了BERT，卻沒(méi)有考慮到后來(lái)的模型能提高效率、以及此前的研究已經(jīng)解決了部分倫理問(wèn)題。

而開(kāi)除原因，則是因?yàn)椤八筇峁┻@篇論文的審核人員名單，否則將離職?！?/p>

Jeff Dean表示，谷歌無(wú)法滿足她的要求。

這件事一直發(fā)酵到現(xiàn)在，Jeff Dean也正式給出了論文，“學(xué)術(shù)地”回應(yīng)了這件事情。

和挖礦相比如何？

據(jù)Venturebeat報(bào)道，此前研究表明，用于訓(xùn)練NLP和其他AI模型的計(jì)算機(jī)數(shù)量，在6年內(nèi)增長(zhǎng)了30萬(wàn)倍，比摩爾定律還要快。

MIT的一項(xiàng)研究人員認(rèn)為，這表明深度學(xué)習(xí)正在接近它的“計(jì)算極限”。

不過(guò)，商業(yè)巨頭們也不是完全沒(méi)有行動(dòng)。

OpenAI的前老板馬斯克，最近還懸賞了1億美元，來(lái)開(kāi)展碳清除技術(shù)比賽，比賽將持續(xù)到2025年。

這場(chǎng)主辦方是XPRIZE的比賽，鼓勵(lì)研究碳清除技術(shù)，來(lái)消除大氣和海洋中的二氧化碳，以對(duì)付全球氣候變暖的事實(shí)。

但這項(xiàng)技術(shù)，目前還不具備商業(yè)可行性。

據(jù)路透社表示，光是去除一噸碳，就需要花費(fèi)超過(guò)300美元的成本，而全世界一年排放的溫室氣體，相當(dāng)于約500億噸二氧化碳。

那么，產(chǎn)生的這些碳排放量，和挖礦相比如何呢？

據(jù)Nature上的一項(xiàng)研究顯示，到2024年，中國(guó)的比特幣挖礦產(chǎn)業(yè)可能產(chǎn)生多達(dá)1.305億噸的碳排放量，相當(dāng)于全球每年飛行產(chǎn)生的碳排放量的14%。

具體到年份的話，到2024年，全球挖礦產(chǎn)生的能量將達(dá)到每年350.11TWh（1太瓦時(shí)=10^9×千瓦時(shí)）。

而據(jù)Venturebeat的報(bào)道，訓(xùn)練機(jī)器學(xué)習(xí)模型耗費(fèi)的能量，每年估計(jì)也將達(dá)到200TWh。

對(duì)比一下的話，一個(gè)美國(guó)家庭平均每年消耗的能量?jī)H僅是0.00001TWh。

看來(lái)，挖礦造成的環(huán)境污染，確實(shí)要比機(jī)器學(xué)習(xí)模型更嚴(yán)重……

論文地址：
https://arxiv.org/abs/2104.10350

參考鏈接：
[1]https://venturebeat.com/2021/04/29/google-led-paper-pushes-back-against-claims-of-ai-inefficiency/
[2]https://www.reuters.com/article/musk-offering-prize-carbon-removal-0422-idCNKBS2CA025
[3]https://www.nature.com/articles/s41467-021-22256-3