蕭簫 發自 凹非寺
量子位 報道 | 公眾號 QbitAI
還記得去年12月，Jeff Dean在網上成為“千夫所指”嗎？
當時谷歌一名員工Timnit Gebru準備發表一篇AI倫理論文，結果雙方內部評審上存在著嚴重分歧，Jeff Dean就把她開除了。
這篇論文指出了大語言模型訓練時，造成的碳排放量和能源消耗量過於巨大，還談到了谷歌BERT在AI倫理上的負面影響。
不到幾天，已有1400名谷歌員工和1900名AI學術圈人士對谷歌的行為表示譴責，一向口碑不錯的Jeff Dean，也因此成了眾矢之的。
現在，Jeff Dean終於“有理有據”了——
他親自下場，對Gebru的論文進行了指正，表明她統計碳排放量和能源消耗的方法“不合理”，並將結果寫成了一篇新的論文。
近日，谷歌聯合加州大學伯克利分校，撰寫了一篇新論文，仔細研究了AI模型對環境的影響，並得出結果表明：
AI模型，不會顯著增加碳排放。
論文指出，Gebru的論文對AI模型產生的碳排放量估算不合理。
“如果資料中心、處理器和模型選擇得當，甚至能將碳排放量降低為原來的百分之一。”
“此前評估方法不嚴謹”
Jeff Dean的這篇論文，同樣選擇了NLP模型進行研究。
這項研究，將模型的碳排放量定義成多變數函式，（每個變數都對結果有影響）這些變數包括：
演算法選擇、實現演算法的程式、執行程式所需的處理器數量、處理器的速度和功率、資料中心供電和冷卻的效率以及供能來源（如可再生能源、天然氣或煤炭）。
也就是說，碳排放與很多因素都有關係。
而此前的研究，對模型的評估方法有誤，尤其是對基於NAS的模型訓練方法理解有誤。
以基於NAS方法的Transformer為例，研究者們經過重新評估後，發現碳排放量可以降為原來的八十八分之一。
研究者們還表示，採用新公式估計機器學習模型的碳排放量的話，淨排放量可以降低10倍。
採用新公式，研究者們重新估計了5個大語言模型的能源使用量和二氧化碳排放量：
T5，谷歌預訓練語言模型，86MW，47噸
Meena，谷歌的26億引數對話機器人，232MW，96噸
GShard，谷歌語言翻譯框架，24MW，4。3噸
Switch Transformer，谷歌路由演算法，179MW，59噸
GPT-3，OpenAI大語言模型，1287MW，552噸
不過，即使谷歌的碳排放量，真是Jeff Dean這篇論文統計的結果，這些模型訓練導致的二氧化碳排放總量也已經超過200噸。
甚至OpenAI的一個GPT-3模型，就已經達到了這個數值。
這相當於43輛車、或是24個家庭在一年內的碳排放量。
論文還表示，谷歌會繼續不斷提高模型質量、改進方法，來降低訓練對環境造成的影響。
例如，谷歌對Transformer改進後的Evolved Transformer模型，每秒所用的浮點計算降低了1。6倍，訓練時間也減少了1。1~1。3倍。
除此之外，稀疏啟用（讓資訊編碼中更多元素為0或趨近於0）也同樣能降低模型能耗，甚至最多能降低55倍的能源消耗、減少約130倍的淨碳排放量。
這篇論文，還引用了發表在Science上的一篇論文：
即使算力已經被增加到原來的550%，但全球資料中心的能源消耗僅比2010年增長了6%。
論文最後給出的建議如下：
需要大量計算資源的機器學習模型，在實際應用中，應該明確“能源消耗”和“二氧化碳排放量”的具體數值，這兩者都應該成為評估模型的關鍵指標。
所以，Jeff Dean忽然參與到碳排放量研究中，到底是怎麼回事？
與谷歌利益相沖突
事實上，這篇論文是對此前Timnit Gebru合著的一篇論文的“指正”。
Gebru那篇論文的標題，名為「On the Dangers of Stochastic Parrots： Can Language Models Be Too Big？」（隨機鸚鵡的危險：語言模型會太大嗎？）
論文提出，自然語言模型存在“四大風險”：
環境和經濟成本巨大
海量資料與模型的不可解釋性
存在研究機會成本
語言AI可能欺騙人類
論文表明，使用神經網路結構搜尋方法（NAS）的語言模型，會產生相當於284噸的二氧化碳，相當於5輛汽車在其壽命內的碳排放量。
論文還以谷歌的NLP模型BERT為例，指出它會在AI倫理上會產生一系列負面影響：
它排放的1823磅二氧化碳量，相當於紐約到舊金山航班往返的碳排放量。
這篇論文被認為顯然不符合谷歌的商業利益。
谷歌此前開發過許多AI模型，包括雲翻譯和NLP語言對話模型等，而谷歌雲業務，還在2021年Q1收入增長了46%，達到40。4億美元。
論文被送到谷歌相關部門稽核，但過了兩個月，卻一直沒有得到反饋。
2020年12月，Gebru忽然被解僱。
Jeff Dean表示，Gebru的論文存在著一些漏洞，只提到了BERT，卻沒有考慮到後來的模型能提高效率、以及此前的研究已經解決了部分倫理問題。
而開除原因，則是因為“她要求提供這篇論文的稽核人員名單，否則將離職。”
Jeff Dean表示，谷歌無法滿足她的要求。
這件事一直髮酵到現在，Jeff Dean也正式給出了論文，“學術地”迴應了這件事情。
和挖礦相比如何？
據Venturebeat報道，此前研究表明，用於訓練NLP和其他AI模型的計算機數量，在6年內增長了30萬倍，比摩爾定律還要快。
MIT的一項研究人員認為，這表明深度學習正在接近它的“計算極限”。
不過，商業巨頭們也不是完全沒有行動。
OpenAI的前老闆馬斯克，最近還懸賞了1億美元，來開展碳清除技術比賽，比賽將持續到2025年。
這場主辦方是XPRIZE的比賽，鼓勵研究碳清除技術，來消除大氣和海洋中的二氧化碳，以對付全球氣候變暖的事實。
但這項技術，目前還不具備商業可行性。
據路透社表示，光是去除一噸碳，就需要花費超過300美元的成本，而全世界一年排放的溫室氣體，相當於約500億噸二氧化碳。
那麼，產生的這些碳排放量，和挖礦相比如何呢？
據Nature上的一項研究顯示，到2024年，中國的比特幣挖礦產業可能產生多達1。305億噸的碳排放量，相當於全球每年飛行產生的碳排放量的14%。
具體到年份的話，到2024年，全球挖礦產生的能量將達到每年350。11TWh（1太瓦時=10^9×千瓦時）。
而據Venturebeat的報道，訓練機器學習模型耗費的能量，每年估計也將達到200TWh。
對比一下的話，一個美國家庭平均每年消耗的能量僅僅是0。00001TWh。
看來，挖礦造成的環境汙染，確實要比機器學習模型更嚴重……
