新智元報道
編輯：好睏 LRS
【新智元導讀】
通用人工智慧（AGI）的目標是訓練的模型具有和人類相當的智慧，卻惹得無數研究人員競折腰。最近Jeff Dean發文，稱他們正在研究下一代AI框架Pathways，目標直指AGI。這次憑藉谷歌的「鈔」能力，Jeff Dean能否再掀起一場AI革命？
前腳專攻通用人工智慧（AGI）的DeepMind想脫離谷歌，後腳谷歌就提出了一種潛在的AGI架構。
前段時間Jeff Dean在TED表示他們正在開發一種超級智慧的AI模型，目前只剩下道德相關的問題沒有解決。
近日，Jeff Dean則親自撰文，介紹了這個全新的機器學習架構——Pathways。
回顧過去20年計算機科學的研究中，或許沒有哪個領域比AI 研究取得的進展更快。
在機器學習技術還沒有那麼驚豔的的2001， 谷歌的20號員工Jeff Dean就已經開始訓練模型對谷歌搜尋的錯誤查詢進行糾正。
在後續的20年中，谷歌始終秉承AI first，為業界貢獻了無數經典模型，word2vec，Transformer，BERT都極大促進了AI的發展。
Jeff Dean也成為了美國工程院院士，建立了Google Brain、開發谷歌機器學習開源框架TensorFlow，還是谷歌廣告系統、谷歌搜尋系統等技術的重要創始人之一，可以說是谷歌的技術奠基人。
但機器學習模型始終還處在一個固定的開發模式中，對於每個任務開發一個特定的模型，建立benchmark 來互相比拼，最後活下來的模型成為新sota。
這種研究方式雖然可以促進模型的研究，提升特定任務的效能，但離通用人工智慧似乎已經越來越遠了。
當一個任務需要變換輸入資料時，現有的模型通常需要重新收集、標註資料，重新研究模型的架構，對於複雜環境的應變能力可以說是十分拉胯了。
Jeff Dean將這個新的模型架構Pathways，稱為「下一代AI 架構」——只訓練一個模型，就可以處理數以萬計的任務型別。
下一代AI架構：Pathways
簡單來說就是，Pathways能夠讓AI模型像人類一樣思考。
問題1：傳統AI模型訓練後只能完成一個任務。
Pathways：訓練一個模型可以做千上萬個任務。
通常來說，每當處理一個新的問題時都需要訓練一個新的AI模型，而這些數學模型的引數實際上是用隨機的權重進行初始化，然後使用標註資料進行訓練的。
但人類每次學習新技能的時候並不是這樣。
這就好像說，你在學習跳繩時，又要忘記曾經所學過的一切技能，包括如何平衡、如何跳躍、如何協調雙手的運動，直接從「爬」開始學習跳繩。
這或多或少就是如今訓練大多數機器學習模型的方式：從無到有地訓練每一個新的模型來做一件事，而且只做一件事（或者把一個通用模型用於一個特定的任務），而不是擴充套件現有的模型來學習新的任務。
直接導致的結果就是，數以千計的任務帶來了成千上萬的模型。這不僅讓學習每個新任務的時間更長，而且還需要更多的資料來學習每個新任務，因為每次學習都需要從零開始學習關於世界的一切以及該任務的具體細節。
Google則希望訓練一個模型，不僅可以處理許多獨立的任務，而且可以借鑑和結合其現有的技能，從而更快、更有效地學習新任務。
舉個例子，當一個模型學會了如何從航拍影象中預測地形和建築的高度之後，它在學習一個新的任務，比如預測洪水帶來的影響時，之前學到的那個知識在這時就會作為一個常識來輔助新的訓練。
此外，模型也會有不同的能力，可以根據需要呼叫，並且還可以將多個模型拼接起來，進而執行新的、更復雜的任務。
問題2：AI模型只能實現一種感知。
Pathways：能夠使用多種感官資料。
人類依靠多種感官來感知世界，這與當代AI模型系統處理資訊的方式非常不同，現在的大多數模型一次只處理一種模式的資訊。
模型的輸入可以是文字、影象或語音，但通常無法同時處理所有的三種資料。
Pathways 也是一個多模態模型，能夠包含視覺、聽覺和語言理解。無論模型是在處理「豹子」這個詞，還是豹子的「聲音」，或是看到豹子奔跑的「影片」，內部都會啟用相同的反應，從而理解豹子的「概念」。
訓練產生的結果是一個更有洞察力、更不容易出錯和產生偏見的模型。
當然，AI模型不需要侷限於這些熟悉的感覺；Pathways可以處理更多抽象形式的資料，幫助找到人類科學家在複雜系統（如氣候動力學）中難以發現的有用模式。
問題3：AI模型是密集且低效的。
Pathways：讓模型變得稀疏且高效。
今天的大多數模型都是「密集型」的，這也就意味著，在完成一個不管是簡單還是複雜的任務時，整個神經網路都會被啟用。
而人類就不一樣了，即便大腦中有近千億個神經元，並且擁有許多不同的區域用於處理各種的任務，但我們只會在特定情況下呼叫其中一小部分來使用。
經過Pathways訓練的AI也可以模擬人類大腦的行為，透過建立一個「稀疏」啟用的單一模型，只有在特定任務需求的時候才會啟用特定部分的神經元。
模型能夠動態地學習網路的哪些部分擅長哪些任務，可以學習到如何找到模型的最相關部分來處理任務。
這種架構的另一大好處是，它不僅有更強大的能力來學習各種任務，因為不需要為每項任務啟用整個網路，所以執行速度更快，並且更省電。
之前Google 也發表過類似的研究，GShard和Switch Transformer是兩個引數量巨大的機器學習模型，但由於兩個模型都使用了稀疏啟用，在實際執行時消耗的能量不到類似規模的密集型模型的1/10，並且準確率還與密集型模型相當。
總結一下？
現階段的機器學習模型，本可以出色地完成很多不同的任務，卻只能選取其中一個過專業化；本可以綜合各種不同型別的輸入，卻只能依賴其中的一種形式；本可以像專家一樣熟練操作，卻只能付諸於暴力計算。
這就是Pathways誕生的原因——讓一個AI能夠跨越數以萬計的的任務，理解不同型別的資料，並同時以極高的效率實現。
不知道各位看完Jeff Dean的文章之後是怎樣的一種感受，反正這位網友表示：「太膚淺了，以至於毫無用處」。
「雖然有很多遠大的目標，卻完全沒有提到他們將如何去實現。」
當然了，也有網友對此表示十分期待。
「看起來非常令人興奮。稀疏可擴充套件的深度學習可以向一個模型中依次新增任務。我也非常期待之後谷歌的開原始碼和樣本。」
但不要忘了，這想搞事的是谷歌，「鈔」能力瞭解一下？
參考資料：
https：//blog。google/technology/ai/introducing-pathways-next-generation-ai-architecture/
https：//www。ted。com/talks/jeff_dean_ai_isn_t_as_smart_as_you_think_but_it_could_be/footnotes？utm_content=2021-10-28&utm_source=t。co&utm_medium=social&utm_campaign=social#t-13177
