子豪 發自 凹非寺
量子位 報道 | 公眾號 QbitAI
還記得那個全球面積最大、整塊晶片比鍵盤還大的AI超算處理器Cerebras WSE嗎？
剛剛，這款晶片釋出了
2代
。
作為第二代晶圓級引擎， WSE-2以
2。6萬億
個電晶體和
85萬
個AI最佳化核心，再次重新整理記錄。
與一代WSE相比，WSE-2雖然在面積上沒有變化
（依然很大）
，二者看起來沒什麼差別。
但是，晶片的所有效能特徵，包括：電晶體數、核心數、記憶體、記憶體頻寬和結構頻寬，均比一代
增加了一倍以上
。
有哪些升級？
2019年8月，Cerebras推出了
尺寸破紀錄
的AI晶片——“晶圓級引擎”（Cerebras Wafer Scale Engine，簡稱WSE），其中包含1。2萬億個電晶體。
並且在2020年，展示了基於WSE的AI計算機CS-1，計算速度超Joule 200倍以上。
我們將WSE-2與一代，以及A100進行了比較：
可以看到，WSE-2有很大幅度的升級，採用了
7nm
製造工藝，多項資料都是一代的
兩倍之多
。
比起英偉達的A100，WSE-2
多了2。55萬億個
電晶體；核心數是A100的
123倍
；快取是其
1000倍
；可提供的記憶體頻寬，則達到了A100的
13萬倍
。
為什麼採用大晶片？
據Cerebras官方網站介紹，
當今最先進的模型，需要幾天或幾周的時間進行訓練，並且通常在數十、數百甚至數千個GPU上進行分散式訓練，以使訓練時間更可控。
這些龐大的處理器叢集很難程式設計，並且面臨通訊和同步費用高的瓶頸。
而WSE-2將用於業界最快的AI計算機CS-2。
△Cerebras系統（圖源：spectrum）
CS-2專門為加速AI應用而設計，旨在實現
快速、靈活
的訓練和
低延遲
的資料處理，可以在更小的空間和更低的功耗下，提供更高的計算效能。
這使得CS-2擁有更高的計算密度、更快的記憶體和更高的頻寬互連，從而將訓練速度提升數個數量級、使推理的延遲更低，並且易於部署。
Cerebras晶片，將叢集的AI計算和記憶體資源帶到單個裝置上，一個CS-2的效能相當於整個GPU叢集的效能，同時具有單個裝置的簡單性。
CS-2在一個晶片上有85萬個核心，提供了叢集規模的速度，同時
避免了通訊緩慢
的問題。
同時這也意味著，即使是最大、最複雜的ML模型，也
不需要分散式訓練或並行程式設計
，因此能節省數週的模型調整和配置時間。
由於形成了最高頻寬、最低延遲的通訊結構，因此
大型模型的實時推理延遲
得以降低，無需量化、縮小規模和犧牲精度。
△
Cerebras系統
晶圓級引擎的應用
此前，不少實驗室與計算機中心已經部署了Cerebras WSE和CS-1。包括：
愛丁堡大學的超級計算中心，利用WSE進行自然語言處理、基因組學和COVID-19的相關研究。
在美國阿貢國家實驗室（ANL），WSE被用於COVID-19研究、重力波檢測和材料發現等；並且在癌症療法研究中，使癌症模型的實驗週轉時間，減少了300倍以上。
製藥企業葛蘭素史克的高階副總裁金·布蘭森，則表示：
其增加了生成的編碼器模型的複雜性，同時將訓練時間減少了80倍。
……
對於WSE-2的應用，
國際調研公司Tirias Research首席分析師Jim McGregor認為：
“顯然，對用於大型資料集的Cerebras晶圓級解決方案，有些公司和實體很感興趣。
但是在企業層面，還有數百萬的其他AI應用，以及一些Cerebras不能處理的情況，這就是英偉達擁有SuprPod和Selene超級計算機的原因。
“與英偉達相比，Cerebras更像是一個小眾平臺，二者的廣度無法相提並論。”
Moor Insights＆Strategy的分析師Patrick Moorhead也表示：
“ Cerebras確實提供了承諾的核心……
不過Nvidia解決方案更加靈活，幾乎可以安裝在任何伺服器機箱中。”
參考連結：
［1］https：//cerebras。net/
［2］https：//venturebeat。com/2021/04/20/cerebras-systems-launches-new-ai-supercomputing-processor-with-2-6-trillion-transistors/
［3］https：//spectrum。ieee。org/tech-talk/semiconductors/processors/cerebras-giant-ai-chip-now-has-a-trillions-more-transistors
［4］https：//spectrum。ieee。org/semiconductors/processors/cerebrass-giant-chip-will-smash-deep-learnings-speed-barrier
炒股開戶享福利，入金抽188元紅包，100%中獎！
開啟App看更多精彩內容
