選單

九天睿芯首款視覺應用的感存算一體新型架構計算晶片流片成功,可同時支援基於幀的相機和事件相機的處理

早在1992年,中國工程院院士許居衍便預測,2014-2017年,人類將進入矽技術生命曲線上的拐點,即將進入“後摩爾時代”。現有馮諾依曼計算系統採用儲存和運算分離的架構,存在“儲存牆”與“功耗牆”瓶頸,嚴重製約了系統算力和能效的提升。人工智慧的發展已經被算力不足,能效過低所約束和限制。

九天睿芯首款視覺應用的感存算一體新型架構計算晶片流片成功,可同時支援基於幀的相機和事件相機的處理

摩爾定律及AI演算法算力的演進發展

九天睿芯首款視覺應用的感存算一體新型架構計算晶片流片成功,可同時支援基於幀的相機和事件相機的處理

馮諾依曼架構與存內計算對比(本圖引用自雲柚資本報道)

早年興起的AR/VR,也因為受限於算力,並未能完全開啟市場。今年來全球頂尖大廠又開始開重視AR,繼2014年臉書重金收購oculus,今年8月底位元組重金收購pico。未來十年,網際網路巨頭必將在元宇宙這個數十萬億級的巨大市場展開漫長大戰。而華為,小米,蘋果,百度等,持續重金投入自動駕駛,國內新能源車企的興盛,與海外特斯拉和傳統車企的入局,自動駕駛標配的市場需求及行業佈局已經非常明確。而深度學習的高強度運算,使晶片超高溫發熱,不僅影響晶片的持續算力穩定,也將影響晶片的使用壽命,影響行車安全,更使得未來的新能源汽車難以實現長效續航。

基於精簡控制,算力堆疊和資料流最佳化的微架構AI晶片創新已經難以為繼;基於新器件和新架構來開發新的人工智慧晶片就顯得非常必要和急需,而這樣新型架構的AI計算晶片才能滿足日新月異的市場需求。

九天睿芯基於多年在全球領先的視覺領域感存算一體研究學習和實踐積累,並和來自世界頂級影象感測器公司的研發合作和戰略投資,已設計出可廣泛應用於視覺領域的超高能效比(20Tops/W)基於SRAM的感存算一體架構晶片ADA20X。這是一款可應用於多種視覺場景的模數混合AI視覺晶片。該晶片存算核心單元已於2021年5月首次流片回片,近日已經完成效能驗證。

由於神經元僅僅在累積到足夠電荷數量之後才會啟用,因此在大多數時間處於低功耗的待機狀態,從而大大降低了功耗。或者從另一個角度上來說,神經擬態晶片僅僅在檢測到有意義的事件後才會進行處理,從而大大降低了能量。所以神經擬態晶片又可以稱為“事件驅動處理”晶片,但純事件驅動的相機和處理會丟失一些靜態的高精度資訊。而九天睿芯的晶片,可以同時支援高精度的影象及高時間解析度的事件處理。

綜合來看,九天睿芯ADA20X具有以下幾大優勢和特性:

1、像人腦一樣的存算一體架構,打破了馮諾依曼儲存計算分離的計算架構所造成的“記憶體牆”的系統限制,這是類腦計算的核心突破。

2、高能效比,並且不會因計算任務的架構複雜化而功耗激增。這使得讓計算耗電和散熱兩大難題找到新的解決方向。

3、可同時支援CNN和 Transformer及以SNN代表的類神經元計算架構,在未來AI發展之路上想象無限。並且具備架構靈活,陣列化計算效率不衰減等等優點。

4、在輸入形式上,可以同時支援動態視覺感測器(aka事件相機)的event輸入,也可以支援傳統相機的影象輸入。

5、配有基於存內計算的ISP,可同時支援事件和影象的預處理。

九天睿芯首款視覺應用的感存算一體新型架構計算晶片流片成功,可同時支援基於幀的相機和事件相機的處理

感存算一體架構與傳統架構對比優勢

ADA20X具有高度可定製性,可依據不同的市場需求,定製不同算力及介面的專用晶片,算力覆蓋從0。3Tops-200Tops,但最低功耗卻可低至μW級別,可以滿足平板電腦、可穿戴、智慧家居、AR/VR、電池供電IPC、ADAS等多種不同的視覺應用場景。相比傳統數字AI視覺晶片,純數字晶片的存內計算面積大(運算單元大),資料搬運功耗大,而ADA20X則具備數量級級別優勢的超低功耗,是傳統數字晶片功耗的約1/10, 更可以實現更高的能效比,針對電池供電類裝置等一系列對超低功耗,高能效比的應用領域有無與倫比的架構先發技術優勢。比如AR場景中的影片處理中的手勢識別、眼球跟蹤,高能效比的計算晶片可以極大的提高AR裝置的使用時長,從而提升使用者體驗。這是感存算一體技術,作為後摩爾定律時代一個最為重要的技術突破方向,首次有實際商用晶片產品落地。

九天睿芯首款視覺應用的感存算一體新型架構計算晶片流片成功,可同時支援基於幀的相機和事件相機的處理

ADA20X實物圖

今年6月九天睿芯也已完成了由韋豪創芯和浦東科創聯合領投的億元級人民幣的A輪融資,公司首顆量產晶片ADA100獲得國內多個戰略級客戶的高度認可。團隊其他核心成員畢業於瑞士聯邦理工、新加坡南洋理工大學、清華大學、北京大學、西安電子科技大學、電子科技大學等,並曾就職於華為、IMEC、Qualcomm、Intel、匯頂等半導體知名企業,在Neuromorphic Engineering(神經擬態工程)、晶片設計開發、神經網路及計算架構領域研發經驗十數年。九天睿芯在深圳,上海,成都,瑞士均有研發中心,也期待更多半導體相關的海內外人才的加入,共同開拓後摩爾時代的新篇章。

Prof Tobi Delbruck, IEEE Fellow, ETH教授,事件相機發明人,九天睿芯科學顧問,博士畢業於加州理工神經擬態工程開拓者Carver Mead實驗室,Insightness 聯合創始人(被Sony收購), Inivation聯合創始人(被三星投資):

It is a great step forwards for Reexen to have silicon for NPU with SRAM based mixed-signal in-memory computing。 This field is crowded, but Reexen is one of only a handful that has silicon with this combination of features。 Their partnership with such MRAM-capable fab is rare and CEO Liu —— who focused on combined frame and event-based vision processing for her PhD at my group and already has a lot of experience as entrepreneur with a big network of connections —— has assembled a team led by the creative technical strength of CSO Yang, who has rich experience in mixed signal design for neuromorphic sensing and processing 。 The application of event-based vision and audio sensors needs efficient parallel processors especially for AR/VR。 I look forward to seeing what this technology can concretely offer。

九天睿芯已經有了視覺應用的基於SRAM的模數混合的存內計算晶片,這是個大的里程碑。NPU方向雖然已經比較擁擠,但九天睿芯的晶片是少數不多的能夠實現這種效能和同時支援事件及影象處理的。九天睿芯CEO劉洪傑,博士畢業於我的實驗室,專注於事件與影象的融合處理,同時擁有很多人脈資源,聚集了首席科學家楊等帶領的非常有創新能力的團隊,具有豐富的混合訊號神經擬態感測及處理晶片設計經驗。 事件相機和事件語音感測器的應用需要非常高效的並行處理器,尤其是在AR/VR等的應用上, 我非常期待這個技術帶來的影響。

韋豪創芯合夥人樑龍:

很高興韋豪創芯於2021年領投了由劉洪傑博士創立的九天睿芯的A輪融資,在多次的產業鏈技術交流中,充分感受到九天睿芯在感存算一體技術積累實力和以及紮實的產品創新及落地能力。

韋豪創芯持續關注超低功耗解決方案在個人穿戴方向應用創新,隨著AR/VR ,電池供電IPC,手錶,TWS耳機市場的持續爆發,如何更好的支撐“always on“ 和長時間待機成為影響使用者體驗的關鍵功能,九天睿芯的基於SRAM的感存算一體技術給出了一個很好的路徑,這個路徑在目前的工藝基礎上最具量產性而且可以達到比較高的計算精度和麵積功耗效率,我們非常期待相關產品儘快落地,不斷提高個人穿戴的使用者體驗。

上海韋豪創芯投資管理有限公司專注於泛半導體領域優質企業的股權投資。公司管理團隊具備豐富的硬科技行業從業和投資經驗,不斷髮現和賦能優秀的泛半導體領域高成長企業。目前公司著力於五大核心投資賽道:超越視覺、汽車半導體、可穿戴裝置、電源及訊號鏈以及積體電路製造裝備及材料。

浦東科創海望基金CTO劉子青:

很高興由浦東科創設立的私募基金,海望智慧財產權股權投資基金於2021年和韋豪共同領投了劉洪傑博士創立的九天睿芯的A輪融資,浦東科創浦東科創集團一直聚焦產業鏈最上游、價值鏈最高階和技術體系的最底層,深耕具有智慧財產權、壁壘足夠高、難以模仿和複製的關鍵核心硬科技領域的投資,九天睿芯的感存算一體的技術,作為後摩爾定律時代一個最為重要的技術方向,非常符合我們浦東科創集團的投資理念。同時我們也注意到,九天睿芯團隊匯聚了一批世界相關領域頂尖水準的科學家,他們不但具備國際化視野和國際合作經驗的同時,也具備豐富的晶片量產經驗,公司團隊非常務實,從輕量級的語音智慧訊號鏈晶片起步,逐步過渡到更高算力的視覺處理晶片逐步迭代,從而完成感存算一體這個新型技術架構從科研到工業化應用的轉換;

浦東科創集團是上海市浦東新區政府為推進有全球有影響力的科創中心建設,推動高科技產業發展出資設立的、專業從事創業投資、科技金融服務的國有大型企業集團。公司成立於1999年6月,是中國最早一批由地方政府出資設立的國有創業投資機構。公司旗下擁有4家市發改委備案的創投資質企業,已陸續投資了中微、盛美、晶晨、復旦張江、透景生命、奕瑞光、翱捷科技、芯原等一大批有行業影響力的半導體龍頭企業、上市公司、獨角獸企業,並參與管理了國家中小企業發展基金、上海市積體電路基金、人民浦東文創基金、上海市文化產業發展基金等。集團目前擁有強大的投資生態圈,廣泛的產業和政府資源,深厚的投資關係網路,與交易所、投行、券商、基金、銀行等有著緊密的合作關係。構建了從投資到退出的全產業鏈投資體系:累計投資基金59支,累計所投資基金規模超過1000億元,已投資專案800多個;集團累計直接投資專案200多個,累計直接投資金額60億元。