選單

噴上它就能憑空打字!鮑哲南團隊開發新型智慧面板,可準確識別手部動作,打字手語不在話下

蕭簫 發自 凹非寺

量子位 | 公眾號 QbitAI

注意看,這人的面前沒有鍵盤。

但他在桌上做出打字動作後,電腦螢幕上就出現了對應的字母:

噴上它就能憑空打字!鮑哲南團隊開發新型智慧面板,可準確識別手部動作,打字手語不在話下

△亞克力板只印刷了鍵位,不發出訊號

這個神奇的“虛空打字”能力,來自一款智慧面板。

與其他材料不同,它可以

像噴霧一樣

被附著在手上,其中的微型電子網路可以感知面板的變形情況。

不止是憑空打字,有了它甚至能透過觸控3D物體感知形狀、以及用電腦識別手語。

如果將它噴到臉上,還可以識別人臉面部表情,在元宇宙裡做個有表情的人指日可待了

(doge)

噴上它就能憑空打字!鮑哲南團隊開發新型智慧面板,可準確識別手部動作,打字手語不在話下

這款智慧面板來自斯坦福鮑哲南團隊、韓國建國大學、首爾大學和KAIST,目前已經登上Nature Electronics。

噴上它就能憑空打字!鮑哲南團隊開發新型智慧面板,可準確識別手部動作,打字手語不在話下

所以它究竟是如何識別手勢的?

超薄面板如何識別手指訊號?

先來看看這塊面板是如何基於“超薄材料”收集手指訊號的。

整體來看,它由一個

無線訊號收發模組

和一塊

奈米級網狀網路

組成。

其中,無線模組用於收集並傳輸從人類手上感知到的面板變形狀態,當人類的手指面板因為拉伸產生變形時,相應部位就會改變網路

導電能力

(電導率)

,從而成功傳遞手部運動訊號。

噴上它就能憑空打字!鮑哲南團隊開發新型智慧面板,可準確識別手部動作,打字手語不在話下

至於奈米級網路的“網線”,則由一個“金包銀”的結構製成,即

銀線外面鍍金

這樣既能保證強大拉伸能力,又可以抵抗反覆的摩擦力,同時還能確保一定的透氣性和生物相容性

(降低過敏機率)

噴上它就能憑空打字!鮑哲南團隊開發新型智慧面板,可準確識別手部動作,打字手語不在話下

將智慧面板噴塗到手上,只需要將手伸進一個特殊的“印刷機”裡:

噴上它就能憑空打字!鮑哲南團隊開發新型智慧面板,可準確識別手部動作,打字手語不在話下

在那之後,就是用AI演算法來識別不同的手部訊號、並判斷它具體在做什麼動作了。

噴上它就能憑空打字!鮑哲南團隊開發新型智慧面板,可準確識別手部動作,打字手語不在話下

論文基於對比學習開發了一種AI演算法,可以區分不同的未標記運動訊號。

然而,雖然面板噴塗能很好地適應不同大小的手,但對於AI演算法來說可不是這樣。

一方面,目前針對智慧面板收集的AI資料有限,用來訓練遠遠不夠;另一方面,由於不同人手部差異較大,即使AI模型成功學習,運用到不同手上也會出現差異性的效果。

如何解決這一問題?

不同大小的手怎麼適應?

作者們想到用

元學習

的方式,基於少量資料快速讓AI演算法適應不同大小的手。

首先,基於已有的感測器訊號資料進行無監督學習,讓模型掌握基本識別能力。

噴上它就能憑空打字!鮑哲南團隊開發新型智慧面板,可準確識別手部動作,打字手語不在話下

隨後收集任意使用者擊打

9宮格數字

的少鏡頭標註資料集,快速訓練模型學會識別對應的動作,相當於給不同的人定製專屬模型。

噴上它就能憑空打字!鮑哲南團隊開發新型智慧面板,可準確識別手部動作,打字手語不在話下

這樣的思路還能被用在適應更多其他任務上。

不止是輸入9宮格數字,類似的預測還能被用在雙手鍵盤輸入上。

如果給兩隻手都印上智慧面板,這樣使用者連續輸入句子時,預測的字母就會出現在介面上。

據一作Kyun Kyu Kim介紹,如果能將這類智慧面板進一步推廣到臉上,還能更精準、高效低成本地識別使用者表情。

作者介紹

論文作者來自斯坦福大學、韓國科學技術院

(KAIST)

、首爾大學和韓國建國大學。

噴上它就能憑空打字!鮑哲南團隊開發新型智慧面板,可準確識別手部動作,打字手語不在話下

一作Kyun Kyu Kim,目前在斯坦福大學任博士後研究員,本科畢業於高麗大學,並在首爾大學獲得碩博學位。研究方向是人機互動,尤其是奈米材料和機器智慧相結合的製造技術。

噴上它就能憑空打字!鮑哲南團隊開發新型智慧面板,可準確識別手部動作,打字手語不在話下

通訊作者Sungho Jo,KAIST助理教授,碩博畢業於MIT,研究方向為智慧機器人、人機互動、計算智慧、計算神經工程、仿生系統設計、仿生學習與控制等。

噴上它就能憑空打字!鮑哲南團隊開發新型智慧面板,可準確識別手部動作,打字手語不在話下

通訊作者Seung Hwan Ko,首爾大學副教授,主要研究下一代非傳統微/納米制造方法的開發,包括新材料開發、高解析度直接製圖工藝開發和應用開發等。

噴上它就能憑空打字!鮑哲南團隊開發新型智慧面板,可準確識別手部動作,打字手語不在話下

通訊作者鮑哲南,斯坦福大學化學工程、材料科學與工程教授,美國國家工程院院士,研究方向是利用化學、物理和材料科學開發人造電子面板。

你想好把這個智慧面板用在哪裡了嗎?

論文地址:

https://www。nature。com/articles/s41928-022-00888-7

參考連結:

https://techxplore。com/news/2022-12-spray-on-smart-skin-ai-rapidly。html

開啟App看更多精彩內容