檢視引用/資訊源請點選：映維網
更接近於在元宇宙中實現逼真的虛擬物件和物理互動
（
映維網 2021年11月02日
）Meta執行長馬克·扎克伯格日前表示，一種全新的觸控感測器和一種塑膠材料有望支援元宇宙的開發。在一個研究專案中，Meta AI團隊與卡內基梅隆大學的科學家開發了一種可變形的塑膠“面板”。
名為ReSkin的材料厚度不到3毫米，成本相對低廉。在原理方面，它嵌入可以產生磁場的磁性粒。當與另一個表面接觸時，粒子所產生的磁場會發生變化。這時，感測器記錄磁通量的變化，然後將資料輸入解釋施加力或接觸的AI軟體。
如下圖所示，實驗利用葡萄和藍莓等軟水果作為測試。在有ReSkin反饋的情況下，機器人能夠控制力度，並輕輕地握持水果。但沒有ReSkin反饋時，機器人則會用力過猛並壓扁水果。
扎克伯格在Facebook發帖寫道：“我們設計了一種高解析度的觸控感測器，並與卡內基梅隆大學合作創造了一種薄薄的機器人面板。這使得我們更接近於在元宇宙中實現逼真的虛擬物件和物理互動。”
相關研究將在本月發表到學術期刊，但尚待同行評議。不過，團隊已經在專門的頁面介紹了這個專案的詳細情況，下面是映維網的具體整理：
我們的觸覺幫助我們導航周遭世界。有了它，我們可以收集關於物體的資訊，比如輕重和軟硬。從穿鞋到做飯，我們利用觸覺來完成各種日常任務。如今，人工智慧可以有效地融合視覺和聲音等感官，但觸覺依然是一個挑戰。這在一定程度上是由於觸覺感測資料有限。所以，人工智慧研究人員希望將觸控融入到模型中，從而實現人類觸控感知的豐富性。
Meta AI和卡內基梅隆大學合作開發了一種全新的開源觸控感應“面板”ReSkin。它可以幫助研究人員快速地、大規模地提高AI的觸覺感應能力。利用機器學習和磁感應方面的進步，ReSkin為長期使用提供了一種低價、通用、耐用且可更換的解決方案。它採用自監督學習演算法幫助自動校準感測器，所以具有通用性，並能夠在感測器和系統之間共享資料。
團隊將釋出設計、相關文件、程式碼和基本模型，以幫助AI研究人員使用ReSkin。這反過來將有助於快速地、大規模地提高人工智慧的觸覺感知能力。更多專案資訊可訪問這一頁面。
相關論文
：
ReSkin： versatile， replaceable， lasting tactile skins
https：//paper。nweon。com/11362
像ReSkin這樣的觸覺感應面板將能提供豐富的接觸資料來源，並有助於在廣泛的觸控任務中推進AI，包括物件分類、本體感覺和機器人抓取。接受過觸覺感知技能訓練的人工智慧模型將能夠完成多種任務，包括需要更高靈敏度的任務，如在醫療環境中工作，操縱小型的、柔軟的或敏感的物體。ReSkin同時可以與其他感測器整合，在實驗室外和非結構化環境中收集視覺、聲音和觸控資料。組合多模態資料集有助於構建世界的物理現實模型，同時可以利用資料冗餘進行自我監督學習。
1. ReSkin：一種更好的柔性感測器
ReSkin的生產成本很低，100個的成本不到6美元，而更大批次的生產成本會更低。它的厚度為2-3毫米，可支援50000多次互動，同時具有高達400Hz的時間解析度和1毫米的空間解析度，精度為90%。這個規格使其成為各種形狀引數的理想選擇，如機器人手和觸覺手套。ReSkin同時可以為投擲、接住和拍手等快速操作任務提供高頻三軸觸覺訊號。當它磨損時，它可以很容易地拆離和更換。
ReSkin是一種可變形的彈性體，內含磁性粒子。當它以任何方式變形時，周圍的磁訊號都會發生變化。我們可以用附近的磁力計測量變化，並使用資料驅動技術將其轉化為諸如接觸位置和作用力大小等資訊。
目前，大多數觸覺感測實驗都依賴於單個感測器，因為每當更換面板時都需要重新學習模型，這既低效又不切實際。為了避免每次更換新面板時都需要訓練新面板，團隊致力於建立一種通用面板。
然而，像ReSkin這樣的柔性面板通常很難泛化，因為在使用柔性材料時會自然出現製造變化。每個感測器都需要經過初始和徹底的校準程式，以確定其各自的響應。另外，柔性材料會隨著時間的推移而改變特性，並根據使用方式的不同而有所不同。這意味著校準程式同時必須自行適應相關變化。早期的柔性感測器開發通常側重於感測原理的詳細分析，但大多數柔性感測器沒有研究長期響應（如一週後發生的響應），同時未開發非專家使用的自動校準過程。
對於ReSkin，團隊透過三個關鍵洞察來克服所述挑戰。
首先，ReSkin消除了柔性材料和傳統測量電子裝置之間的電氣連線需求。相反，磁訊號依賴於鄰近性，所以電子裝置只需要在附近即可。ReSkin同時比典型的柔性感測器更有效，因為它將內部電子電路與被動介面分離。這使得更換磨損面板就像剝下和貼上貼紙一樣容易。
其次，可以更好地利用來自多個感測器的資料來訓練模型的對映功能，而不是依賴單個感測器的輸入資料。以這種方式，團隊對模型進行了更高多樣性的資料訓練，這有助於它產生更有效和更為泛化的輸出。
最後，團隊沒有為每個新感測器收集校準資料，而是利用了自監督學習的進展，使用少量未標記的資料自動微調感測器。研究人員發現自我監督模型比沒有自我監督的模型表現更好。他們可以使用未標記資料的相對位置來幫助微調感測器的校準，而不是提供ground-truth力標記。例如，在三個接觸點中，物理上更接近的兩個接觸點將具有更相似的觸覺訊號。
綜上所述，ReSkin能夠帶來一系列多功能、可擴充套件且價格低廉的觸覺模組，而這是現有系統所不能實現的事情。現有的攝像頭式觸覺感測器要求表面和攝像頭之間的距離最小，並導致體積更大的設計。相比之下，ReSkin可以作為一個柔薄層包裹到人類和機器人的手和手臂。
紐約大學計算機科學助理教授勒雷爾·平託（Lerrel Pinto）指出：“強大的觸覺感知是機器人技術的一個重要瓶頸。目前的感測器要麼太貴和解析度太低，要麼對於定製機器人而言太過笨重。ReSkin有潛力克服其中幾個問題。它重量輕，體積小，可以與任意夾持器相容，我非常高興能進一步探索這種感測器在我們實驗室機器人上的應用。”
2. 實驗效果
為了呈現ReSkin的實用性，並展示它如何有助於研究人員利用以前難以收集的各種觸覺資料來推進人工智慧，團隊透過數個示例應用進行了演示：
2.1 徒手操作
ReSkin為手部操作提供了有用的觸覺感知功能，例如訓練機器人使用鑰匙開鎖或抓取葡萄或藍莓等軟物件。團隊透過機器人夾持器演示了其有效性：
兩個磁性外殼和柔性電路板放置在平行的鉗口夾持器的兩側，它能夠透過板載微控制器採集資料並評估力反饋。夾持器內建的力感應無法完成任務，但透過ReSkin，它可以很好地感應力反饋以控制抓取。當用新面板替換面板時，系統能夠正常工作，無需額外調整。
2.2 野外測量
ReSkin緊湊和非突兀的設計使其成為野外測量的理想選擇。為了展示這一點，團隊在一隻狗狗的鞋底放置了一張磁性面板和一塊柔性電路板。透過收集的資料，感測器可以追蹤狗在休息、行走和跑步過程中施加的力的大小和方向。
2.3 人機互動
ReSkin同時可用於測量人物互動過程中的力，例如拿起物體的時候。團隊在被試右手食指放置了一張面板和一塊電路板，然後右手穿戴丁腈手套。利用收集的資料，研究人員在被試製作紅豆麵包時測量了感測器的輸出。
2.4 接觸定位
ReSkin同時可以在更大的表面區域進行接觸定位。這對於構建依賴於知道物件所在位置的模型非常有用。例如，如果需要訓練機器人可靠地撿起物體，它首先需要知道要在哪裡接觸物體，以及要用多少力。
3. 下一步是什麼
團隊對可泛化觸覺感知的研究帶來了今天的ReSkin。它成本低，就像繃帶一樣容易更換，並且可以立即使用。這是一個強大的工具，可以幫助研究人員建立賦能多種應用的AI模型。
Meta AI表示，希望將觸覺感知作為人工智慧研究的一個領域進行大力推進。除了ReSkin，這家公司同時宣佈了面向觸控處理的開源生態系統，涵蓋高解析度觸控硬體（DIGIT）、模擬器（TACTO）、基準測試（PyTouch）和資料集等等。
團隊相信相關進步將能提升人工智慧的感知能力，並使其不再侷限於視覺和聲音方面，從而提高觸覺感知的應用。另外，團隊非常期待研究界將如何利用所述工具以進一步推進人工智慧領域的發展。
