當地時間 2021 年 3 月 27 日-4 月 2 日，一年一度的 IEEE VR 會議將於線上舉行。
作為展示虛擬、增強和混合現實（VR/AR/XR）領域最新研究成果的重要國際性會議， IEEE VR 2021 自然也將湧現出不少創意。
比如瑞士蘇黎世聯邦理工學院計算機科學系就研製出了一種手環。
戴上這種手環，我們就可以懸空彈鋼琴。
左右手比劃一下，圖片的位置和尺寸即可得到調整。
“虛擬鍵盤”也出現了。
相關研究成果已於預印本的形式公開，將在 IEEE VR 2021 上發表，題為 TapID： Rapid Touch Interaction in Virtual Reality using Wearable Sensing（TapID：虛擬現實中使用可穿戴感測的快速觸控互動）。
快速觸控互動
內建 2 個慣性感測器
眾所周知，隨著硬體和算力的提升，VR 產生了更為逼真、有吸引力的場景。
VR 正變得越來越流行，傳統產品是透過控制器或攝像頭跟蹤四肢進行互動。然而在研究團隊看來，空中互動是阻礙 VR 場景生產力的關鍵因素，因為 VR 場景需要長時間的持續互動，而傳統方式則無法滿足這一要求。
實際上，VR 系統中觸控互動的一個核心挑戰就在於對觸控事件的精確檢測。
頭戴式系統可以對手進行跟蹤，這種單一的優勢會導致深度感知的不準確性，從而使得觸控/非觸控識別和接觸定位具有挑戰性。
此前研究人員們已經提出了多種方法，透過整合可靠的觸控檢測和抑制濾波器，嘗試用深度攝像機進行精確檢測。當然，不論是濾波器還是相機幀率，都會限制系統實現精確檢測的互動速度。
於是，為了更好地滿足互動需求、保證使用者可以得到片刻的休息，研究團隊設計了一種快速觸控互動，即一種名叫 TapID 的手環——其實，最新的 MR 系統已經結合了用於輸入檢測的手勢識別，AR 裝置（如微軟 Hololens 2）和 VR 裝置（Oculus Quest 2）亦然。
據瞭解，每隻 TapID 都外表小巧，兩側嵌有 2 個慣性感測器。
論文將 TapID 手環稱為是“基於手腕的慣性感測系統”。透過慣性感測器，TapID 提供了粒度和對細微運動的檢測。它不僅可以檢測到某個表面（比如桌面）上的觸控事件，還可以額外識別手指，二者結合即在 VR 中觸發輸入事件。因此，平板和手機上的應用程式、互動模式可以無縫、可靠地轉移到 VR 場景。也就是說，使用者使用 VR 裝置就像是在常見的生產力工具手機和平板電腦上操作一樣。
使用者使用 TapID 時需每個手腕各戴一個，這樣 TapID 就能檢測到使用者的手指輕叩動作。其背後原理在於一種機器學習演算法，該演算法可以分析人體骨骼系統的獨特振動——這在 VR 環境中頗為有效。
具體來講，透過檢測手勢可以確定出是哪隻手指在敲擊“鍵盤”，並不需要精確的位置資訊。使用者可以像在現實世界中一樣在鍵盤上打字，或在表面上與虛擬物件互動。
TapID 實現精確檢測
為檢測 TapID 效能，研究團隊設計了一系列測試。
團隊招募了 18 名參與者（其中 14 名男性、4 名女性；年齡跨度在 19-57 歲，平均 28。4 歲），平均手腕周長為 168 mm（最小 146mm，最大 185mm）。
在每輪測試中，參與者戴上 TaplD，按照指示重複用每根手指展示敲擊的動作（敲 30 下），在短暫休息後，繼續這樣重複兩回。每個參與者都在 20 分鐘內完成了測試。
團隊測得：
TapID 的事件檢測精度 F1 = 0。997；
手指識別精度（單個使用者 F1 = 0。93；多使用者改進後 F1 = 0。91；多使用者改進前 F1 = 0。87）。
論文顯示，TapID 的檢測準確度明顯超過了不少頭顯感測器和攝像頭系統等。
最後，研究團隊總結了 TapID 的一系列用途，包括 UI 控制、敲鍵盤、鋼琴演奏、在桌面上做手勢等等。
講到懸空打字，也許有人會覺得不靠譜，正如開源社群 Hackaday 所說：
在一個虛擬環境中用虛擬鍵盤打字，我們並不敢保證效果如何，畢竟真正的鍵盤更容易觸控到，當然可能也更便宜。
不過 Hackaday 也表示，設計一個能夠準確判斷使用者手指姿態、實現實時互動的裝置，為 VR 領域的應用提供了新思路。也就是說，不論研究團隊演示的懸空打字例子是否具有現實可行性，這項技術確實有效。
或許，未來我們可以順著這種研究思路，提升與智慧手錶的互動方式。
