1月份VR陀螺兩次介紹XR的標配技術眼動追蹤 - 《孕育兩家上市公司，20年沉澱的Tobii用眼動追蹤撬動多個市場》和《新一代XR頭顯標配，詳解眼動追蹤技術的價值和挑戰》，得到了很多讀者的關注，也引發了不少討論。
近日，我們與Tobii副總裁尤浩魁（Johan Hellqvist）進行了一次對話，就大家感興趣的問題進行了深入探討。
Tobii副總裁尤浩魁
VR陀螺：尤先生，您好！很高興有機會和您一起探討 XR 的現狀、元宇宙、以及眼動追蹤將如何為其帶來新體驗。
尤浩魁：您好！我也很榮幸有機會在中國農曆新年的開年之際和您一起探討這個引人入勝的話題。
VR陀螺：近幾個月來，元宇宙變成了一個炙手可熱的討論話題。您認為元宇宙是什麼？怎麼看這個概念？
尤浩魁：如大家所知，元宇宙不是一個新概念。它的出現是因為人們在不斷髮展的技術之間建立了創新的聯絡。它是一個混合現實 （MR） 空間，人們可以聚在一起工作、娛樂、協作，甚至以他們自己或虛擬形象的身份謀生。這是一個公平的競爭環境，任何人都可以在任何地方從任何裝置進入。未來，技術平臺將解決時間和空間的挑戰，讓使用者在混合現實中體驗到真實性和連貫性。
今天，大部分對元宇宙概念的熱捧是因為 Meta（Facebook的前身）、微軟和英偉達等大型科技公司正在使用元宇宙來描述一系列技術的融合。雲服務、廣域網和行動網路已經成熟到可以為運營商提供可持續的商業模式，各類裝置已經漸趨成熟並開始兌現身臨其境的承諾。不斷縮小的外形尺寸和更低的價格進一步推動了XR裝置的運用——這為內容創造了新的需求，也為開發人員提供了不斷擴大的市場。當你將所有這些聯絡起來時，你就會得到元宇宙和它所承諾的東西。
圖源：網路
VR陀螺：元宇宙與眼動追蹤以及Tobii 有什麼關係？
尤浩魁：隨著元宇宙的發展，我們將看到 VR 和 AR 可穿戴裝置的普及，因為它們將提供更多創新的沉浸體驗。Tobii 的技術將實現在元宇宙中本無法實現的真實連線，因為我們能提供逼真的眼神交流和對人類注意力的理解——這些都是溝通的核心要素。
從很小的時候起，孩子們就學會了遵循視覺線索來理解世界。當你看著一個人的眼睛或觀察他們的嘴唇如何移動時，意圖解釋的差異是巨大的。所以，只有在XR裝置配備了眼動追蹤功能時，才能在虛擬和真實世界之間的溝通中有效地表達真實意圖。
再比如鍵盤或滑鼠之類的控制裝置，它們原本也不那麼直觀，但後來我們逐漸接受了這些資訊輸入方式。但在元宇宙中（尤其是AR環境下），我想使用者們大概不想以尷尬的方式揮動我們的手或控制裝置。
現實生活中，我們使用手勢、語言和眼神交流來表達意圖，元宇宙中的體驗也應如此。捕捉注視點、頭部運動和麵部特徵的眼動追蹤將實現快速身份驗證，並利用頭部姿勢和視覺線索進行直觀交流。眼動追蹤還將支援簡單、直觀的手勢使用，代替手指指向及其他複雜且需謹慎操控的手勢使用場合。
對於使用增強現實裝置進入虛擬世界的人來說，眼動追蹤至關重要。我們的技術提供的資訊將幫助開發人員將虛擬物件無縫地編織到物理世界中。因此，眼動追蹤將有助於減少真實世界和虛擬世界之間的視差，讓使用者感覺真實和連貫，得到愉快的體驗。另外，眼動追蹤技術也是開發多焦點顯示器和自動調節系統的基礎。
VR陀螺：XR 裝置是元宇宙的入口，它們需要能為使用者提供沉浸感和真實參與感。為此，提高裝置體驗的舒適度成為一個重要目標。在這個方面，眼動追蹤能起到什麼樣的作用？
尤浩魁：XR裝置可以透過 Tobii 眼動追蹤提高使用者的舒適度，這是因為頭顯裝置可以利用瞳距測量來匹配不同生理特徵的使用者，使絕大多數使用者獲得一致的高質量的使用者體驗，同時還能對頭顯佩戴進行自動調整，而不影響使用者體驗。
使用者還可能會遇到暈動（motion sickness）的問題，而高解析度圖形可以幫助解決這個問題。這就是動態注視點渲染等技術對XR 裝置在拆分式或本機式處理架構中執行中所起到的重要作用。
2021年，我們和英偉達一起釋出了基於Tobii Spotlight的新一版可變速率超級取樣 VRSS 2技術。這兩種技術協作以最小延遲向驅動程式提供注視資訊，使開發人員能夠建立從動態注視點渲染中獲益的應用程式，而無需寫一行程式碼。由此產生的穩定高幀率有助於降低部分使用者在使用 VR 時遇到的眩暈閾值。
（圖源：Tobii）
VRChat中同一場景比較顯示，啟動基於Tobii眼動追蹤的Nvidia VRSS2可以得到更加清晰的影象畫面。上圖為未開啟注視點渲染，下圖為開啟狀態
VR陀螺：從硬體角度來看XR有哪些新技術趨勢？Tobii 是否可以確保解決方案和整合平臺適應這些新趨勢？
尤浩魁：影象質量和裝置重量歷來影響著可穿戴裝置的使用體驗，這推動了摺疊光學器件（在 XR 中通常被稱為pancake透鏡）的開發和採用，比傳統的菲涅爾透鏡設計更能得到重量更輕、體積更小的頭顯裝置。
在XR OEM逐漸採用摺疊光學設計的轉變中，Tobii XR已做了充分的支援準備。比如我們2021 年的大部分研發工作都集中於開發新一代的整合平臺，以便為這種新興架構提供最優解決方案。Tobii新一代的方案設計緊湊，無需對頭顯進行侵入性更改即可實現整合，能最大限度地減少能耗。
另一個重要趨勢式是主要的硬體開發商在消費級XR裝置中採用了眼動追蹤。去年，有兩個主流XR頭顯裝置原生整合了我們的解決方案：Pico Neo 3 Pro Eye 和 HP Reverb G2 Omnicept Edition。Pico 的成功表明了市場對一體式裝置的需求，而惠普的成功則表明了市場對多種感測器的需求。另外，Pimax也宣佈了與Tobii的合作伙伴關係，要把元宇宙的全部潛力帶給消費者。
對於消費裝置的XR OEM來說，Tobii解決方案的一個關鍵差異化因素是，Tobii的整合平臺廣泛適配絕大多數光學方案，眼動追蹤技術在高度覆蓋使用人群時，仍可獲得領先於所有其他技術提供商的高精確度和準確度效能表現。
VR陀螺：在消費級XR 裝置中應用眼動追蹤技術時，您認為最大的挑戰是什麼？
尤浩魁：正如之前提到過的，Tobii的技術目標是要適用於任何人、任何地方和任何裝置（“三任何原則”），開發一種在受控環境中工作的眼動追蹤系統是相對容易的，但要符合“三任何原則”卻著實不易。Tobii經過二十多年的不懈努力，已經能夠提供適合不同眼睛形狀、顏色、視網膜反射率、以及視力矯正等問題的解決方案。對於消費級裝置而言，我們的目標不僅僅是要達到 95%以上的使用者覆蓋率，更是要能提供在量產裝置中可復現的強大解決方案。
VR陀螺：您認為哪些眼動追蹤應用領域會首先進入元宇宙？
尤浩魁：醫療保健、遠端協作、遊戲、社交、教育和基於模擬的培訓等有可能是探索元宇宙的先行者，其中我們已經看到醫療保健成為企業應用領域的領跑者。我之所以這麼說，是因為在2021年我們看到了市場對 Tobii Ocumen 的巨大興趣——這是一款用於資料記錄、組織和高階分析應用程式以揭示人類行為的分析工具包產品。
在消費領域，鑑於當前的使用者興趣和平臺發展方式，社交應用和遊戲將經歷高速增長。我認為這些是消費者最期待的元宇宙體驗領域。對於 Tobii，這意味著我們將繼續與XR OEM、開發者和內容創作者密切合作，將真實的社交存在、逼真的虛擬形象、直觀的介面和用於身份驗證的生物識別等功能帶入未來元宇宙。
（圖源：網路）
SyncThink的EYE-SYNC 產品系列採用整合了Tobii眼動追蹤的Pico Neo裝置以及Tobii Ocumen
VR陀螺：應用開發確實是元宇宙裡極其重要的一環，您可以談一下行業標準和 OpenXR 的重要性嗎？
尤浩魁：促進跨平臺發展最有效方法之一是開放標準，因為它們有助於防止供應商鎖定以及耗時耗力的裝置調整。它還能允許大型科技企業和小眾運營商一起工作。我們知道，OpenXR 早在 2020 年就釋出了眼動追蹤標準擴充套件，我們今年可以期待的是該標準在商用裝置和 Microsoft Windows MR 平臺等支援類解決方案中的實施。Tobii是OpenXR工作組的主要成員，我們一直在推動OpenXR中眼動追蹤技術的標準設立和跨平臺推廣。
VR陀螺：新年伊始，您覺得我們在 2022 年可以期待些什麼？Tobii 將如何為元宇宙使用者體驗增加價值？
尤浩魁：對我來說，我期待每臺XR頭顯裝置中都整合眼動追蹤技術，這將需要像我們這樣的整合技術，來實現任何人、任何地方和任何裝置都可以獲得的高品質元宇宙體驗的目標。
我們將看到裝置型別繼續呈多樣化發展，但主要趨勢將會體現在輕量級的一體式頭顯裝置上。對於開發人員來說，元宇宙為商業敘事和創新應用的開發提供了一個堅實的平臺。
我們可以期待看到一些早期的專業級消費者（prosumer），但與大多數新興解決方案一樣，最初的體驗可能會有些零散。我們還將看到會有越來越多的協作應用程式來幫助企業突破組織界限，消除由時空限制造成的孤島效應。
消費端來說，我們將在2022年看到更多消費級XR裝置整合Tobii眼動追蹤技術，讓硬體效能更加出色，讓使用者擁有更為真實的虛擬化身、更逼真的目光接觸和交流、更易於使用的介面和創新的遊戲玩法。
