【泡泡圖靈智庫】BundleTrack：無需例項或類級別3D模型的對新穎物體的6D姿態追蹤

泡泡圖靈智庫，帶你精讀機器人頂級會議文章

標題：BundleTrack： 6D Pose Tracking for Novel Objects

without Instance or Category-Level 3D Models

作者： Bowen Wen，Kostas Bekris

機構：Rutgers University

編譯： Tom

稽核：zhuhu

這是泡泡圖靈智庫推送的第692篇文章，歡迎個人轉發朋友圈；其他機構或自媒體如需轉載，後臺留言申請授權

摘要

大家好，今天為大家帶來的文章是 BundleTrack： 6D Pose Tracking for Novel Objects without Instance or Category-Level 3D Models

跟蹤RGBD影片中物體的6D姿態對機器人操作很重要。然而，大多數先前的工作通常假設目標物件的CAD 模型，至少類別級別，可用於離線訓練或線上測試階段模板匹配。這項工作提出BundleTrack，一個通用的新物件的 6D 姿態跟蹤框架，它不依賴於例項或類別級別的 3D 模型。它結合了最新影片分割和魯棒特徵提取的深度學習，以及具有記憶功能的姿勢圖最佳化實現時空一致性。這使得它能進行長期、低漂移在各種具有挑戰性的場景下的6D姿態跟蹤，測試了包括重大遮擋和物體運動的場景。在2個公開資料集上的大量實驗表明，BundleTrack顯著優於最先進的類別級別6D 跟蹤或動態SLAM 方法。比較時反對依賴於物件例項 CAD 的最新方法模型，儘管提出了可比的效能方法的資訊需求減少。一個高效的在 CUDA 中的實現提供了實時效能。整個框架執行速度達10Hz。

論文:

https：//arxiv。org/pdf/2108。00516。pdf

程式碼

： https：//github。com/wenbowen123/BundleTrack

影片:

https：//www。youtube。com/watch？v=0UorLR0ADd4

背景與貢獻

本文有以下貢獻：

1。一個全新的6D物體姿態演算法，不需要例項或類級別的CAD模型用於訓練或測試階段。該演算法可立即用於新穎物體的6D姿態跟蹤

2。在NOCS資料集上的創下全新記錄，將以往的表現從33。3%大幅度提升到87。4%。在YCBInEOAT資料集上也達到了跟目前基於CAD模型的領先方法se（3）-TrackNet相近的表現。特別值得注意的是，與以往state of art的6D物體姿態跟蹤方法相比，BundleTrack並不需要類級別的物體進行訓練，也不需要測試階段物體的CAD模型作模板匹配，減少了很多假設。

3。首次將具有記憶功能的位姿圖最佳化引入6D物體姿態跟蹤。除了相鄰幀的匹配還能夠藉助帶記憶功能的歷史幀解決特徵匹配不足和跟蹤漂移問題。以MaskFusion為例的tracking-via-reconstruction方法經常因為任何一幀微小錯誤的姿態估計進行錯誤的全域性模型構建融合，進而繼續影響接下來的全域性模型到觀測點雲的匹配，造成不可逆轉的跟蹤漂移。而BundleTrack則不存在此類問題。

4。高效的CUDA編碼，使得本來計算量龐大的位姿最佳化圖能線上實時執行，達到10Hz。足夠用於AR/VR，視覺反饋控制操縱，物體級SLAM或動態場景下的 SLAM等

問題設定

對於需要6D跟蹤的物體，該方法不需要任何類級別的CAD模型或者當前物體的CAD模型。所需要的輸入只有（1）RGBD影片；（2）初始掩碼，用於指定需要跟蹤的物體。該掩碼可以透過多種途徑獲得，例如語義分割，3D點雲分割聚類，平面移除等等。該方法就能輸出跟蹤物體在相機前相對初始的 6D姿態變換

演算法流程

A. 方法總覽

當前觀察到的 RGB-D影片流首先送到影片分割模組對目標物體提取ROI。分割後的圖片被裁剪、調整大小併發送到關鍵點檢測網路來計算關鍵點和特徵描述符。一種資料關聯過程包括特徵匹配和以 RANSAC 的方式進行修剪識別特徵對應。基於這些特徵匹配，當前幀與前一相鄰幀之間進行初步粗略匹配。該比配可以用閉式求解，然後用於提供粗略兩個幀之間的轉換估計Tt~。在接下來的位姿圖最佳化中，Tt~ 講用於初始化當前節點。為了確定位姿圖中的其餘節點，我們從歷史保留的關鍵幀記憶體池中選擇不超過K個關鍵幀參與位姿圖最佳化。選擇 K 而不用所有歷史幀是為了平衡效率與準確性權衡。姿態圖邊包括稀疏特徵和稠密點到平面的投影殘差，所有這些在 GPU 上平行計算。姿勢圖最佳化步驟線上輸出當前時間戳最佳化後姿態。透過檢查當前幀最佳化後的姿態的視角，如果它來自新的視角，那麼它將會儲存在記憶體池中，以備將來用作關鍵幀參與位姿圖最佳化。

影片分割

第一步是將物件的影象區域從背景分割。先前的工作 MaskFusion 使用 Mask-RCNN 計算影片每一幀中的物件掩碼。它對每個新幀獨立處理，效率較低並導致不連貫性。為了避免這些限制，這項工作採用了現成的用於影片物件分割的 transductive-VOS 網路，只需要在Davis 2017和Youtube-VOS 資料集上預訓練，泛化到我們的測試場景，而不需要任何物體的CAD模型進行訓練。雖然當前的實現使用 transductive-VOS，本文所提出的整個框架不依賴於這個特定的網路。如果可以透過更簡單的方法計算物件掩碼意味著，例如在機械臂操縱場景下，利用前向運動學，計算機械臂的位置進行點雲過濾操作場景，便可以替代影片分割網路模組，更為簡單。

C. 特徵點檢測，匹配和區域性配準

區域性匹配是在連續的當前幀和前一幀之間來計算初始粗略姿態估計。為此，在每個影象上檢測到的關鍵點之間進行匹配用於6D姿態配準。不同於先前的工作 6PACK，6PACK依賴於在類別級別的 3D 模型上離線續聯，學習固定數量的類別級語義關鍵點。相反，本文中BundleTrack旨在提高泛化能力，而不是侷限於某些例項或者類別。選擇 LF-Net進行特徵點檢測是因為它令人滿意效能和推理速度之間的平衡。它只需要對一般 2D 影象進行訓練，例如此處使用的 ScanNet 資料集，並推廣到新的場景。該訓練過程不需要收集任何CAD模型，並且一旦訓練完成，在所有實驗中都不需要finetune。

D. 對參與位姿圖的關鍵幀選取

前面的區域性配準僅僅得到當前幀的粗略姿態估計，接下來在姿態圖最佳化步驟中對 Tt~ 進行細化。參與最佳化的關鍵幀數為了效率，限制為

E. 線上位姿圖最佳化

位姿圖可以表示為 G，其中每個節點對應於當前和選定時間戳的相機幀對於邊緣在每對節點之間，兩種型別能量約束E 和E 被考慮。能量 E 與殘差有關根據稀疏特徵對應計算，E 與透過密集畫素點對點測量的幾何殘差的點到平面距離。當圖 E 的總能量最小化時，也就實現了時空一致性。

最佳化過程採用高斯牛頓，為了更好地採取利用 J 和 W 的稀疏性，在每個 Gauss-Newton step，一個迭代 PCG（預條件共軛Gradient）求解器被利用，其中對角矩陣J WJ 用作預處理器。增量姿勢每次更新後都會在切線空間中累積更新迭代= + Δ。整個位姿圖最佳化是在 CUDA 中實現平行計算。

最佳化結束時，當前時間戳對應的那個成為輸出跟蹤姿勢 T ，而歷史關鍵幀更新後的姿勢也在記憶體池中更新。整個過程是因果的，即過去的幀修正後的姿勢不能在輸出中更新。儘管如此他們校正後的姿態估計為後面的姿勢圖最佳化步驟中提供了更好的初始化，有利於將來新觀測的求解。這顯著降低了長期跟蹤時，tracking-via-reconstruction方法會發生的漂移，因為他們其中任何中間錯誤的姿態估計引入融合到全域性模型中將構建錯誤的全域性模型，影響後續跟蹤。

主要結果

實驗在2個公開資料集上展現了優越表現。NOCS是類級別的靜態桌面物體場景。YCBInEOAT是機器人操縱場景下的動態場景。值得注意的是，即使BundleTrack不需要任何CAD模型，反而遠超此前的state of art方法6PACK：從33。3%提升到87。4%。與例項級別的state of art方法se（3）-TrackNet相比，僅有微小的差距。