魚羊 發自 凹非寺
量子位 報道 | 公眾號 QbitAI
給AI一張毛不易的照片，它自動就能生成一個古風毛大俠。
小姐姐冷豔的氣質，可以被還原出一代俠女風範。
也可以探索一下，奧巴馬穿越回宋朝是一種怎樣的體驗……
現在，想在遊戲裡定製化自己的臉，你可以不用自己花時間琢磨引數了。
熟悉遊戲的小夥伴可能認出來了，這一套AI捏臉術，來自網易伏羲人工智慧實驗室和密歇根大學。
現在，最新相關研究登上了AAAI 2021。
據作者介紹，這個名為MeInGame的方法，可以整合到大多數現有的3D遊戲中，並且相比於單純基於3DMM（3D Morphable Face Model ）的方法，成本更低，泛化效能更好。
具體實現細節，一起來看。
方法原理
研究人員將人臉形狀和紋理的重建，視作一個自監督的面部相似度測量問題。
首先，對於輸入照片，預先訓練好的形狀重建器會預測其3DMM和姿勢係數，並在保持拓撲結果的同時，將3DMM網格轉換成遊戲網格。
這麼做的原因，是3DMM網格的拓撲結構與大多數遊戲中使用的網格不同。直接基於3DMM來從單張影象中還原出遊戲中的3D人臉，需要大量的人臉紋理資料進行訓練，費時費力不說，實驗室條件下收集的資料也可能出現泛化不佳的問題。
接著，基於遊戲網格，將輸入影象解包到UV空間，建立一個粗紋理圖。紋理會由一組編碼器-解碼器模組進行進一步細化。
另外，研究人員還設計了光照歸回器。這是一個輕量級網路，由幾個完全連線層組成，能根據影象特徵預測光照方向、環境光、漫反射、高光等光照係數。
最後，將預測出的形狀、紋理和光照係數一起反饋給可微分渲染器，在結果與輸入的人臉照片相似的情況下，驅動2D人臉渲染。
研究人員還引入了兩個判別器，來進一步改善結果。
具體到資料集的準備方面，這項研究提出了一種低成本面部紋理採集方法：與其他需要多視角影象的方法不同，只使用單視角影象，因此更加容易獲取。
步驟如下：
對於輸入的人臉影象，使用預訓練人臉分割網路檢測面板區域；
計算輸入人臉面板的顏色均值，並將均值遷移到模板紋理圖（由遊戲開發者提供）；
根據遊戲網格，將輸入的人臉影象進行解包到UV空間。
使用泊松混合，將解包後的影象與模板紋理圖進行融合。移除頭髮、眼鏡等非面板區域，並儘可能利用對稱性補齊遮擋區域。
實驗結果
所以，網易伏羲實驗室&密歇根大學的MeInGame，跟前輩方法們相比有何優勢？
從與A Dream of AI、Loomie、ZEPETO等方法的定性比較結果來看，該方法無論是在面容（包括膚色）的還原度上，還是妝面這樣的個性化細節上，都要略勝一籌，並且能消除光照和遮擋的影響。
而基於3DMM的方法雖然能夠高度還原真實人臉，但其建模不包括完整的頭部模型及紋理，很難直接用於遊戲環境。
根據論文資訊，相關程式碼和資料集，將會在GitHub上釋出。
— 完 —
