我們在打遊戲、看動漫的時候，遇到過不少這樣的情況：
感覺哪裡不太對……
現在，這些3D人體模型可以得到改進了~體態更逼真、褶皺更自然、肌肉更飽滿：
連情緒都顯得更投入了……
甚至
肌肉顫動
也清晰可見：
這麼一對比，差距很明顯了~
不僅動畫質量更高，這種新方法還大量
減少了人工參與
，製作
速度更快
了。
要知道，以前的動畫需要繁瑣的步驟，比如：搭建骨骼、蒙皮、刷權重等等……動畫師往往要為此修煉數年，效果還常常不盡人意。
現在，只需一個神經網路就能搞定。
不僅如此，它還可以從形象中
預測骨骼
，並
繫結權重
，更容易地用運動捕捉來製作動畫。
這一研究成果，由北京大學、北京電影學院等高校和機構合作完成。
相關論文《Learning Skeletal Articulations with Neural Blend Shapes》在
SIGGRAPH 2021
上發表，程式碼現已開源。
提出神經融合形狀技術
團隊開發了一套神經網路，用來生成具有指定結構的骨骼，並且精準繫結骨骼的蒙皮權重。
它由兩個部分組成：包裹變形分支（envelope deformation branch）和補償變形分支（residual deformation branch）。
其中，
包裹變形分支
透過間接監督，學習由偏移量組成的特定骨架層次的裝配引數，最後從輸入角色中預測出骨架、蒙皮和權重繫結。
你可能會說，常用的動畫製作工具Mixamo中，也有繫結和蒙皮。
但是新方法能做的
不只這些
，它還可以準確
預測
與模型高度匹配的骨骼，並繫結權重。
從而更容易進行動作捕捉，製作動畫：
並且，利用一種
神經融合形狀（neural blend shapes）
技術，
補償變形分支
可以根據輸入的網格連線，來預測對應的融合形狀（blend shapes）。
與此同時，根據關節旋轉預測融合係數，然後基於此插值得到
補償變形
。
比如，神經混合形狀會
糾正肌肉的形狀
，準確保留鼓起的肌肉：
與LBS（線性混合蒙皮）演算法的效果相比，
細節處理
得更好：
與三維動畫製作軟體Blender的效果對比：
（小肚腩被完美保留了）
除此之外，研究團隊還對
神經混合形狀係數
進行了
視覺化
，可以看到左側輸出的形象，與右側相應的姿勢繫結。
並且，透過
顏色變化
，表現各關節的混合形狀係數
啟用程度
。
利用這一方法，神經網路只需觀察變形後的人物模型進行
間接學習
，而不需要對訓練資料集的變形方法有任何限制，極大擴大了適用範圍。
最終實現了，
實時、高質量
的三維人物模型動畫
端到端
自動生成。
一作來自北大圖靈班
團隊由來自北京大學陳寶權教授研究團隊、北京電影學院未來影像高精尖創新中心、Google Research、特拉維夫大學，以及蘇黎世聯邦理工學院的研究人員組成。
論文一作，是來自北大圖靈班的一名本科生——
李沛卓
。
他畢業於重慶一中，曾入選資訊學競賽省隊，2017年高考以687分考入北大。
目前，李沛卓師從陳寶權教授，研究方向是深度學習和計算機圖形學，正在北京大學視覺計算與學習實驗室和北京電影學院未來影像高精尖創新中心（AICFVE）實習。
此前，他已有論文登上SIGGRAPH。在與量子位交流時，他曾表示對圖形學特別感興趣。
專案主頁：
https：//peizhuoli。github。io/neural-blend-shapes/
論文地址：
https：//peizhuoli。github。io/neural-blend-shapes/papers/neural-blend-shapes-camera-ready。pdf
參考連結：
［1］https：//peizhuoli。github。io/
［2］https：//twitter。com/RanaHanocka/status/1391867020732424197？s=05
［5］https：//www。youtube。com/watch？v=antc20EFh6k
