4年4篇頂刊頂會論文！清華開源肖像線條畫生成程式碼，惟妙惟肖模仿人類作畫

新智元報道

編輯：好睏

【新智元導讀】

近日，清華大學提出的非成對人臉照片肖像線條畫生成方法，被IEEE Transactions on Pattern Analysis and Machine Intelligence（PAMI）錄取為regular paper。程式碼已經全部在Github上開源。

近三年，劉永進教授課題組在該方向上已經發表了四篇PAMI和CVPR論文。

而這4篇論文有著相同的一作：易冉。

易冉現在是上海交通大學計算機系助理教授。她於2016年獲得清華大學工學學士學位，2021年獲得清華大學工學博士學位。她的研究方向包括計算機圖形學、計算機視覺和計算幾何。近五年共發表錄用20餘篇論文於IEEE PAMI、ACM TOG、TVCG、CVPR、ICCV、AAAI等國際期刊和會議。

2021年12月，易冉獲得中國圖象圖形學學會2021年度石青雲女科學家獎。

她的博士學位論文《藝術肖像畫的多風格與跨模態深度生成模型研究》，受到答辯委員會主席張鈸院士、委員查紅彬教授、陳熙霖教授、史元春教授和胡事民教授的一致好評，入選2021年清華大學優秀博士學位論文。

除此以外，易冉還獲得過中國計算機學會計算機視覺專委會學術新銳獎、第十六屆影象圖形技術與應用學術會議（IGTA2021）論文競賽一等獎、北京市圖象圖形學學會優秀博士論文、微軟學者提名獎等學術獎項。

並且她還擔任中國圖象圖形學學會智慧圖形專委會、動畫與數字娛樂專委會委員，AAAI程式委員會委員，IJCV、TIP、TMM、CVPR、ICCV、NeurIPS、ICLR、VR等重要期刊會議審稿人。

課題組部分成員合影

連續4年發表頂刊頂會論文

2022

論文連結：https：//doi。org/10。1109/TPAMI。2022。3147570

程式碼連結：https：//github。com/yiranran/QMUPD

2021

論文連結：https：//doi。org/10。1109/TPAMI。2020。2987931

程式碼連結：https：//github。com/yiranran/APDrawingGAN2

2020

論文連結：https：//doi。org/10。1109/CVPR42600。2020。00824

程式碼連結：https：//github。com/yiranran/Unpaired-Portrait-Drawing

2019

論文連結：https：//doi。org/10。1109/CVPR。2019。01100

程式碼連結：https：//github。com/yiranran/APDrawingGAN

實現方法

肖像線條畫是一種高度抽象、具有表現力的藝術形式，將人物肖像中的豐富資訊進行高度壓縮，僅用稀疏的圖形元素（如線條）表示。精緻的肖像線條畫需要藝術家精心繪製，十分耗費時間。一些現有方法使用成對訓練資料生成肖像畫，但是收集資料的過程是昂貴且耗時的。

論文提出一種基於非成對資料的從人臉照片生成肖像線條畫的方法，該方法可以（1）使用單個網路生成多種風格的高質量肖像線條畫，以及（2）生成訓練資料中未出現的「新風格」肖像畫。

論文提出一種從人類感知資料中學習肖像線條畫質量指標（quality metric）的方法。首先使用現有方法生成許多肖像線條畫，並與藝術家的畫作混合，收集的樣本如下圖所示。

透過使用者實驗收集人類對這些肖像線條畫的偏好，由此計算得到每個肖像線條畫的質量分數（quality score）。然後用這些資料訓練一個迴歸網路，其輸入為一幅肖像線條畫，輸出為該肖像線條畫的質量分數。

該回歸網路從人類評估資料中學習，因此其預測的分數可以幫助引導肖像畫生成器生成更高質量的結果。

為訓練質量度量模型收集的肖像線條畫樣本，包括生成的與藝術家繪製的肖像畫。從上至下肖像畫質量逐漸下降。

在網路模型的結構方面：

（1）該模型基於非對稱迴圈對映結構和截斷損失，以解決非成對訓練場景下已有方法常出現的資訊隱藏和重要特徵缺失問題。

（2）提出基於上述質量度量模型的質量損失（quality loss），以引導生成網路生成「更好看」的肖像畫。

（3）透過在生成器部分引入風格特徵及風格分類鑑別器，進一步使得單個模型能實現多種風格的肖像線條畫的生成。

網路結構示意圖

論文進一步提出生成訓練資料中未出現的「新風格」肖像線條畫的方法。在模型的多風格生成場景下，不同的風格特徵會導致不同的風格輸出，三種目標風格分別對應於向量［1，0，0］，［0，1，0］和［0，0，1］。

給定一個「新」風格的肖像線條畫參考圖，論文提出使用訓練好的生成器，在風格特徵空間中搜索一個最優的風格特徵，使其生成的肖像線條畫在風格上與參考圖最相似。最佳的風格特徵向量透過最佳化該向量引導生成的肖像畫與目標之間的風格距離得到。

「新」風格生成示例

給定（a）中的目標「新」風格肖像畫（即在訓練資料中看不到的風格），我們透過最佳化風格損失，找到合適的風格特徵向量，生成與目標相似的肖像畫。最佳化過程如（c）所示，最終生成的結果如（d）所示。最佳化過程中風格損失的變化如（e）所示。

論文對生成模型進行了特徵圖視覺化，並將其與人臉語義圖進行比較，以進一步分析生成網路。實驗結果驗證了生成器在生成過程中學習了人臉的語義資訊。大量實驗表明，論文所提出的模型優於目前最先進的方法。

下圖給出了所提出的方法與多種風格遷移、影象到影象轉換方法的對比結果。論文所提出方法生成了比現有方法更高質量的結果，既保留了人臉結構，又具有良好的影象和線條質量。

與最新方法的比較

（a）輸入人臉照片；（b-c）風格遷移方法：Gatys和線性風格轉換方法；（f）單模態的影象到影象的轉換方法：DualGAN，CycleGAN，UNIT；（d）多模態的影象到影象的轉換方法MUNIT；（e）論文的方法去除質量損失，輸出的三種風格；（i）使用成對訓練資料的肖像生成方法APDrawingGAN++方法；（j）論文方法生成的三種風格。