AI現在能教你畫畫了
畫畫新手們，如何才能畫出一副像樣的手繪肖像？
除了假以時日的練習，或許也可以借助下面這款工具！
首先，你只需畫出人臉輪廓圖，例如下面這樣：
然后，計算機就能向你提示肖像整體結構的線條，供你參考：
接著，再給出人臉細節的提示線條：
最終，你就能畫出這樣一幅作品了：
是不是比新手徒手一張白紙要強很多？
兩步引導教你畫肖像
這款工具叫做dualFace。
它之所以能輔助繪畫新手和普通用戶畫出像樣的肖像畫，是因為可以根據你的初始線條給出人像全局框架和局部細節的素描線條。
你只需照著它來，沒有經過繪畫培訓的“手殘黨”也可以完成！
在全局引導階段，dualFace根據你繪制的大概輪廓，就能從內部數據庫中搜索出若干相關人像，并在畫布背景上顯示建議的人臉輪廓線。
在局部引導階段，dualFace利用全局指導繪制的輪廓線，用深度生成模型合成人臉圖像，然后將合成結果的細節（眼睛、鼻子、嘴等）作為輔助線條給出來。
請注意，在全局階段，人像是數據庫中真實的人像。而局部階段，是合成的虛擬人像。
為什么兩階段不用同一種人像呢？
這樣做是為了讓計算機給出的指導更具多樣性！畢竟數據庫里的人都是有限的，使用生成模型可以在細節區分出更多的肖像。
另外dualFace具有切換功能，用戶可以選擇最合理的局部指導；
如果用戶認為局部指導不符合他們的想象，也可以通過點擊按鈕來使繪制過程返回到全局階段。
下面就來說說這兩個階段具體如何操作的：
全局引導
全局引導階段分為三步：數據生成，輪廓匹配和交互式指導。
數據生成就是把數據庫中的人臉圖像轉換成人臉輪廓。
他們使用雙向分割網絡（BiSeNet）來生成人臉原圖的語義標簽蒙層（mask）。再從這個語義標簽蒙層中提取人臉輪廓。蒙層中的每個像素（eg. 眼睛、鼻子和嘴巴）都有來自原圖的面部標簽ID（為了方便后面的搜索）。
另外，輪廓圖像與相應的原始人臉圖像一起存儲。
輪廓匹配步驟，通過計算用戶畫的輪廓與數據庫中存儲的輪廓圖像的相似度，得到最接近的輪廓圖像。使用了GALIF(Gabor Local Line-based Feature, 基于局部線條的Gabor特征描述符)進行草圖檢索和局部形狀匹配。
交互式指導步驟根據用戶不斷更新的筆劃實時檢索出最相似的“候選對象”，并將其轉換成陰影圖。
局部引導
提供了整體結構圖后，系統就開始提供細節線條了。
局部引導階段包括兩個步驟：蒙層（mask）生成和肖像草圖生成。
蒙層生成步驟，利用全局階段中的用戶所繪，和在全局階段-數據生成部分生成的數據庫人臉蒙層，系統可以生成最終蒙層，如下圖。
肖像草圖生成步驟，采用MaskGAN生成與上一階段匹配的“真人”肖像，并采用APdrawingGAN將肖像圖轉為素描圖。
其中，由于這兩個生成模型是獨立訓練的，為了連接它倆，該步驟還使用梯度提升決策樹（GBDT）來計算人臉標志點，并將合并后的蒙層轉換成二進制背景輪廓。
此階段可以生成多幅詳細的人像素描，用戶可以選擇最需要的一個作為后續繪制的參考。且用戶一開始畫的輪廓圖不全也沒關系，缺少的部分可以通過“筆劃—蒙層映射優化”自動完成。
以上就是兩個階段引導的具體實現過程。
接下來，他們進行了用戶研究，以定性的方式驗證該工具的效果。
無法正確識別抽象的輸入
dualFace是在windows10平臺上用Python編寫的一個實時繪圖程序。
全局指導階段，每次釋放鼠標后平均需要0.36 s來檢索圖像，而在局部指導中每生成一幅肖像圖像需要2.78 s。
下面是試驗者從全局和局部以及整體使用感受上的問卷調查結果，滿分5分，平均分都在3.9以上。
從整體用戶體驗來看，所有參與者都認為該工具可以幫助他們更好地繪制肖像。
而和其他繪圖工具相比，dualFace在空間關系和面部細節的繪圖評價上取得了較高的成績，平均分分別為4.5分和4.32分。
因此，dualFace可以引導用戶通過正確的面部空間關系和詳細的面部特征來獲得更好的肖像畫，而其他繪圖程序可能無法提供這些信息。
此外，下圖最右顯示，使用dualFace畫畫最短花費4分15秒，最長17分15秒，平均花費在10分鐘左右。雖然用戶的繪畫技巧可能不同，但是花費更多時間必然會導致更好的繪圖結果。
下面是試驗者的畫畫成果：
可以看出，系統給出的指導圖的水平都差不多，但最終結果還是有點受限于用戶的實際畫畫水平的。
不過正如前面所說的，最后一組只畫了眉毛和眼睛，系統也不會受到限制，也可以給出完整的指導圖。
當然，他們這個方法也有局限性：抽象的草圖可能無法轉換為合理的人臉mask。
例如，下圖中用戶畫的輪廓中的嘴被錯誤地視為了鼻子的一部分，這就導致后面一系列圖的鼻子都不對勁。
這是因為人臉數據庫中都是真實的照片，dualFace只能支持繪制具有真實風格的人像。所以，表情、夸張卡通造型等高層次的語義素描用它都很難實現。
作者介紹
此項目研究人員來自日本北陸先端科學技術大學院大學和東京大學。
前者是于1990年設立的研究院性質的日本國立大學，擁有多個日本重點扶持學科，科研水平比肩東大、京大，在信息科學領域的研究極其頂尖。
7名研究成員中4位為華人，其中包括論文一二作。
試玩可戳GitHub地址下載：
https://github.com/shasph/dualFace
論文地址：
https://www.arxiv-vanity.com/papers
- 北大開源最強aiXcoder-7B代碼大模型！聚焦真實開發場景，專為企業私有部署設計2024-04-09
- 剛剛，圖靈獎揭曉！史上首位數學和計算機最高獎“雙料王”出現了2024-04-10
- 8.3K Stars!《多模態大語言模型綜述》重大升級2024-04-10
- 谷歌最強大模型免費開放了！長音頻理解功能獨一份，100萬上下文敞開用2024-04-10
相關閱讀
登頂五大數據集！最強目標跟蹤算法SiamRPN++開源了，商湯出品 | CVPR 2019 Oral
SiamRPN++在5個大型跟蹤數據集上，都拿到了最好成績。
