AI現(xiàn)在能教你畫(huà)畫(huà)了

豐色 2021-05-27 17:57:42 來(lái)源：量子位

畫(huà)畫(huà)新手們，如何才能畫(huà)出一副像樣的手繪肖像？

除了假以時(shí)日的練習(xí)，或許也可以借助下面這款工具！

首先，你只需畫(huà)出人臉輪廓圖，例如下面這樣：

然后，計(jì)算機(jī)就能向你提示肖像整體結(jié)構(gòu)的線條，供你參考：

接著，再給出人臉細(xì)節(jié)的提示線條：

最終，你就能畫(huà)出這樣一幅作品了：

是不是比新手徒手一張白紙要強(qiáng)很多？

兩步引導(dǎo)教你畫(huà)肖像

這款工具叫做dualFace。

它之所以能輔助繪畫(huà)新手和普通用戶畫(huà)出像樣的肖像畫(huà)，是因?yàn)榭梢愿鶕?jù)你的初始線條給出人像全局框架和局部細(xì)節(jié)的素描線條。

你只需照著它來(lái)，沒(méi)有經(jīng)過(guò)繪畫(huà)培訓(xùn)的“手殘黨”也可以完成！

在全局引導(dǎo)階段，dualFace根據(jù)你繪制的大概輪廓，就能從內(nèi)部數(shù)據(jù)庫(kù)中搜索出若干相關(guān)人像，并在畫(huà)布背景上顯示建議的人臉輪廓線。

在局部引導(dǎo)階段，dualFace利用全局指導(dǎo)繪制的輪廓線，用深度生成模型合成人臉圖像，然后將合成結(jié)果的細(xì)節(jié)（眼睛、鼻子、嘴等）作為輔助線條給出來(lái)。

請(qǐng)注意，在全局階段，人像是數(shù)據(jù)庫(kù)中真實(shí)的人像。而局部階段，是合成的虛擬人像。

為什么兩階段不用同一種人像呢？

這樣做是為了讓計(jì)算機(jī)給出的指導(dǎo)更具多樣性！畢竟數(shù)據(jù)庫(kù)里的人都是有限的，使用生成模型可以在細(xì)節(jié)區(qū)分出更多的肖像。

另外dualFace具有切換功能，用戶可以選擇最合理的局部指導(dǎo)；

如果用戶認(rèn)為局部指導(dǎo)不符合他們的想象，也可以通過(guò)點(diǎn)擊按鈕來(lái)使繪制過(guò)程返回到全局階段。

下面就來(lái)說(shuō)說(shuō)這兩個(gè)階段具體如何操作的：

全局引導(dǎo)

全局引導(dǎo)階段分為三步：數(shù)據(jù)生成，輪廓匹配和交互式指導(dǎo)。

數(shù)據(jù)生成就是把數(shù)據(jù)庫(kù)中的人臉圖像轉(zhuǎn)換成人臉輪廓。

他們使用雙向分割網(wǎng)絡(luò)（BiSeNet）來(lái)生成人臉原圖的語(yǔ)義標(biāo)簽蒙層（mask）。再?gòu)倪@個(gè)語(yǔ)義標(biāo)簽蒙層中提取人臉輪廓。蒙層中的每個(gè)像素（eg. 眼睛、鼻子和嘴巴）都有來(lái)自原圖的面部標(biāo)簽ID（為了方便后面的搜索）。

另外，輪廓圖像與相應(yīng)的原始人臉圖像一起存儲(chǔ)。

輪廓匹配步驟，通過(guò)計(jì)算用戶畫(huà)的輪廓與數(shù)據(jù)庫(kù)中存儲(chǔ)的輪廓圖像的相似度，得到最接近的輪廓圖像。使用了GALIF(Gabor Local Line-based Feature, 基于局部線條的Gabor特征描述符)進(jìn)行草圖檢索和局部形狀匹配。

交互式指導(dǎo)步驟根據(jù)用戶不斷更新的筆劃實(shí)時(shí)檢索出最相似的“候選對(duì)象”，并將其轉(zhuǎn)換成陰影圖。

局部引導(dǎo)

提供了整體結(jié)構(gòu)圖后，系統(tǒng)就開(kāi)始提供細(xì)節(jié)線條了。

局部引導(dǎo)階段包括兩個(gè)步驟：蒙層（mask）生成和肖像草圖生成。

蒙層生成步驟，利用全局階段中的用戶所繪，和在全局階段-數(shù)據(jù)生成部分生成的數(shù)據(jù)庫(kù)人臉蒙層，系統(tǒng)可以生成最終蒙層，如下圖。

肖像草圖生成步驟，采用MaskGAN生成與上一階段匹配的“真人”肖像，并采用APdrawingGAN將肖像圖轉(zhuǎn)為素描圖。

其中，由于這兩個(gè)生成模型是獨(dú)立訓(xùn)練的，為了連接它倆，該步驟還使用梯度提升決策樹(shù)（GBDT）來(lái)計(jì)算人臉標(biāo)志點(diǎn)，并將合并后的蒙層轉(zhuǎn)換成二進(jìn)制背景輪廓。

此階段可以生成多幅詳細(xì)的人像素描，用戶可以選擇最需要的一個(gè)作為后續(xù)繪制的參考。且用戶一開(kāi)始畫(huà)的輪廓圖不全也沒(méi)關(guān)系，缺少的部分可以通過(guò)“筆劃—蒙層映射優(yōu)化”自動(dòng)完成。

以上就是兩個(gè)階段引導(dǎo)的具體實(shí)現(xiàn)過(guò)程。

接下來(lái)，他們進(jìn)行了用戶研究，以定性的方式驗(yàn)證該工具的效果。

無(wú)法正確識(shí)別抽象的輸入

dualFace是在windows10平臺(tái)上用Python編寫(xiě)的一個(gè)實(shí)時(shí)繪圖程序。

全局指導(dǎo)階段，每次釋放鼠標(biāo)后平均需要0.36 s來(lái)檢索圖像，而在局部指導(dǎo)中每生成一幅肖像圖像需要2.78 s。

下面是試驗(yàn)者從全局和局部以及整體使用感受上的問(wèn)卷調(diào)查結(jié)果，滿分5分，平均分都在3.9以上。

從整體用戶體驗(yàn)來(lái)看，所有參與者都認(rèn)為該工具可以幫助他們更好地繪制肖像。

而和其他繪圖工具相比，dualFace在空間關(guān)系和面部細(xì)節(jié)的繪圖評(píng)價(jià)上取得了較高的成績(jī)，平均分分別為4.5分和4.32分。

因此，dualFace可以引導(dǎo)用戶通過(guò)正確的面部空間關(guān)系和詳細(xì)的面部特征來(lái)獲得更好的肖像畫(huà)，而其他繪圖程序可能無(wú)法提供這些信息。

此外，下圖最右顯示，使用dualFace畫(huà)畫(huà)最短花費(fèi)4分15秒，最長(zhǎng)17分15秒，平均花費(fèi)在10分鐘左右。雖然用戶的繪畫(huà)技巧可能不同，但是花費(fèi)更多時(shí)間必然會(huì)導(dǎo)致更好的繪圖結(jié)果。

下面是試驗(yàn)者的畫(huà)畫(huà)成果：

可以看出，系統(tǒng)給出的指導(dǎo)圖的水平都差不多，但最終結(jié)果還是有點(diǎn)受限于用戶的實(shí)際畫(huà)畫(huà)水平的。

不過(guò)正如前面所說(shuō)的，最后一組只畫(huà)了眉毛和眼睛，系統(tǒng)也不會(huì)受到限制，也可以給出完整的指導(dǎo)圖。

當(dāng)然，他們這個(gè)方法也有局限性：抽象的草圖可能無(wú)法轉(zhuǎn)換為合理的人臉mask。

例如，下圖中用戶畫(huà)的輪廓中的嘴被錯(cuò)誤地視為了鼻子的一部分，這就導(dǎo)致后面一系列圖的鼻子都不對(duì)勁。

這是因?yàn)槿四様?shù)據(jù)庫(kù)中都是真實(shí)的照片，dualFace只能支持繪制具有真實(shí)風(fēng)格的人像。所以，表情、夸張卡通造型等高層次的語(yǔ)義素描用它都很難實(shí)現(xiàn)。

作者介紹

此項(xiàng)目研究人員來(lái)自日本北陸先端科學(xué)技術(shù)大學(xué)院大學(xué)和東京大學(xué)。

前者是于1990年設(shè)立的研究院性質(zhì)的日本國(guó)立大學(xué)，擁有多個(gè)日本重點(diǎn)扶持學(xué)科，科研水平比肩東大、京大，在信息科學(xué)領(lǐng)域的研究極其頂尖。

7名研究成員中4位為華人，其中包括論文一二作。

試玩可戳GitHub地址下載：

https://github.com/shasph/dualFace

論文地址：

https://www.arxiv-vanity.com/papers