僅靠合成數(shù)據(jù)就能實(shí)現(xiàn)真實(shí)人臉分析！微軟這項(xiàng)新研究告別人工標(biāo)注
標(biāo)簽也是合成的
楊凈 發(fā)自 凹非寺
量子位 報(bào)道 | 公眾號(hào) QbitAI
相信嗎？現(xiàn)在訓(xùn)練數(shù)據(jù)也用合成的了。
而且人臉分析任務(wù)上，準(zhǔn)確性還不輸真實(shí)數(shù)據(jù)的那種。
這是微軟團(tuán)隊(duì)的一項(xiàng)最新研究，論文標(biāo)題就已經(jīng)說明了一切。
Fake it till you make it.
文章介紹了一種程序生成的3D人臉模型與一個(gè)合成數(shù)據(jù)庫結(jié)合起來訓(xùn)練圖像，結(jié)果人臉解析等任務(wù)上，效果與真實(shí)數(shù)據(jù)相當(dāng)。
研究人員表示，為一些不可能實(shí)現(xiàn)人工標(biāo)注的地方，開辟了新方法。
是不是以后真就告別人工標(biāo)注了？！
如何實(shí)現(xiàn)？
要想讓人臉數(shù)據(jù)集更加多樣化、豐富化，靠收集和標(biāo)注越來越難以實(shí)現(xiàn)。
且不說收集，比如網(wǎng)絡(luò)抓取，可能帶來重大的隱私和版權(quán)問題。而人工標(biāo)注，很容易導(dǎo)致出錯(cuò)或者標(biāo)簽不一致的情況。
因此，研究團(tuán)隊(duì)就考慮用合成數(shù)據(jù)來增加或替代真實(shí)數(shù)據(jù)。然鵝，此前因?yàn)槿四樐Ｐ捅旧韽?fù)雜實(shí)現(xiàn)難度較為困難。
那么這次是如何實(shí)現(xiàn)的呢？
第一步，用程序生成合成面孔，包括身份、表情、面部紋理，以及發(fā)型和衣著，不同光線環(huán)境下的效果。
所有這些數(shù)據(jù)都是獨(dú)立采樣，提前“手動(dòng)”去除噪音，以確保創(chuàng)建更多樣化的個(gè)體。
比如在人臉模型上，就是這樣滴～
還有像衣著，則是由服裝設(shè)計(jì)師和模擬軟體設(shè)計(jì)師手工制作的，共有30套各種各樣的衣服。
還包括頭飾(36件)、面具(7件)和眼鏡(11件) 。
除此以外，還合成了標(biāo)簽。
接著到了訓(xùn)練階段，研究人員創(chuàng)建了一個(gè)10萬張分辨率為512 × 512的圖像的數(shù)據(jù)集，并做了數(shù)據(jù)增強(qiáng)處理，共用了150 張NVIDIA M60 GPU渲染48小時(shí)。
此外，團(tuán)隊(duì)還訓(xùn)練了人臉解析網(wǎng)絡(luò)（僅使用合成數(shù)據(jù)）和標(biāo)簽適應(yīng)網(wǎng)絡(luò)，以解決合成標(biāo)簽和人工注釋標(biāo)簽之間的系統(tǒng)差異。
最終，人臉分析、地標(biāo)定位等任務(wù)上的效果與其他采用真實(shí)數(shù)據(jù)的模型相當(dāng)。
不過，研究人員也承認(rèn)這項(xiàng)技術(shù)仍然有一定局限性。
比如人臉模型只有頭部和頸部、無法模擬真實(shí)的皺紋、隨機(jī)匹配人臉時(shí)會(huì)得到一些不合常理的面孔，比如有胡須的女性。
在接下來的工作中，他們計(jì)劃將解決這些局限性。
好了，感興趣的旁友可戳下方論文鏈接～
論文鏈接：
https://www.arxiv-vanity.com/papers/2109.15102/
- 英偉達(dá)最新芯片B30A曝光2025-08-20
- AI應(yīng)用如何落地政企？首先不要卷通用大模型2025-08-12
- 本科必學(xué)Dijkstra算法被超越！清華段然團(tuán)隊(duì)打破圖靈獎(jiǎng)得主證明的普遍最優(yōu)性2025-08-09
- 智能體邁入L4 時(shí)代！納米AI多智能體蜂群，可創(chuàng)作最長10分鐘AI視頻2025-08-06
相關(guān)閱讀
GitHub版Devin上線，會(huì)打字就能開發(fā)應(yīng)用，微軟CEO：重新定義IDE
還在測試階段，體驗(yàn)需報(bào)名排隊(duì)
微軟開源系統(tǒng)工具PowerToys：一個(gè)曾被蓋茨下令砍掉的軟件
時(shí)隔近20年，微軟再次把PowerToys帶到了Windows 10系統(tǒng)中，而且還是開源的。
克10-EM-P-150x150.jpg)