谷歌又買算法送手機(jī)了，最新方法讓背景虛化細(xì)節(jié)到頭發(fā)絲，真有單反的感覺了
輕量級(jí)網(wǎng)絡(luò)+監(jiān)督學(xué)習(xí)
明敏 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI
當(dāng)真是買算法送手機(jī)！
這不，谷歌又給“親兒子”Pixel 6塞福利了，讓手機(jī)摳圖也能細(xì)節(jié)到頭發(fā)絲。
看這效果，原本模糊的頭發(fā)輪廓，咻地一下，就變成了纖毫畢現(xiàn)的樣子！
連發(fā)絲之間的縫隙也能精準(zhǔn)摳到。
這樣一來(lái)，就避免了使用人像模式拍照時(shí)人物與虛化背景割裂的情況，讓人物照片的縱深感更加逼真。
四舍五入一下，這不就是手握單反拍照？（手動(dòng)狗頭）
Alpha遮罩+監(jiān)督學(xué)習(xí)
在介紹最新的方法之前，先來(lái)了解一下過(guò)去手機(jī)的人像模式拍照到底是怎么實(shí)現(xiàn)的。
傳統(tǒng)方法是使用二進(jìn)制將圖像分割，然后對(duì)分離出的背景進(jìn)行虛化，在視覺上產(chǎn)生一種縱深感，由此也就能更加突出人物主體了。
雖然帶來(lái)的視覺效果非常明顯，但是在細(xì)節(jié)上的表現(xiàn)還不夠強(qiáng)大。
由此，谷歌將常用于電影制作和攝影修圖的Alpha遮罩搬到了手機(jī)上，提出了一個(gè)全新的神經(jīng)網(wǎng)絡(luò)，名叫“Portrait matting”。
其中，主干網(wǎng)絡(luò)是MobileNetV3。
這是一個(gè)輕量級(jí)網(wǎng)絡(luò)，特點(diǎn)是參數(shù)少、計(jì)算量小、推理時(shí)間短，在OCR、YOLO v3等任務(wù)上非常常見，具體結(jié)構(gòu)長(zhǎng)這樣：
然后再利用一個(gè)淺層網(wǎng)絡(luò)和一系列殘差塊，來(lái)進(jìn)一步提升Alpha遮罩的精細(xì)度。
其中，這個(gè)淺層網(wǎng)絡(luò)更加依賴于低層特征，由此可以得到高分辨率的結(jié)構(gòu)特征，從而預(yù)測(cè)出每個(gè)像素的Alpha透明度。
通過(guò)這種方式，模型能夠細(xì)化初始輸入時(shí)的Alpha遮罩，也就實(shí)現(xiàn)了如上細(xì)節(jié)到頭發(fā)絲的摳圖效果。谷歌表示，神經(jīng)網(wǎng)絡(luò)Portrait matting可以使用Tensorflow Lite在Pixel 6 上運(yùn)行。
此外，考慮到使用Alpha遮罩摳圖時(shí)，背光太強(qiáng)往往會(huì)導(dǎo)致細(xì)節(jié)處理不好。
谷歌使用了體積視頻捕捉方案The Relightables來(lái)生成高質(zhì)量的數(shù)據(jù)集。
這是谷歌在2019年提出的一個(gè)系統(tǒng)，由一個(gè)球形籠子組成，裝有331個(gè)可編程LED燈和大約100個(gè)用于捕獲體積視頻的攝像機(jī)。
相比于一般的數(shù)據(jù)集，這種方法可以讓人物主體的光照情況與背景相匹配，由此也就能呈現(xiàn)更為逼真的效果。
而且這種方法還能滿足人像被放置在不同場(chǎng)景中時(shí)，光線變化的需求。
值得一提的，谷歌還在這一方法中使用了監(jiān)督學(xué)習(xí)的策略。
這是因?yàn)樯窠?jīng)網(wǎng)絡(luò)在摳圖上的準(zhǔn)確度和泛化能力還有待提升，而純?nèi)斯?biāo)注的工作量又太大了。
所以，研究人員利用標(biāo)記好的數(shù)據(jù)集來(lái)訓(xùn)練神經(jīng)網(wǎng)絡(luò)，從而大量數(shù)據(jù)中來(lái)提高模型泛化能力。
One More Thing
用算法來(lái)優(yōu)化攝影效果，其實(shí)是谷歌的傳統(tǒng)藝能了。
比如Pixel 4中，就使用算法來(lái)拍攝星空。
HDR+算法更不必說(shuō)，曾經(jīng)引發(fā)過(guò)大眾熱議。
這一功能可以在相機(jī)啟動(dòng)時(shí)、沒有按快門的情況下連續(xù)捕捉圖像，并且會(huì)緩存最近保存的9張。這些照片將會(huì)與按下快門后的圖像一并處理，最終得到一張最優(yōu)的圖像。
同時(shí)它還能讓Pixel在夜間模式下拍照時(shí)，不用像其他手機(jī)那樣長(zhǎng)時(shí)間停留。
由于提升攝影效果不靠硬件，谷歌也將這些功能整合到一個(gè)APP上，適用于各種安卓手機(jī)。
感興趣的小伙伴，可以去試玩看看or分享自己的體驗(yàn)~
參考鏈接：
https://ai.googleblog.com/2022/01/accurate-alpha-matting-for-portrait.html
- 4o-mini華人領(lǐng)隊(duì)也離職了，這次不怪小扎2025-08-19
- 宇樹機(jī)器人“撞人逃逸”火到國(guó)外，王興興回應(yīng)：下次不遙控了2025-08-16
- 突破Claude-4編程上限！自進(jìn)化Agent框架拿下新SOTA，已開源2025-08-19
- 讓OpenAI只領(lǐng)先5天，百川發(fā)布推理新模型，掀翻醫(yī)療垂域開源天花板2025-08-11
相關(guān)閱讀
檢測(cè)_封面-e1583990924722-300x174.png)
谷歌傳奇Jeff Dean獲2021年IEEE馮諾依曼獎(jiǎng)，8頁(yè)本科論文被大學(xué)圖書館保存至今
以表彰對(duì)大規(guī)模分布式計(jì)算機(jī)系統(tǒng)和人工智能系統(tǒng)科學(xué)與工程的貢獻(xiàn)”。
谷歌AI發(fā)布“會(huì)動(dòng)的”3D物體數(shù)據(jù)集，附帶標(biāo)記邊界框、相機(jī)位姿、稀疏點(diǎn)云，網(wǎng)友：快給我的AR模型用上
1.5萬(wàn)張動(dòng)圖，400萬(wàn)張圖片
