谷歌AI秀神技：大臉畸變一鍵還原，拍照無需搶C位，實(shí)時(shí)運(yùn)行毫無PS痕跡

栗子 發(fā)自 凹非寺

量子位 報(bào)道 | 公眾號(hào) QbitAI

真令人臉大。

合照的時(shí)候，沒有誰喜歡站在最邊上。

因?yàn)槟槙?huì)被鏡頭無情地拉扯，不止變得寬廣，還會(huì)有些歪斜：

不過，谷歌剛剛推出了一門法術(shù)，可以讓廣角照片里的人臉，不用再扭曲變形：

左一的妹子，右一的妹子，臉型都顯得更加對(duì)稱自然了。

那么，增加一波難度。

帶上墨鏡，帶上帽子，拉長(zhǎng)的臉依然可以復(fù)原：

用手擋住半張臉，AI還是沒有被迷惑：

不止是這樣，AI把人臉調(diào)正的同時(shí)，也不會(huì)扭曲了背景。

比如下圖，中間是DxO Viewpoint的人臉修正，后面的欄桿被擠成了一條弧線；而右邊是谷歌算法，修好了人臉，欄桿依然直挺：

團(tuán)隊(duì)說，整個(gè)修復(fù)過程都是AI自動(dòng)完成，并且在移動(dòng)端也可以運(yùn)行。

這只善良又聰穎的AI，登上了頂會(huì)SIGGRAPH 2019。

也在Reddit論壇收獲了1.9k的熱度：

有人說，Pixel的廣角前置鏡頭已經(jīng)用上了這個(gè)算法，拍完之后點(diǎn)開照片預(yù)覽，發(fā)現(xiàn)自己的臉已經(jīng)收窄了。

現(xiàn)在就來看看，人物和背景，到底是怎樣兼顧的吧。

互補(bǔ)才是完美

谷歌說，從前想要糾正鏡頭畸變，總是需要職業(yè)的修圖士。

因?yàn)?，讓機(jī)器自動(dòng)完成的話，常常是修好了一處扭曲，又制造了另一處新的扭曲。

不過，團(tuán)隊(duì)也正是從這些不完美的算法之間，發(fā)現(xiàn)了新世界的大門：

先看透視投影?(Perspective Projection) 。從一個(gè)投射中心出發(fā)，把一個(gè)3D物體投在2D表面上。忠于透視原理，近大遠(yuǎn)小。

這種投影一定有失真，比如站在邊上的人，離投射中心比較遠(yuǎn)，臉就大了起來。不過，它拉伸的主要是人臉，背景并不容易發(fā)生扭曲。

而球極平面投影?(Stereographic Projection) 就不同了。把一個(gè)球面投射到平面上，并不忠實(shí)反映距離，卻十分忠實(shí)地反映角度。就像這張地圖。

這種投影也一定有失真，但對(duì)一張照片來說，主要是背景里的直線會(huì)變彎，而人臉不易被拉伸。

如此說來，兩種投影愉快地互補(bǔ)了。

觀察到這個(gè)美麗的現(xiàn)實(shí)，研究人員當(dāng)然要把它們的優(yōu)點(diǎn)，用優(yōu)雅的方式結(jié)合起來。

一句話概括，就是讓透視投影去處理背景，球極平面投影去處理局部 (人臉) 。

當(dāng)然，要讓兩種原本沖突的投影方式和平共處，并不是一句話的事。具體說來：

輸入的照片如上，已經(jīng)先用透視投影處理過。

第一步，找出目標(biāo)區(qū)域：人臉，包括頭發(fā)。

這里，要用人物分割算法，給輸入圖像里的人類做個(gè)Mask；再用人臉檢測(cè)器，標(biāo)出臉部的邊界框。最后，把Mask和邊界框的交集，用綠色標(biāo)注出來。

第二步，為輸入的 (透視投影) 照片，算出一個(gè)球極平面投影。

如果把這個(gè)投影可視化，會(huì)發(fā)現(xiàn)邊角的人臉已經(jīng)修好，只是背景里，左邊的窗棱和右邊的墻彎了?(下圖) 。

所以就有了關(guān)鍵的下一步：

第三步，用上前兩步的數(shù)據(jù)，算出一個(gè)網(wǎng)格 (Mesh)?。這個(gè)網(wǎng)格依然是做球極平面投影，但只要調(diào)整人臉區(qū)域，背景盡量保持原樣。

為了不影響背景，這里用到了能量最小化?(Energy Minimization) 方法，來平息兩種投影之間的沖突，促成更加平滑的過渡。

這樣，就有了一個(gè)兼顧人臉和背景的、優(yōu)化過的網(wǎng)格：

第四步，用這個(gè)網(wǎng)格來捏那張輸入的照片，得到的就是最終答案：

右下角的人臉自然了，背景里的直線也還是直線。

團(tuán)隊(duì)說，這個(gè)方法可以勝任70°-120°的視場(chǎng)角。

并且，幾乎不受場(chǎng)景的限制：

單人自拍可以，多人合照可以。

室內(nèi)戶外都表現(xiàn)穩(wěn)定；光線明暗也不影響AI的發(fā)揮。

除了開頭提到的帽子、墨鏡、手遮臉，這些沒有難倒AI的因素之外，臉朝側(cè)面也不會(huì)給算法造成困惑。

還要注意的是，團(tuán)隊(duì)是為了移動(dòng)端的應(yīng)用，才開發(fā)了這只AI。它的運(yùn)行速度，足以支持手機(jī)上相機(jī)App的正常交互：即時(shí)修圖，即時(shí)分享。

如果說有什么缺憾，大概就是在捏臉的同時(shí)，還不能把身體一起捏好。

而人在角落，身體也可能被拉伸，如果只把臉修到正常的形狀和大小，身體有時(shí)候就顯得太大：

即便這樣，AI也已經(jīng)滿足了廣角人像拍攝的大部分需求。

大家一起自拍的時(shí)候，就算拿著手機(jī)的那個(gè)人是你，也不用再擔(dān)心自己的臉被拉寬拉長(zhǎng)了。

三個(gè)少年

AI的爸爸，三位谷歌少年，全部來自寶島。

一作名叫施易昌 (YiChang Shih) ，本科念臺(tái)大，碩博都在麻省理工，實(shí)習(xí)經(jīng)歷遍布Adobe、谷歌研究院、微軟研究院等等。

2015年，從閃耀的CSAIL實(shí)驗(yàn)室拿到博士學(xué)位，如今已是谷歌的高級(jí)軟件工程師 (Senior Software Engineer) ，主攻移動(dòng)設(shè)備上的計(jì)算攝影。

二作是賴威昇 (Wei-Sheng Lai) ，本科碩士都在臺(tái)大，現(xiàn)在是加州大學(xué)默塞德分校博四的學(xué)生。曾經(jīng)在Adobe和英偉達(dá)實(shí)習(xí)，不久前剛剛結(jié)束在谷歌作為學(xué)生研究員的歷程。

三作叫梁家愷 (Chia-Kai Liang) ，本科和博士都在臺(tái)大。2008年博士畢業(yè)，現(xiàn)在是谷歌的高級(jí)專家軟件工程師 (Senior Staff Software Engineer) 。

One More Thing

雖然，三位作者里有兩位都曾經(jīng)在Adobe實(shí)習(xí)。

但這支團(tuán)隊(duì)孕育的AI，畫風(fēng)溫柔善解人意。

比起一周前Adobe發(fā)布的“反向PS”利器，那只能把P過的美照打回原形的AI (如下) ，這廣角人像的修復(fù)師AI，大概算得上愛的奉獻(xiàn)了。

論文傳送門：

https://people.csail.mit.edu/yichangshih/wide_angle_portrait/shih_sig19_lowres.pdf

項(xiàng)目主頁(yè)：

https://people.csail.mit.edu/yichangshih/wide_angle_portrait/

包含網(wǎng)格的效果展示：

https://people.csail.mit.edu/yichangshih/wide_angle_portrait/webpage/main-results/index.html

與前人算法比較：

https://people.csail.mit.edu/yichangshih/wide_angle_portrait/webpage/academic-results/index.html

與市面產(chǎn)品比較：

https://people.csail.mit.edu/yichangshih/wide_angle_portrait/webpage/manual-results/index.html

— 完 —