照片你隨便拍，「光影」我任意調(diào)，MIT谷歌新研究，器材黨老法師看了會(huì)沉默
「打光」新方法：神經(jīng)光線傳輸
金磊 發(fā)自 凹非寺
量子位 報(bào)道 | 公眾號 QbitAI
在攝影這件事上，「光影」簡直不要太重要。
畢竟大師們攝影作品，大多都是對「光」和「影」的拿捏。
△來自俄羅斯攝影師George Mayer
而最近，MIT 和谷歌等機(jī)構(gòu)聯(lián)手提出了一種用神經(jīng)網(wǎng)絡(luò)「打光」的新方法，大大降低了對「光影」拿捏的門檻——神經(jīng)光線傳輸?（Nerual Light Transport，NLT）。
例如下圖所示，只要拍好人物照片，無論背景如何轉(zhuǎn)換，都可以相應(yīng)的調(diào)節(jié)人物身上的「光影」。
去背景后的「AI 打光」效果更加明顯。
還有這樣的。
雖說「打光」效果是出來了，但這畫風(fēng)…有點(diǎn)像陰間的東西了。
言歸正傳，繼續(xù)聊聊 NLT 這項(xiàng)技術(shù)。
NLT——拿捏光線的一把好手
光線傳輸（LT）可以描述一個(gè)場景中，物體在不同光照和方向下所呈現(xiàn)出來的樣子。
而完整地了解一個(gè)場景的 LT，還可以實(shí)現(xiàn)任意光照下的新視圖合成。
于是，MIT 和谷歌的研究人員基于圖像 LT 采集（以人體為主），提出了一種半?yún)?shù)的深度學(xué)習(xí)框架，來學(xué)習(xí) LT 的神經(jīng)表示，名曰NLT。
總體而言，NLT 可以單獨(dú)或同時(shí)完成以下兩項(xiàng)任務(wù)：
- 用定向光或HDRI圖，重新照亮場景的光線真實(shí)性。
- 合成具有視圖依賴性效果的新視圖。
來看下 NLT 在不同任務(wù)下的效果。
首先是「定向重打光」?（Directional Relighting）。
可以看到人物在光線的變化下，陰影、高亮的變化非常自然。
接下來，是基于「背景圖的重打光」?（Image-Based Relighting）。
從背景圖中，大致可以判斷光源（太陽）的方向，而隨著背景圖的轉(zhuǎn)動(dòng)，人物身上的陰影也會(huì)隨之發(fā)生改變。
最后，是「視圖合成+同步光源」?（View Synthesis & Simultaneous）。
除了視覺效果驚艷之外，從定性角度來看，NLT 方法也取得了不錯(cuò)的效果。
例如，在「重打光」（Redlighting）任務(wù)中，與其它基線方法相比，在 PSNR 和 SSIM 兩個(gè)指標(biāo)中都取得了最先進(jìn)的結(jié)果。
同樣，在「視圖合成」任務(wù)中，NLT 的結(jié)果也是相當(dāng)不錯(cuò)。
那么，NLT 具體是如何實(shí)現(xiàn)這般效果的呢？
NLT模型：「查詢」、「觀測」兩步走
NLT 的模型網(wǎng)絡(luò)主要由2條路徑構(gòu)成，分別是查詢路徑?（Query Path）和觀測路徑?（Observation Path）。
「觀測路徑」將附近的 K 個(gè)觀測值作為輸入，在目標(biāo)光和觀察方向周圍采樣，并將它們編碼成多尺度特征，匯集起來用來消除對其順序和數(shù)量的依賴。
接下來，這些匯集起來的特征將被連接到 「查詢路徑 」的特征激活上。
這條路徑將所需的光線和觀察方向，以及物理上精確的 disue base 作為輸入。
「查詢路徑」預(yù)測了一個(gè)殘差圖，該殘差圖被添加到diuse base上，用來產(chǎn)生紋理渲染。
最后，通過將深度神經(jīng)網(wǎng)絡(luò)嵌入到UV紋理空間中，便可以合成與可見光線和觀看角度對應(yīng)的紋理空間RGB圖像。
華人小哥一作
這項(xiàng)研究的第一作者，是來自MIT的博士生，張修明。
張修明目前在 MIT 計(jì)算機(jī)科學(xué)與人工智能實(shí)驗(yàn)室（CSAIL），從事計(jì)算機(jī)視覺和計(jì)算機(jī)圖形學(xué)領(lǐng)域的工作，尤其對重光照、視圖合成和材料建模感興趣。
另一位主要作者是Sean Fanello。
Sean Fanello是一名研究科學(xué)家，也是谷歌的經(jīng)理，在谷歌領(lǐng)導(dǎo)容量性能捕獲方面的工作。
研究興趣主要包括數(shù)字人類、體積重建、高質(zhì)量的深度傳感和非剛性跟蹤。
最后，項(xiàng)目將在近日開源，感興趣的朋友持續(xù)關(guān)注下方參考鏈接中的信息更新。
參考鏈接：
http://nlt.csail.mit.edu/
- 商湯林達(dá)華萬字長文回答AGI：4層破壁，3大挑戰(zhàn)2025-08-12
- 商湯多模態(tài)大模型賦能鐵路勘察設(shè)計(jì)，讓70年經(jīng)驗(yàn)“活”起來2025-08-13
- 以“具身智能基座”為核，睿爾曼攜全產(chǎn)品矩陣及新品亮相2025 WRC2025-08-11
- 哇塞，今天北京被機(jī)器人人人人人塞滿了！2025-08-08
相關(guān)閱讀
刷新COCO目標(biāo)檢測紀(jì)錄！谷歌只靠AI擴(kuò)增數(shù)據(jù)，就把一個(gè)模型變成SOTA，已開源
模型架構(gòu)完全不用動(dòng)。
谷歌實(shí)現(xiàn)量子計(jì)算糾錯(cuò)重大突破！成果登上Nature，號稱第二大里程碑
糾錯(cuò)是“任何一臺(tái)量子計(jì)算機(jī)都要面對的問題”
