基于NeRF的APP上架蘋果商店！照片轉(zhuǎn)3D只需一部手機(jī)，網(wǎng)友們玩瘋了
隨手拍出3D電影效果
蕭簫 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI
只用一部手機(jī)，現(xiàn)實(shí)中的2D照片就能渲染出3D模型？
沒錯(cuò)，無需再手動(dòng)上傳電腦或安裝激光雷達(dá)，蘋果手機(jī)自帶APP就能生成3D模型。
這個(gè)名叫Luma AI的“NeRF APP”，正式上架App Store后爆火：
小如3D裝飾模型，兼具燈光和形狀細(xì)節(jié)：
大到整個(gè)墓園的3D場(chǎng)景渲染版，都能被很好捕捉：
這樣無論是風(fēng)景、3D物體還是人物，都可以被很好地保存進(jìn)手機(jī)，并快速生成對(duì)應(yīng)的3D模型。
所以這個(gè)APP究竟包含什么功能，它又具體要如何使用？
NeRF手機(jī)APP是什么？
Luma AI是一個(gè)基于NeRF打造的APP，目前能在蘋果商店中搜到：
NeRF是少量2D照片生成3D場(chǎng)景的經(jīng)典AI模型，最初版本由UC伯克利和谷歌開發(fā)，只需要輸入少量靜態(tài)圖片，就能做到多視角的逼真3D效果。
最初NeRF需要專業(yè)相機(jī)拍幾百張照片，并在拍照時(shí)嚴(yán)格遵守參數(shù)坐標(biāo)，但由于它的代碼數(shù)據(jù)開源，目前已經(jīng)有不少簡化版模型被開發(fā)出來。
不僅照片數(shù)量有所下降，從幾百張到幾十張甚至幾張，對(duì)拍照位置和照相機(jī)的要求也有所降低。
但能直接通過APP導(dǎo)引、隨時(shí)隨地可用的NeRF，幾乎還沒出現(xiàn)過。
現(xiàn)在，Luma AI團(tuán)隊(duì)基于云服務(wù)器，實(shí)現(xiàn)了這個(gè)可以實(shí)時(shí)渲染3D物體、產(chǎn)品或風(fēng)景和場(chǎng)景的APP。
它包含自動(dòng)調(diào)整焦距、視角和畫面比例調(diào)整等不同功能，捕捉到的3D場(chǎng)景則包含復(fù)雜形狀、反射和照明等細(xì)節(jié)。
同時(shí)，制作得到的3D模型既可以直接分享到網(wǎng)上，比2D照片更全方位地展示細(xì)節(jié)：
也可以放進(jìn)Blender等游戲引擎中，讓它“動(dòng)起來”：
現(xiàn)在，你也可以試一試了。
支持iPhone 11或以上機(jī)型
目前Luma AI支持iPhone 11或以上的機(jī)型，操作方法也很簡單。
在蘋果商店下載APP后，只需要跟著導(dǎo)引，圍繞3D物體一步步完成拍攝，NeRF就能在后臺(tái)將這些照片合成出一個(gè)3D模型，并實(shí)時(shí)導(dǎo)出：
支持的玩法也很多樣，從調(diào)整焦距、效果預(yù)覽都包括：
實(shí)際拍出來的效果，可以直接放進(jìn)電影中，有運(yùn)鏡內(nèi)味了：
所以，沒有蘋果手機(jī)怎么辦？
在網(wǎng)頁端上傳照片也可以，視頻和照片集二選一：
在Luma AI公開的3D模型分享庫中，已經(jīng)有不少網(wǎng)友上傳了自己隨手拍的3D模型：
目前支持導(dǎo)出的3D模型格式，主要包括obj和gltf兩種。
你想好用它來拍出大片效果、做游戲模型，還是把家里的3D手辦“電子化”了嗎？
參考鏈接：
[1]https://twitter.com/LumaLabsAI/status/1611466398546690048
[2]https://captures.lumalabs.ai/imagine
[3]https://apps.apple.com/us/app/luma-ai/id1615849914
相關(guān)閱讀
Nature封面引發(fā)持續(xù)熱議，死亡豬腦恢復(fù)部分功能可實(shí)現(xiàn)永生？官方答疑來了
人類是不是也可以因?yàn)檫@項(xiàng)技術(shù)實(shí)現(xiàn)永生？科幻電影中的腦移植場(chǎng)景成真了？這個(gè)脫離肉體的大腦是否具有意識(shí)？
ICML新研究提出泛化能力評(píng)估新指標(biāo)：直接上向量余弦距離就OK，還開源了相關(guān)代碼
研究指出，網(wǎng)絡(luò)的泛化能力，可以通過“層旋轉(zhuǎn)”來評(píng)判。
