照片上的人出來了！云從3D人體重建登頂三項榜單，一張照片就能生成3D形象
你的Mate 20 Pro是不是買早了？
跳起來的妹子被定格在半空中，成為一張平面的照片。
現(xiàn)在，輸入這張照片到特定的程序里，就變成了這樣：
不只360°，全角度可見的3D立體形象，就好像妹子要從照片里跳出來一樣。
以往的3D人體重建，往往需要多個攝像頭，或者連續(xù)的多幀影像，才能重建出人體的3D模型。
不過現(xiàn)在，云從科技在3D重建領(lǐng)域刷新了榜單，而且只需要一個普通攝像頭，拍攝一張照片就可以。
而且，既然一張照片就可以生成3D圖像，那么連續(xù)的一段視頻，就可以生成一個動畫電影片段啊。
比如這樣的動態(tài)場景，像是陳佩斯老師的《吃面》：
我們把它3D化，從正面看：
從側(cè)面看：
從背面看：
從頭頂看，上帝視角吃面：
只要上個色，就可以變成動畫版《吃面》。
三個數(shù)據(jù)集皆取得第一
云從的基于單幀圖像的3D人體重建技術(shù)同時在Human3.6M、Surreal和UP-3D三個數(shù)據(jù)集上排到了第一名，將原有最低誤差記錄大幅降低30%。
每個數(shù)據(jù)集上的每項的error都要比此前的研究低，意味著生成的3D模型相對更為準確，更接近人體的真實狀況。
云從科技3D人體重建技術(shù)全身精度誤差（Surface Error）在Surreal上從75.4毫米降低到52.7毫米，關(guān)節(jié)精度誤差（3D Joint Error）從55.8毫米降低到40.1毫米，Human3.6M上的關(guān)節(jié)精度誤差（3D Joint Error）從59.9毫米降低到46.7毫米，技術(shù)的執(zhí)行速度從之前的上百毫秒降低到僅需5毫秒。
部署在手機上，無需3D結(jié)構(gòu)光
云從的這項技術(shù)通過對RGB圖像的分析，推理出人體或人臉的3D形態(tài)，并通過光學(xué)透視、陰影疊加等基本光學(xué)原則準確預(yù)測出各個關(guān)鍵點在3D空間的位置和朝向，從而得到人體的姿態(tài)或表情信息。
除了預(yù)測人體的3D形態(tài)和姿勢，這項技術(shù)還可以實現(xiàn)用6萬多個點完整描繪人體，幀率達到200fps。
另外，在部署上的一個優(yōu)點是，可以利用普通光學(xué)攝像頭作為感知設(shè)備，不需要連續(xù)圖像或者多視角拍攝。
也即是說，如果將這項技術(shù)部署在手機上，那么不需要3D結(jié)構(gòu)光也可以實現(xiàn)3D人臉識別，或者制作3D表情。
相比傳統(tǒng)的人體關(guān)鍵點檢測，基于單幀圖像的3D重建技術(shù)不僅能輸出骨骼關(guān)節(jié)點信息，更能同時預(yù)測大量的人體表面關(guān)鍵點信息，預(yù)測結(jié)果更加豐富，而且每個點的坐標都是3D的，能夠體現(xiàn)不同軀干的縱深信息。
多樣的應(yīng)用
除了在手機上實現(xiàn)各種3D卡通表情，3D人體重建技術(shù)還可以用在許多不同的場景。
商場購物就是一大應(yīng)用場景，只需要一個角度的一張照片，就可以重建出顧客的身體3D模型，模擬穿上衣服的效果，節(jié)約了落地成本和部署難度。
另外，這一技術(shù)也可以優(yōu)化自拍、直播、短視頻軟件里的美顏、瘦身功能，在3D模型上美顏，效果會相對自然，不會出現(xiàn)角度極端的“蛇精臉”，加上虛擬的妝容打扮也可以更自然。
而當(dāng)技術(shù)成熟之后，在影視特效制作方面，這項技術(shù)也可以更方便的制作出阿麗塔這類3D角色，而不必使用復(fù)雜的設(shè)備。
相關(guān)閱讀
限量報名 | 計算機視覺、語音專場，騰訊教你做AI商業(yè)化實踐
本次匯聚騰訊優(yōu)圖技術(shù)專家、香港科技大學(xué)教授、微信智聆技術(shù)負責(zé)人、哈工大教授等12位AI領(lǐng)域技術(shù)、產(chǎn)業(yè)、學(xué)術(shù)界大咖，9月5日計算機視覺專場、9月12日AI語音語義專場，將在分享中把握AI技術(shù)發(fā)展的脈絡(luò)，從實踐中找尋AI技術(shù)落地的價值。
