草圖人像變3D模特，360° 無死角還原姿勢，一張就行，多“草”都可｜SIGGRAPH 2022
可親自上手試驗一把
豐色 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI
一張隨便勾畫的草圖，居然也可以分分鐘自動變成逼真的3D模型？！
360° 無死角不說，轉換期間真的不需要任何其它角度姿勢的輸入。
這就是獲得了SIGGRAPH 2022榮譽獎的一個最新3D姿態(tài)估計模型：
Sketch2Pose。
除了草圖，像這樣的小猴子，四肢嚴重不按比例生長，Sketch2Pose也可以辦到：
這是如何做到的？
只要4步，草圖人變3D人
將草圖上的人物/形象變成3D模型，此前的研究中都還未專門涉及。
該任務最大的挑戰(zhàn)就是比例失真問題，因為畫上的東西可能頭大身子小、胳膊長腿短……
為此，Sketch2Pose通過對三個關鍵元素進行預測來消除繪制姿勢時的可能出現的“歧義”。
這三個元素分別是：
2D骨骼切線（2D bone tangents）自接觸區(qū)域（self-contacts）骨骼縮短比例（bone foreshortening）其中，2D骨骼切線（下圖藍色部分）是預測3D骨骼方向最有力的指標（關節(jié)位置不行）。
自接觸區(qū)域（如下圖綠色部分，手接觸腰的位置）對于理解3D姿勢至關重要，也是消除未知身體部位歧義的線索。
骨骼縮短轉換系統(tǒng)則利用統(tǒng)計分析來糾正原圖中的比例問題。
根據這三者預測，再使用最先進的優(yōu)化框架（optimization framework），并用專門設計的一種新的損失（loss）來平衡姿勢自然度，以及與輸入草圖的相似性，AI就能最終推斷出符合畫者意向的3D姿勢。
具體步驟如下：
輸入一張草圖，首先預測出2D關節(jié)位置或骨架，用于3D人體模型的粗略對齊。
然后預測屏幕空間（screen-space）接觸區(qū)域，將其映射到粗略對齊的3D模型上，得到一組接觸頂點（紅色部分）。
接著，利用縮短轉換階段描述的草圖人物比例問題，進行修補。
最后，在優(yōu)化框架中利用2D骨架的骨骼切線、粗略對齊的3D姿勢以及比例修補，產生最終結果。
有遮擋缺失也OK
最終的Sketch2Pose可以支持多種草圖風格的轉換，比如下圖中的簡筆畫或者水墨畫，像下下圖最后一張那樣簡略的也可以。
同時，對缺失、遮擋部位也能穩(wěn)健處理。
比如上圖第一行中的人手（不過我們發(fā)現左邊的似乎推測有錯，手應該是放在兩腿之間；右邊的抱頭基本沒啥問題，但手掌應該向后彎曲）。
再將Sketch2Pose和SOTA方法進行比較，結果還是令人非常滿意的。
可以看到，Sketch2Pose（第三列）對姿勢還原的更到位，缺失部分的預測也更符合人體構造。
而開頭那只小猴子，Müller et al. 2021等方法的轉換效果就是下面這樣：
對于猴子“扭曲”的下肢部分，這些方法都出現了理解偏差——Sketch2Pose完勝。
作者介紹
Sketch2Pose一共有兩位作者，都來自加拿大蒙特利爾大學。
一作名叫Kirill Brodt (Кирилл Бродт)，出生于1991年，本碩畢業(yè)于新西伯利亞州立大學（數學學位），后在Yandex數據分析和計算機科學中心學院學習機器學習，現為蒙特利爾大學的一位博士生。
他的主要研究方向為跟草圖有關的計算機視覺轉換。
另一位作者名叫Mikhail Bessmeltsev，是一作的導師，蒙特利爾大學計算機科學與運籌學系的助理教授。
感興趣的同學可以戳論文原文，或者去Huggingface上試試效果。
論文原文：
https://dl.acm.org/doi/10.1145/3528223.3530106
項目主頁：
https://www-labs.iro.umontreal.ca/~bmpix/sketch2pose/
Huggingface demo：
https://huggingface.co/spaces/SIGGRAPH2022/sketch2pose
Github代碼：
https://github.com/kbrodt/sketch2pose
- 北大開源最強aiXcoder-7B代碼大模型！聚焦真實開發(fā)場景，專為企業(yè)私有部署設計2024-04-09
- 剛剛，圖靈獎揭曉！史上首位數學和計算機最高獎“雙料王”出現了2024-04-10
- 8.3K Stars!《多模態(tài)大語言模型綜述》重大升級2024-04-10
- 谷歌最強大模型免費開放了！長音頻理解功能獨一份，100萬上下文敞開用2024-04-10
相關閱讀
老黃發(fā)布最強AIGC芯片！內存容量暴增近50%，可運行任意大模型，“生成式AI的iPhone時刻已來”
還牽手抱抱臉搞起大模型版Colab
