一個普通攝像頭就讓二次元老婆“活”了過來，網友：求收費

魚羊 明敏 發(fā)自 凹非寺

量子位 報道 | 公眾號 QbitAI

你敢信，這年頭只靠一個普通攝像頭，就能讓二次元老婆實時完成如此靈活的手指舞？

沒錯，不用穿戴硬件設備，打開電腦攝像頭，AI就能讓二次元老婆隨你實時舞動。

即使沒有昂貴傳感器加持，搖花手這種高難度動作，照樣能輕松拿下。

真人手指再怎么復雜地開合變化，屏幕里的Ta都能完美同步：

雙臂前后交替變換都不會識別錯誤：

這還不算完，更讓網友們直呼“離譜”的是，這樣的視頻動作捕捉AI，只要你有一臺電腦+一個RBG攝像頭，就能直接抱回家。

不用學編程，也不用多花錢，技術直接就是一個免費可商用。

這給網友整得都不敢相信了，趕忙自己上手試了試，結果——

確定是可以擺花手的靈活程度。

這個手摳鼻屎也看得很清楚啊！

好家伙，這豈不是人人都能定制專屬3D虛擬主播了？究竟是怎么一回事？

上百個識別位點的3D動捕

正如前面提到的，這是真真正正的視頻動捕。

像《阿凡達》《指環(huán)王》等電影中的許多特效、角色動作設計，都是由動作捕捉來實現。

不過，傳統的光學動作捕捉和慣性動作捕捉，都需要通過傳感器來記錄演員的動作。

因此在片場，需要動捕的演員身上往往佩戴很多設備，大概長這樣：

而在開頭我們看到，二次元老婆背后的真人主播，身上卻無需佩戴任何設備。

那它是如何來捕捉動作的呢？

通過AI。

與以往需要昂貴傳感器支持的光學動捕、慣性動捕不同，近幾年興起的視頻動捕主要用到了計算機視覺技術。

它只使用普通的RGB攝像頭通過卷積神經網絡（CNN）來識別圖像中人體的骨骼關鍵點。

其中，特征提取器會通過分辨率由高到低的過程來提取高級特征，姿勢解碼器則可以基于檢測或回歸的方式來估計目標輸出、2D/3D關鍵點位置或3D網絡。

基于檢測的方法可以生成特征圖或熱力圖，基于回歸的方法則可以直接輸出坐標位置。

此前劍橋大學開發(fā)的人體姿態(tài)工具PoseNet就是一個很經典的案例。

它使用端到端學習框架，可以從RGB圖像中直接映射出人體的關鍵骨骼坐標，檢測全身17個位點，最終捕捉到人體動作。

如上虛擬主播用到的動捕技術，也是類似于此的神經網絡。

特別的是，這套名叫小K直播姬的視頻動作捕捉技術，識別位點遠超17個，僅上半身就有100多個，覆蓋了面部、手部和雙臂。

這也是“老婆們”能夠活靈活現的關鍵所在。

要知道，此前許多vTuber直播時，都只有脖子以上可以活動，上半身像是被封印了一般。

而當動捕技術能夠捕捉的身體位點越多，可以呈現的效果也就越豐富。

比如借助小K直播姬，vTuber就可以隨意扭動身體、擺出各種動作，面部表情也多了很多細節(jié)。

而最令人驚嘆的手部動作的實現，則有賴于深度信息的引入。之前的卷積神經網絡（CNN）學習的關節(jié)點只有2D信息，無法使用到3D虛擬形象上，但是小K直播姬自研的AI算法能捕捉3D信息并應用的3D虛擬直播里。

比如“石頭”握拳這個動作，在普通攝像頭“眼中”，手部位點會出現遮擋、重疊，這時只用2D關鍵點識別是很難還原真實動作的。

具體而言，小K直播姬的解決方案，是根據攝像頭捕捉到的2D圖像，來估計每個關節(jié)點到鏡頭之間的距離。

掌握了3D深度信息后，即便攝像頭只能拍到手部側面，想要還原動作也不成問題。

尤其是雙臂前后交換這種動作，2D識別很可能無法識別前后的差別，但是3D識別就能讓畫面呈現明顯的立體感。

目前，這種技術已經能做到每秒輸出30幀畫面。

其實它還能開放到每秒60幀，只是考慮到vTuber一般在直播時還需要開啟其他軟件，主播的電腦可能會承受不住，所以當下推薦大家開30幀。

看到這里，是不是已經被驚艷到了？

然鵝，這還不是最厲害的。

其實，不只是上半身的動作捕捉，全身動捕現在都能僅靠攝像頭完成。

沒錯，仍舊不需要佩戴任何穿戴設備，只需多個普通的RGB攝像頭，就能將真人的全身動作完全還原。

人人都可試玩的那種

效果絲滑自然、只需一臺電腦+普通攝像頭，還是免 費 的……這確實讓人看了很難不心動。

也難怪小K直播姬一登場，惹得網友們直呼：

趕緊收錢，求求了。

要知道，傳統的光學動捕、慣性動捕，由于對傳感器設備、專業(yè)攝影棚等方面的需求，成本始終居高不下。

以今年火出圈的A-SOUL為例，它由字節(jié)跳動和樂華聯合推出，傳聞稱其所使用的動捕設備成本高達8位數。

而小K直播姬這個免費產品，直接實現了“人人皆可vTuber”。

這不，在小K直播姬公測后，不少人都來一探究竟，公測10日后虛擬主播注冊數就已經破萬。

在這里不僅可以自己捏人，還能導入模型，B站上許多人都曬出了自己的vTuber形象。

知名VUP小希小桃最近大變身，也是因為用了小K直播姬。

會出現一石激起千層浪的現象倒也不稀奇，畢竟市面上這種將視頻動捕技術商業(yè)化、還面向vTuber的產品，實在是太少了。

團隊出身游戲行業(yè)

那為什么會是小K直播姬呢？

這個答案要從它的幕后打造者——云舶科技身上找答案。

2017年，出身游戲行業(yè)的梅嵩和陳敏聯合創(chuàng)立了云舶科技。

其中，梅嵩是原藍港互動SVP，《王者之劍》系列手游制作人；陳敏是原藍港互動CTO，核心團隊有著16年的研發(fā)經驗。

憑借自身對游戲動畫市場的了解，他們從創(chuàng)業(yè)初期就專注于視頻動捕技術。

事實上，小K直播姬所采用的所有視頻動捕技術，都是由云舶科技自主研發(fā)。

起初，他們利用動捕技術將視頻直接生成bip、fbx動畫文件，大幅提升動畫師的作畫效率。

因為出身游戲圈，對二次元市場有著敏感的嗅覺，云舶在2018年就察覺到了虛擬偶像市場在逐漸升溫。

所以便將技術落地場景選在了這一領域。

而小K直播姬大受歡迎，除了本身的技術效果吸睛這一原因之外，也同樣得益于他們的游戲行業(yè)產品背景，認為用戶交互體驗能提升甚至改變虛擬直播的最終價值。

同時云舶科技對用戶也是抱有“有求必應”的態(tài)度，如果你想要捕捉云舶科技的技術leader，到官方論壇、用戶QQ群里“釣魚”可能是個不錯的選擇（手動狗頭）。

現在，小K直播姬背后，從一線程序員到公司創(chuàng)始人，全都活躍在這些用戶聚集的地方，還常常追著用戶溝通交流，只為徹底弄清楚用戶對于產品的更多需求。

比如最近即將上線的模型飾品增加自定義調整位置，就是網友們多次向小K提議的功能。

食用指南

OK，說了這么多，如果你也對虛擬直播感興趣，現在就可以下載試玩一波走起了~

目前，小K直播姬暫只支持Windows系統，1060及以上顯卡可實現上半身動捕，其它顯卡支持面部捕捉。

進入應用后可以自己捏臉定制形象，也可以選擇導入模型。

如果你在體驗過程中有了好的idea，也不妨加個群水個論壇，小K直播姬背后的技術leader和一眾程序員們都在“虎視眈眈”。

說不定下一個上線功能，就是受你啟發(fā)的！

p.s.云舶科技最近還在火熱招人，尤其是U3D開發(fā)、C++開發(fā)、3D算法等職位。

感興趣的童鞋可以在云舶科技官方網站www.yunboai.com招聘版塊查看具體需求，大家的簡歷可以準備起來了~