手機(jī)就能弄個(gè)3A級(jí)數(shù)字人！中國(guó)團(tuán)隊(duì)一套“乾坤大挪移”搞定

金磊 發(fā)自 凹非寺

量子位 | 公眾號(hào) QbitAI

想給自己搞個(gè)數(shù)字人，還得是3A級(jí)的那種？

現(xiàn)在，這個(gè)可以有。

而且只要一部手機(jī)，幾分鐘就能搞定！

瞧，只需要先在手機(jī)上挑選一個(gè)人物模型：

然后對(duì)人物模型的細(xì)節(jié)做調(diào)整，例如眉毛的樣式、鼻子的大小高度等等：

就這樣簡(jiǎn)單的點(diǎn)點(diǎn)、劃劃，一張數(shù)十萬(wàn)面建模的高精度虛擬形象就創(chuàng)建出來(lái)了！

當(dāng)然，若是花上更多時(shí)間，從面部的其它細(xì)節(jié)，到身材的比例，再到發(fā)型著裝等等，都可以一一調(diào)成你想要的樣子。

但若是光創(chuàng)建出來(lái)卻不能用，那這個(gè)數(shù)字分身也僅僅是個(gè)擺設(shè)罷了。

別急，那就打開手機(jī)的前置攝像頭，把你的表情和動(dòng)作show出來(lái)，分分鐘就可以讓這個(gè)3A級(jí)數(shù)字人跟著你同步動(dòng)起來(lái)。

（女裝大佬的福音?。?/p>

這便是來(lái)自中國(guó)團(tuán)隊(duì)的最新研發(fā)成果。

但有一說(shuō)一，以前要是想搞個(gè)3A級(jí)數(shù)字人，那可真的是費(fèi)時(shí)費(fèi)力。

不僅打造的周期比較長(zhǎng)，對(duì)設(shè)備的要求也是較為苛刻（主要價(jià)格還挺不菲）。

所以現(xiàn)在，打造3A級(jí)數(shù)字人，為什么會(huì)變得如此easy？

咋就變得人人都可用了？

一部手機(jī)就能搞的3A級(jí)數(shù)字人，怎么來(lái)的？

我們先來(lái)淺聊一下這套人手3A級(jí)數(shù)字人的“表面功夫”——數(shù)字人形象。

在渲染和運(yùn)行引擎方面，它主要基于的是Epic Games家的虛幻引擎（Unreal Engine，UE）。

目前許多做數(shù)字人的廠商，在底層引擎方面也都會(huì)選擇UE。

但這套3A級(jí)數(shù)字人的不同之處在于，它所運(yùn)行的環(huán)境得是每個(gè)人都在用的手機(jī)。

因此，為了不僅要適配這種情況，還得達(dá)到3A級(jí)別的畫質(zhì)，團(tuán)隊(duì)在UE材質(zhì)模塊的基礎(chǔ)上，自研了逼真的材質(zhì)效果shader。

例如對(duì)毛發(fā)的各項(xiàng)異性、皮膚的3S（CG級(jí)別材質(zhì)）表面散射、眼睛瞳孔的深度變化、毛孔細(xì)節(jié)的強(qiáng)弱變化等等，都做相應(yīng)的深度優(yōu)化。

而且為了讓捏臉在手機(jī)上變得“且快且方便”，團(tuán)隊(duì)還開發(fā)了特別靈活且高自由度的編輯工具。

就像我們剛才展示的那樣，“傻瓜式”點(diǎn)點(diǎn)、劃劃，就能捏出來(lái)想要的效果了：

這套3A級(jí)數(shù)字人好上手之處，還在于它支持消費(fèi)級(jí)單目RGB攝像頭的AI驅(qū)動(dòng)。

簡(jiǎn)單來(lái)說(shuō)，就是用你手機(jī)的前置攝像頭便可以搞定數(shù)字人的表情和動(dòng)作驅(qū)動(dòng)，而且還是實(shí)時(shí)的那種。

例如在人臉表情驅(qū)動(dòng)方面，團(tuán)隊(duì)便通過(guò)人臉檢測(cè)、3D人臉重構(gòu)、AI等技術(shù)，精準(zhǔn)地反饋人臉形狀、紋理、反射和表情權(quán)值等參數(shù)。

讓數(shù)字人在面部表情的驅(qū)動(dòng)能夠達(dá)到實(shí)時(shí)且逼真。

同樣的，在動(dòng)作驅(qū)動(dòng)方面，也是可以對(duì)捕捉到的視頻進(jìn)行實(shí)時(shí)處理，并且得到連續(xù)穩(wěn)定的骨骼參數(shù)。

哪怕是快速、復(fù)雜的動(dòng)作，也是可以精準(zhǔn)hold住。

……

但有一說(shuō)一，若僅僅是這些形象上的“表面功夫”，要想讓3A級(jí)的數(shù)字人在手機(jī)上實(shí)時(shí)渲染和驅(qū)動(dòng)起來(lái)，那可還真是有點(diǎn)天方夜譚了。

畢竟這要是“換算”到本地來(lái)實(shí)現(xiàn)，對(duì)硬件設(shè)備要求的“打開方式”都得是這樣的：

高端PC機(jī)性能，CPU（2.6GHZ主頻、16線程），內(nèi)存64G，RTX3080顯卡，TB級(jí)存儲(chǔ)……

而且團(tuán)隊(duì)還說(shuō)了，不僅要渲染一個(gè)3A級(jí)數(shù)字人，要在元宇宙里渲染數(shù)十萬(wàn)甚至更多的數(shù)字人。

欲達(dá)此境，就不得不涉及團(tuán)隊(duì)的核心“殺手锏”功夫了。

一套“乾坤大挪移”，了解一下

話不多說(shuō)，我們直接來(lái)揭曉答案：

云原生。

在他們看來(lái)，這是能夠讓所有普通用戶擁有3A級(jí)數(shù)字分身的唯一“解法”。

因?yàn)榻^大多數(shù)用戶使用的消費(fèi)級(jí)手機(jī)和PC，性能根本沒(méi)法滿足3A級(jí)數(shù)字人實(shí)時(shí)渲染和交互。

畢竟手機(jī)里可塞不了一張3080顯卡，就算能塞下，萬(wàn)元起步的價(jià)格也確實(shí)讓人肉疼。

于是乎，團(tuán)隊(duì)便把所有的這些麻煩事，一套“乾坤大挪移”統(tǒng)統(tǒng)搬到云上去解決：

唯有如此，才能把3A級(jí)數(shù)字人變成消費(fèi)級(jí)這件事徹底打穿。

但這并不僅僅是“挪過(guò)去”那么簡(jiǎn)單。

因?yàn)閿?shù)字人、元宇宙需要的云端環(huán)境，并不是傳統(tǒng)公有云就能直接上手解決的。

例如傳統(tǒng)公有云還是以CPU為主的計(jì)算模式和計(jì)算邏輯為核心，但面向未來(lái)的數(shù)字人和元宇宙，還需要視覺(jué)層面和圖形層面上發(fā)力。

若是歸攏一下來(lái)看，二者的區(qū)別便一目了然了。：

• 傳統(tǒng)公有云：CPU+存儲(chǔ)+網(wǎng)絡(luò)
• 數(shù)字人/元宇宙的云：CPU+GPU（+DPU）+AI+存儲(chǔ)+網(wǎng)絡(luò)

那么具體的“解題步驟”，又該是怎樣的呢？

首先，面對(duì)復(fù)雜場(chǎng)景的不斷迭代，云原生技術(shù)體系也在時(shí)刻演進(jìn)中，例如從集中式中心場(chǎng)景到分布式的邊緣場(chǎng)景拓展。

邊緣計(jì)算基礎(chǔ)設(shè)施，便成為了“解題步驟”之一。

為此，團(tuán)隊(duì)自建了云游戲領(lǐng)域最大的邊緣計(jì)算網(wǎng)絡(luò)：

• 在覆蓋全國(guó)的三十多個(gè)邊緣IDC中，放置了數(shù)萬(wàn)臺(tái)自研服務(wù)器。
• 并將自建的三十余個(gè)邊緣IDC率先升級(jí)至100G。

如此一來(lái)，哪怕是面對(duì)千萬(wàn)級(jí)的實(shí)例，也能夠輕松駕馭；并且邊緣節(jié)點(diǎn)100G的升級(jí)，也可以應(yīng)對(duì)高速增長(zhǎng)的傳輸和存儲(chǔ)壓力。

除此之外，還需要應(yīng)對(duì)大帶寬超低延遲傳輸的實(shí)時(shí)流媒體傳輸技術(shù)，在傳輸系統(tǒng)層面來(lái)“解題”。

例如基于GAN的AI自適應(yīng)FEC算法，可以優(yōu)化FEC緩沖和編碼實(shí)現(xiàn)機(jī)制，在延時(shí)和丟包場(chǎng)景下尋找最佳平衡點(diǎn)。

在整體帶寬增加不超過(guò)5%的情況下，該算法可以讓流暢度提升80%。

再如UDP+TCP雙通道傳輸策略，在復(fù)雜弱網(wǎng)場(chǎng)景下，結(jié)合UDP低延時(shí)和TCP高可靠的特性，可以將連通率提升到99.9%。

以及智能動(dòng)態(tài)分辨率算法，可以在帶寬有限、網(wǎng)絡(luò)不穩(wěn)定的情況下，讓畫質(zhì)提升1.2倍以上。

但隨著基礎(chǔ)設(shè)施等條件的優(yōu)化，再上面的平臺(tái)層也成了老大難的問(wèn)題。

因?yàn)樵谌绱她嫶笙到y(tǒng)的實(shí)施過(guò)程中，資源如何調(diào)度，計(jì)算和存儲(chǔ)又該如何分離等問(wèn)題也會(huì)接踵而至。

為此，團(tuán)隊(duì)自研了分布式百萬(wàn)容器的管理平臺(tái)來(lái)應(yīng)對(duì)。

而細(xì)分?jǐn)?shù)字人和元宇宙場(chǎng)景，團(tuán)隊(duì)做出的“解法”是行業(yè)內(nèi)首個(gè)UEdocker的大規(guī)模分布式實(shí)施。

如此一來(lái)，在全國(guó)實(shí)時(shí)渲染邊緣計(jì)算節(jié)點(diǎn)，以及百萬(wàn)級(jí)的分布式UEDocker實(shí)例的加持之下，用戶就可以就近接入，而且是超低時(shí)延和超高精度的那種。

……

這便是“乾坤大挪移”打法的奧義所在。

而也唯有通過(guò)這種云原生的方式，才能夠支撐在邊緣端的元宇宙里，同時(shí)渲染并實(shí)時(shí)交互數(shù)十萬(wàn)乃至數(shù)百萬(wàn)3A級(jí)數(shù)字人的這種需求。

背后的中國(guó)團(tuán)隊(duì)

至此，也是時(shí)候揭曉這家中國(guó)團(tuán)隊(duì)的廬山真面目了。

它便是于2016年成立的實(shí)時(shí)互動(dòng)內(nèi)容云計(jì)算服務(wù)商——海馬云。

在短短成立7年時(shí)間里，海馬云已經(jīng)在業(yè)內(nèi)取得的成績(jī)可謂是斐然。

就在今年3月，根據(jù)IDC和信通院聯(lián)合發(fā)布的《全球云游戲產(chǎn)業(yè)深度觀察及趨勢(shì)研判研究報(bào)告（2022年）》顯示：

海馬云已覆蓋行業(yè)90％以上頭部客戶，每月為超過(guò)3500萬(wàn)活躍用戶提供云游戲計(jì)算服務(wù)。

并且在云游戲算力及解決方案中的市場(chǎng)份額，也已經(jīng)達(dá)到了53%，穩(wěn)居國(guó)內(nèi)第一。

而在這份報(bào)告中的描述中，“自研”成為了海馬云非常醒目的標(biāo)簽。

例如在2016年成立開始，海馬云便自研了高密度ARM陣列服務(wù)器，后期又深度定制了基于高端顯卡的X86服務(wù)器。

這使得海馬云能夠在大幅提高多路并行GPU渲染性的同時(shí)，實(shí)現(xiàn)畫質(zhì)上的提升。

加之剛才提到的率先將邊緣IDC提升至100G，以及平臺(tái)層上超大規(guī)模容器調(diào)度管理系統(tǒng)、實(shí)數(shù)互動(dòng)流媒體傳輸?shù)饶芰?，使得海馬云成為業(yè)內(nèi)唯一能提供高性能云端算力的基礎(chǔ)上又保持高性價(jià)比服務(wù)的廠商。

那么接下來(lái)的一個(gè)問(wèn)題便是——為何要入局元宇宙、數(shù)字人賽道？

首先站在當(dāng)下互聯(lián)網(wǎng)的發(fā)展節(jié)點(diǎn)來(lái)看，毋庸置疑的一點(diǎn)便是元宇宙是發(fā)展的一個(gè)大趨勢(shì)。

正如全球巨頭Facebook直接改名為Meta，微軟、谷歌以及國(guó)內(nèi)科技大廠紛紛入局并發(fā)力于此。

并且元宇宙已經(jīng)在開始改變著直播、游戲、開會(huì)等方式，甚至對(duì)營(yíng)銷、廣告、藝術(shù)以及科技在產(chǎn)生著潛移默化的影響。

而海馬云CEO黨勁峰對(duì)這種虛擬世界和現(xiàn)實(shí)世界結(jié)合的過(guò)程，有著一個(gè)堅(jiān)定的信念：

如果可以用元宇宙來(lái)描述未來(lái)的互聯(lián)網(wǎng)，要想讓全球幾十億人都進(jìn)入元宇宙虛實(shí)融合的世界，那么所有實(shí)時(shí)互動(dòng)的內(nèi)容，都應(yīng)該在云上。

而這，正是海馬云多年來(lái)所深耕且熟知的領(lǐng)域。

至于為何選擇細(xì)分的數(shù)字人賽道，黨勁峰表示：

我們一直在打造面向?qū)崟r(shí)互動(dòng)內(nèi)容的云計(jì)算核心的基礎(chǔ)設(shè)施平臺(tái)和軟件能力平臺(tái)，希望通過(guò)我們底層的能力和優(yōu)勢(shì)，可以為消費(fèi)者提供在普通終端上就能享受3A級(jí)別的高質(zhì)量體驗(yàn)。

不難看出，海馬云所要做的依舊是產(chǎn)業(yè)離不開的一個(gè)話題——降本增效。

從目前結(jié)果來(lái)看，海馬元已經(jīng)實(shí)現(xiàn)了讓3A級(jí)數(shù)字人“普惠”的目標(biāo)，那么接下來(lái)的一步，有該如何前行？

海馬云表示：

我們希望進(jìn)一步把服務(wù)能力從數(shù)字人應(yīng)用拓展到整個(gè)互動(dòng)場(chǎng)景生態(tài)。

無(wú)論是娛樂(lè)社交、電商直播、文化旅行，還是廣告營(yíng)銷、企業(yè)辦公，都希望能夠是電影級(jí)的高品質(zhì)場(chǎng)景。

最后，正所謂好不好用還得用了再說(shuō)。

海馬云目前已經(jīng)開放了Beta預(yù)覽版PC端的體驗(yàn)入口（手機(jī)端也在路上啦~），快戳下方鏈接或點(diǎn)擊文末“閱讀原文”，在電腦上去試試吧：

https://www.haimacloud.com/ProductDigiHuman/