用AI“復(fù)制”網(wǎng)絡(luò)主播，10億構(gòu)建小程序生態(tài)，這是虎牙AI的新動(dòng)作

郭一璞 2019-11-09 12:30:24 來(lái)源：量子位

郭一璞 發(fā)自 廣州
量子位 報(bào)道 | 公眾號(hào) QbitAI

網(wǎng)絡(luò)直播，已經(jīng)不僅僅是一位主播唱歌跳舞玩游戲這么簡(jiǎn)單了，AI技術(shù)正在滲入直播內(nèi)容制作的過(guò)程中。

就在虎牙的LiveTech大會(huì)上，虎牙做了兩項(xiàng)技術(shù)發(fā)布：

一是技術(shù)開(kāi)放平臺(tái)，將各種AI能力開(kāi)放給第三方開(kāi)發(fā)者，用來(lái)開(kāi)發(fā)有各種娛樂(lè)、工具功能的虎牙小程序，豐富直播的內(nèi)容和形式；

另一項(xiàng)則是AI數(shù)字人，借助計(jì)算機(jī)視覺(jué)技術(shù)，將真人或卡通IP創(chuàng)作為真實(shí)、細(xì)膩的虛擬形象，讓虛擬化的主播們擁有各種新技能，甚至“挑戰(zhàn)”原來(lái)的主播本人。

虎牙CTO賴立高說(shuō)，直播把兩個(gè)空間的信息做了互通，但是距離感還是很大的，網(wǎng)絡(luò)要做的是拉短距離，把距離的感覺(jué)慢慢的打破，這也是大家的期待。

虎牙開(kāi)放平臺(tái)

虎牙開(kāi)放平臺(tái)基于虎牙小程序，它能夠以各種游戲、服務(wù)、工具的形式，存在于虎牙的直播活動(dòng)中。第三方開(kāi)發(fā)者可以利用虎牙開(kāi)放出來(lái)的直播技術(shù)、開(kāi)發(fā)工具、數(shù)據(jù)服務(wù)等進(jìn)行小程序開(kāi)發(fā)。

目前開(kāi)放平臺(tái)已提供了跨終端開(kāi)發(fā)框架，可以實(shí)現(xiàn)一次開(kāi)發(fā)，多終端運(yùn)行；提供了多終端統(tǒng)一SDK，終端原生組件，統(tǒng)一構(gòu)建工具。

在具體的技術(shù)上，開(kāi)發(fā)者可以用到虎牙的畫面融合、人臉加工、人臉貼紙等圖像技術(shù)，人臉關(guān)鍵點(diǎn)、人臉檢測(cè)、手勢(shì)識(shí)別等人體識(shí)別技術(shù)，以及游戲場(chǎng)景識(shí)別、唱歌識(shí)別、跳舞識(shí)別等內(nèi)容識(shí)別技術(shù)，語(yǔ)音轉(zhuǎn)文字、音效加工、聲音風(fēng)格化等語(yǔ)音技術(shù)，另外還連接了禮物、彈幕、用戶信息、榜單數(shù)據(jù)等通道，降低了小程序的開(kāi)發(fā)難度。

發(fā)布會(huì)現(xiàn)場(chǎng)，虎牙也展示了三家第三方合作伙伴開(kāi)發(fā)出來(lái)的小程序產(chǎn)品。

比如《啵唧寵物》，借助虎牙開(kāi)放出來(lái)的語(yǔ)音識(shí)別等技術(shù)，虛擬寵物可以在直播畫面上和主播互動(dòng)表演；

還有《暴走坦克》游戲，主播闖關(guān)過(guò)程中，觀眾可以送血瓶提供助戰(zhàn)坦克，也可以送寶劍創(chuàng)造更多的怪物，形成雙方的互動(dòng)；

而《歡樂(lè)農(nóng)牧》則是一款?yuàn)蕵?lè)之外的小程序，可以幫助農(nóng)民們做養(yǎng)雞場(chǎng)等農(nóng)牧業(yè)生產(chǎn)場(chǎng)所的互動(dòng)直播，還能提供各種優(yōu)惠券促進(jìn)下單，頗有一絲“電商下鄉(xiāng)”的意味。

最后，對(duì)于虎牙小程序的開(kāi)發(fā)者，可以采取一次性或者按一定周期的訂閱付費(fèi)和內(nèi)購(gòu)分成兩種盈利模式。

此外，還有一筆大羊毛，虎牙推出小程序星火計(jì)劃，將在3年投入10億的資源，用于內(nèi)容生態(tài)構(gòu)建、優(yōu)質(zhì)小程序與優(yōu)秀開(kāi)發(fā)者獎(jiǎng)勵(lì)以及消費(fèi)市場(chǎng)培育。

AI數(shù)字人

虎牙還推出了具有虛擬形象的AI數(shù)字人，第一個(gè)數(shù)字人形象，是以虎牙平臺(tái)的游戲主播晚玉為原型制作的。

在數(shù)字人晚玉上，虎牙掃描了2000萬(wàn)面超高精度拓?fù)涞哪Ｐ?，通過(guò)肌肉和骨骼綁定后，可驅(qū)動(dòng)的表情面數(shù)超過(guò)4萬(wàn)個(gè)，在肢體上骨骼動(dòng)作支持超過(guò)70個(gè)自由度。

效果，大概長(zhǎng)這樣，可以是AR的：

晚玉并沒(méi)有出現(xiàn)在真實(shí)的舞臺(tái)上，而是在一旁的屏幕中出現(xiàn)了AR形象。

也可以是在虛擬世界中的：

借助動(dòng)作捕捉等方式，他學(xué)會(huì)了晚玉本人并不會(huì)的跳舞技能，還在直播間里以“晚玉的弟弟晚王”的身份，開(kāi)啟了一場(chǎng)真人vs.數(shù)字人的直播。虛擬空間里的“弟弟”可以隨時(shí)換背景，有更多特效互動(dòng)。

此外，虎牙啟動(dòng)了虛實(shí)結(jié)合開(kāi)放平臺(tái)HERO（Huya Extended Reality Open-platform），主播和開(kāi)發(fā)者可以用自己的設(shè)備構(gòu)建自己喜愛(ài)的形象和AR應(yīng)用玩法，因此，除了作為代表人物的晚玉，無(wú)論是真人還是虛擬人物，各家的IP都可以借助這個(gè)平臺(tái)創(chuàng)作出數(shù)字人形象。

不過(guò)，這個(gè)數(shù)字人形象目前僅限于人物的外形方面，暫時(shí)還不能像小冰、小愛(ài)、Siri們一樣自由的表達(dá)和回應(yīng)問(wèn)題。這不禁讓人覺(jué)得，HERO平臺(tái)和“復(fù)現(xiàn)”人物性格人設(shè)的微軟Avatar Framework簡(jiǎn)直天作之合。

“把物理世界結(jié)構(gòu)化”

其實(shí)看虎牙公開(kāi)的兩項(xiàng)技術(shù)進(jìn)展，都不僅僅聚焦于娛樂(lè)直播方面，更多的則是與真實(shí)世界的結(jié)合，借助第三方開(kāi)發(fā)者們的智慧和真實(shí)世界產(chǎn)生交互，借助數(shù)字人技術(shù)將真實(shí)世界投射在虛擬空間中。

借虎牙AI總經(jīng)理許佳的話說(shuō)，就是“把物理世界結(jié)構(gòu)化”，不只在人臉、人體這些視覺(jué)的層面，也正準(zhǔn)備在語(yǔ)音方面推進(jìn)，而且，除了人物個(gè)體，場(chǎng)景的重構(gòu)也在進(jìn)行，這也是我們前面看到直播間里“晚玉的弟弟”可以不斷切換場(chǎng)景增加特效互動(dòng)的原因。

而在具體的技術(shù)方案上，虎牙CTO賴立高介紹，虎牙采用的是自研+購(gòu)買的雙重策略，如果是影響關(guān)鍵迭代的技術(shù)會(huì)自行研發(fā)，如果不影響而業(yè)界又有成熟方案則會(huì)選擇購(gòu)買，比如他們也是諸多AI大廠的客戶。

One More Thing

最后，一個(gè)彩蛋。

“算法崗飽和”最近成了許多技術(shù)人在焦慮的問(wèn)題，四處都有討論的聲音。

不過(guò)，當(dāng)我們?cè)噲D找虎牙AI總經(jīng)理許佳討論這個(gè)問(wèn)題的時(shí)候，得到的回應(yīng)卻是不認(rèn)同的?！安皇菍W(xué)算法不好找工作，是優(yōu)秀的算法人才比較缺少”，優(yōu)秀的算法人才依然供不應(yīng)求，“你不能下載一個(gè)TensorFlow就來(lái)應(yīng)聘算法?！?/p>