面向5G，虎牙AI的技術準備
郭一璞 發(fā)自 凹非寺
量子位 報道 | 公眾號 QbitAI
“當5G到來時，普通用戶的流量不再是限制看直播的因素，就像短視頻今日的火熱一樣，整個直播市場會有5~10倍的巨大增長空間?！?/p>
這是虎牙CEO董榮杰最新給出的機遇判斷，他十分看好5G對整個直播業(yè)的助力作用。有了5G，流量不設限，用戶心里沒負擔，而在通信基礎設施之上，借助AI技術衍生出的諸多新應用，也將會是直播的新生機。
比如，虎牙自己上周就一口氣推出了小程序開放平臺和虛實結合開放平臺HERO兩大平臺，前者讓第三方開發(fā)者們都能利用虎牙技術接口開發(fā)直播中使用的各類小程序應用，后者則使得各家都能讓自己的IP“活過來”，在虛實結合中成為直播的主角。
如果說，前幾年的直播還是聚焦在優(yōu)質(zhì)公會、主播的“單兵作戰(zhàn)”，那么在近幾年，隨著技術要求的不斷提高和更多潛在的衍生技術應用，直播平臺的競爭已經(jīng)進入了圍繞主播、公會、賽事、活動的“集群作戰(zhàn)”時代。
新技術、新能力、新應用作為現(xiàn)代武器，給單一主播公會的能力乘上了巨大的倍數(shù)，而對于平臺而言，技術加持的直播“集團軍”，更需要如同制造業(yè)產(chǎn)業(yè)鏈一般成體系、成規(guī)模的運作方式。
虎牙也展露了他們在這個新時代的技術野心。兩大平臺發(fā)布后，量子位也和虎牙CTO賴立高、AI總經(jīng)理許佳聊了聊虎牙在這兩大新發(fā)布背后的技術與實踐。
IP數(shù)字化，重現(xiàn)真實世界
借助生成對抗網(wǎng)絡（GAN）、語音合成等AI技術的虛擬主播，虎牙并非業(yè)內(nèi)頭一家，然而應用在直播上，卻是開天辟地之舉。
究其緣由，還是業(yè)務驅(qū)動，“很多真人主播確實在才藝上可能擅長一點，但我們在業(yè)務上有很多對于真人不會的才藝進行賦能的需求”許佳談到，而虎牙的第一個數(shù)字人“數(shù)字晚玉”的原型虎牙主播晚玉，本身確實是沒有跳舞技能的游戲主播，而數(shù)字人的存在補充了晚玉的技能樹。
而實現(xiàn)“讓數(shù)字人跳舞”這個功能，則是基于兩種方式，一種是捕捉真人舞蹈演員的動作，另一種是把已有的舞蹈視頻中的動作提煉出來。
未來，除了在外觀細節(jié)上重現(xiàn)真人的外表，虎牙技術團隊也在準備加入語音識別等NLP功能。
基于此，虎牙打造了虛實結合開放平臺HERO，“從技術上看，我們做的是非常通用的流程，現(xiàn)在有很多IP，你可以把你的形象拿過來，我們通過驅(qū)動技術把這些形象驅(qū)動起來，渲染給觀眾。我們的方案是平臺，能夠把所有的已經(jīng)有的數(shù)字人IP拿到我們的平臺，通過我們的驅(qū)動渲染，最后呈現(xiàn)給觀眾。”許佳介紹。
也就是說，用通用的方法給各種IP創(chuàng)建虛擬形象，實現(xiàn)技術上可復制，降低成本和使用門檻。
而這一切，歸根結底是在重現(xiàn)真實世界，不僅包括人物，也包括真實世界中的場景。
正如許佳所言，虎牙主要的AI技術方向是“把直播間的物理世界結構化”，不僅包含人臉和人體，也有針對場景的理解。
直播內(nèi)容生態(tài)與技術的淵源
重現(xiàn)物理世界的技術基礎，則是要應用在行業(yè)側，基于主播、觀眾、流量的虎牙生態(tài)支撐，AI技術能夠創(chuàng)造更多應用?！盎⒀赖膬?yōu)勢是有主播、有用戶，有流量，一旦效果可以觸動用戶，將會產(chǎn)生很強的驅(qū)動力。”賴立高說，“直播把兩個空間的信息做了互通，但是距離感還是很大的，網(wǎng)絡逐步降低時延感，數(shù)字化進一步提升空間融合，并能打開更多交互方式，消除人際隔閡。”
而在這片由主播、公會、觀眾等有機元素構成的生態(tài)中，內(nèi)容生產(chǎn)金字塔的不同位置，其技術利用能力有著天差地別。
“虎牙是一個直播平臺，我們有大主播、超大主播和小主播，平臺在能力上會想辦法降低成本，讓更多的主播用上最新的技術，”賴立高說，“現(xiàn)在頭部主播自己有很多的投入，有很多的能力和工具，但這些能力難普及到中小主播，因此我們有第三方開發(fā)者給他們提供幫助?！边@也是虎牙小程序開放平臺的意義與價值之一。
而幫助中小主播和公會，也意味著對成本和門檻的要求。
由于數(shù)字虛擬人正處在驗證市場過程中，因此虎牙技術團隊一直在降低AI數(shù)字人的門檻，做到不用太高端的攝像頭等硬件也，可以將任意一名主播乃至觀眾的數(shù)字人形象重現(xiàn)出來，這樣，在未來的直播中，主播和觀眾可能都是數(shù)字虛擬化的了，能像觀看現(xiàn)場演出一樣出現(xiàn)在同一個場景中。
“今天展示的AI技術，把虛擬的數(shù)字人形象和現(xiàn)實中結合，我們現(xiàn)在看到的是從觀眾的維度，但從主播的內(nèi)容生產(chǎn)角度看，未來可能整個直播間內(nèi)無論是主播還是直播背景都是數(shù)字化的，觀眾信息可以虛擬化進到里面，和主播在同一空間進行游戲式的互動。像玩云游戲一樣體驗直播，這也許是AI+5G+AR在直播的最佳詮釋?！辟嚵⒏哒f。
虎牙對直播寄予的不僅僅是娛樂能力。賴立高強調(diào)，虎牙對直播的定義不是純娛樂，直播的價值在于和行業(yè)的連接，具體是娛樂還是其他功能服務，虎牙不會設定限制。
此外，在虎牙的直播互動中，技術在平臺的運營上也時刻都在發(fā)揮著作用。比如談及推薦機制，賴立高感觸頗深：“信息流和短視頻的推薦邏輯相對清晰，原因在于內(nèi)容的生產(chǎn)和消費是分開的，用戶消費的時候，內(nèi)容已經(jīng)是確定的，重點是選擇看什么。對直播推薦來說，復雜度更大，我們花了兩年時間去試錯，才尋找到比較合適的評估模型?！?/p>
鎖定優(yōu)秀AI人才
支撐龐大直播生態(tài)的技術體系，對人才的需求自然不低。
不過，在技術人才的招聘方面，除了技術上的優(yōu)秀之外，虎牙也十分看重候選人對直播業(yè)務的熱情，以便形成技術閉環(huán)。
“我們認為很多技術一定要形成閉環(huán)，在過去我們看到AI，可能是做一個特定的東西，但是閉環(huán)會出問題。我們花了很長時間去探索AI在直播里起什么作用，怎么落地，我們的業(yè)務開發(fā)部門會用AI去做內(nèi)容檢測、識別、推薦、風控等，基本上常規(guī)業(yè)務系統(tǒng)都盡量去做智能決策，AI普及是比較廣的。核心是AI真正起到驅(qū)動作用，這個地方如何形成閉環(huán)，是一個系統(tǒng)工程，我們花了很長時間去思考，以算力與網(wǎng)絡為突破口，去重構直播的底層技術架構。這對人才的專業(yè)能力與自驅(qū)力要求是非常高的?！辟嚵⒏哌@樣說。
而落到實處，曾經(jīng)是騰訊T4的許佳有著宏大的想法，除了目前的視頻理解和視頻生成類算法人才，也正在朝著語音方面進軍，“視覺和語音方面，我們對于優(yōu)秀的、有潛力的年輕人一直在積極的招募著，”這位虎牙AI的負責人坦言。
