騰訊多媒體實驗室AIGC能力助力數(shù)據(jù)萬象開啟智能剪輯大門

量子位的朋友們 2023-03-31 15:15:16 來源：量子位

AIGC正從效率、質量、創(chuàng)意、多樣性各方面革新內容生產(chǎn)流程,伴隨firely、midjourney等現(xiàn)象級的產(chǎn)品出現(xiàn),AIGC將逐步廣泛服務于內容生產(chǎn)的各類場景與內容生產(chǎn)者,隨著AIGC在內容生產(chǎn)的需求場景不斷增加,騰訊多媒體實驗室也在AIGC領域持續(xù)發(fā)力,并通過數(shù)據(jù)萬象將能力成功應用到傳媒、社交、文娛等多個行業(yè),逐步夯實全場景內容生產(chǎn)力。
足球精彩集錦

數(shù)據(jù)萬象泛互與傳媒客戶擁有不小體量的體育視頻數(shù)據(jù)處理需求,尤其是賽事期間,足球賽事作為最受歡迎的體育賽事內容消費量一直居高不下,球迷對其內容的可觀賞性要求也頗高,由于時長問題,未經(jīng)剪輯的足球比賽不能直接投放到體育新聞、短視頻等場景用于賽事宣傳。為此,騰訊多媒體實驗室基于自研的AIGC系列技術,通過騰訊云數(shù)據(jù)萬象產(chǎn)品為廣大客戶帶來足球比賽的智能剪輯能力,在沒有人工剪輯參與的情況下自動生成賽事高光內容。

技術介紹

數(shù)據(jù)方面,騰訊多媒體實驗室采集了1200多場具有代表性的足球賽事并標注了高精度的數(shù)據(jù)集。數(shù)據(jù)集覆蓋各類著名聯(lián)賽和杯賽,累計600多個小時。同時,騰訊多媒體實驗室設置了19個關鍵事類別,針對每一段視頻準確標注出全部關鍵事件的起始點、結束點和對應類別。關鍵事件分布如下圖,基本可以反映真實比賽的數(shù)據(jù)分布。

【數(shù)據(jù)集關鍵事件分布】

算法方面,騰訊多媒體實驗室設計了一個基于智能拆條和進球檢測的多模態(tài)方案來完成智能剪輯。

【多模態(tài)智能剪輯方案】

智能拆條模塊基于視頻的圖像序列和音頻信息,通過子任務抽取多模態(tài)特征,再由事件檢測模型定位各類關鍵事件。針對單幀圖像、音頻信息、圖像序列,騰訊多媒體實驗室基于事件標簽有監(jiān)督地訓練了三個特征提取器,用于提取圖片、聲音、動作等多模態(tài)特征。

事件檢測模型接受由時序卷積編碼再拼接的多模態(tài)融合特征作為輸入,評估各個時刻屬于事件開始、結束、過程的概率,并由此構建候選區(qū)間和對應的時序特征。候選區(qū)間評估階段利用時序特征評估對應區(qū)間與真實事件區(qū)間的交并比,進而實現(xiàn)事件定位。最后結合子任務階段獲取的事件標簽以及后處理算法就可以得到準確的事件拆條結果。

【事件檢測模型】

智能拆條的效果指標mAP達到了82%,其中定位球和回放等事件的對應指標更是達到90%以上。

【運動戰(zhàn)精彩集錦示例】

進球檢測模塊通過判斷比分變化情況來對進球事件作補充。在上述方案中,進球事件的召回率并不高,原因是騰訊多媒體實驗室并沒有充分利用視頻里的比分信息,最直觀的解決辦法是利用比分信息幫助判斷當前的進球情況。在實際應用中,進球檢測模塊針對視頻幀序列檢測出比分牌位置,然后適當擴大邊緣后再做文字檢測獲取當前幀比分數(shù)位置,通過多幀聚類得到當前比賽的比分數(shù)位置,最后利用文字識別技術獲得比分序列,根據(jù)比分單邊遞增規(guī)則確認進球時刻。

【進球檢測模塊】

進球檢測模塊將進球事件的召回率提高到96%,提高了集錦的完整性和精彩程度。

【進球精彩集錦示例】

在足球場景的智能剪輯方案中,騰訊多媒體實驗室還新增了球星識別模塊,用于剪輯特定球星片段。該模塊通過使用人臉檢測算法定位視頻中的所有人臉,然后使用人臉識別模型編碼人臉特征,通過聚類算法得到相似人臉序列,最后在球星人臉數(shù)據(jù)庫中查找與之匹配的球星。目前騰訊多媒體實驗室的方案可識別500多位人氣球星。

現(xiàn)該功能已在數(shù)據(jù)萬象多個體育客戶案例中落地,日均處理量持續(xù)攀升,大幅提升數(shù)據(jù)萬象客戶賽事周邊后期生產(chǎn)速率。

影視精彩集錦

除了體育,自研的智能剪輯還支持電視劇、動漫等影視場景,可以根據(jù)用戶指定的人物、動作、情感、關鍵詞等信息自動生成所需集錦視頻。

以人物向為例,用戶只需要提供2~3張某個人物的照片,系統(tǒng)便可注冊對應人物,剪輯時指定需要剪輯的角色(或列表)即可生成人物集錦。再搭配音樂卡點,上熱門妥妥的!

【人物向集錦】

線索集錦方面,用戶可以根據(jù)劇情內容指定某個關鍵詞作為線索,系統(tǒng)將自動檢索劇集中與此相關的內容,并生成關鍵詞集錦,打造全網(wǎng)最清晰的故事線。

【線索詞集錦】

現(xiàn)該功能已獲得數(shù)據(jù)萬象體驗館、智能工具箱、控制臺中超高點擊率,吸引眾多用戶關注使用,此場景能夠根據(jù)用戶需求靈活調整集錦所需關鍵動作、人物等,歡迎各位用戶前往測試。

未來,騰訊多媒體實驗室將持續(xù)投入包括智能剪輯在內的AIGC核心能力建設,數(shù)據(jù)萬象負責人葉嘉梁表示道數(shù)據(jù)萬象將借助多媒體實驗室在底層 AI 算法多年的積累和建設,結合自身對行業(yè)和業(yè)務的理解,快速上線了能夠幫助客戶業(yè)務實現(xiàn)智能內容生產(chǎn)的能力,豐富的算法也讓業(yè)務具備更好的多樣性和靈活性。您可以前往數(shù)據(jù)萬象進行相關能力體驗,對存儲在對象存儲COS上的數(shù)據(jù)進行創(chuàng)作。數(shù)據(jù)萬象將持續(xù)攜手多媒體實驗室為廣大客戶提供視頻自動剪輯、智能作曲、音樂評分等更多智能化服務,提升內容生產(chǎn)和創(chuàng)作效率。