燃爆！奧運(yùn)8分鐘AI影片火了，巴赫主席：感謝中國(guó)黑科技

魚羊 2024-07-29 14:38:35 來(lái)源：量子位

魚羊 發(fā)自 凹非寺

量子位 | 公眾號(hào) QbitAI

前沿AI科技，現(xiàn)在已經(jīng)被用在了奧運(yùn)會(huì)上。并且背后提供支持的，是中國(guó)科技力量。

就在巴黎奧運(yùn)會(huì)比賽日正式開始，逐漸點(diǎn)燃觀眾激情的同時(shí)，一支“奧運(yùn)8分鐘”短片也受到關(guān)注。

不僅國(guó)際奧委會(huì)主席巴赫力推：“感謝中國(guó)AI科技，讓這些女性在體育運(yùn)動(dòng)中的成就煥發(fā)新的色彩?！?/p>

網(wǎng)友們也紛紛點(diǎn)贊：

AI技術(shù)以現(xiàn)代的清晰度將歷史時(shí)刻帶入當(dāng)下生活。

短片名為《永不失色的她》（To the Greatness of HER），由阿里巴巴和國(guó)際奧委會(huì)聯(lián)合推出。

百年奧運(yùn)史上偉大女性的影像故事在此被濃縮在寶貴的8分鐘里，旨在致敬一代又一代在奧運(yùn)賽場(chǎng)上不斷實(shí)現(xiàn)從0到1、不斷突破和拼搏的女運(yùn)動(dòng)員們。

值得關(guān)注的是，這支8分鐘短片不僅用上AI為歷史時(shí)刻重賦色彩，其中還有大模型、AIGC技術(shù)的加持。

永不失色的她

不少朋友可能已經(jīng)關(guān)注到了，奧運(yùn)時(shí)隔100年再次在巴黎召開，其中一個(gè)明顯的變化是，100年前奧運(yùn)項(xiàng)目罕有女運(yùn)動(dòng)員參與，而在2024年巴黎奧運(yùn)會(huì)上，男女運(yùn)動(dòng)員比例首次達(dá)到了1:1。

而另一個(gè)顯著的改變是，這也是首屆廣泛應(yīng)用AI技術(shù)的奧運(yùn)會(huì)。

△阿里云AI增強(qiáng)視頻

阿里云和國(guó)際奧委會(huì)攜手，希望用第二重變化帶來(lái)的技術(shù)變革，向公眾展現(xiàn)更多推動(dòng)了第一重變化的女運(yùn)動(dòng)員們歷史上珍貴的賽場(chǎng)時(shí)刻。

比如蘇珊·朗格倫（Suzanne Lenglen），女子網(wǎng)球史上最偉大的運(yùn)動(dòng)員之一。

1921到1926年間，蘇珊·朗格倫保持了長(zhǎng)達(dá)5年的世界第一。

而在傲人的賽場(chǎng)成績(jī)之外，蘇珊還是第一個(gè)打破女子網(wǎng)球運(yùn)動(dòng)服裝保守規(guī)定的人——

改長(zhǎng)袖為短袖，改長(zhǎng)裙為過(guò)膝百褶裙，把網(wǎng)球裙的重量從18公斤改到了0.18公斤。

可以說(shuō)，是從她開始，網(wǎng)球女運(yùn)動(dòng)員們得以掙脫服裝的束縛，在賽場(chǎng)上盡情發(fā)揮。

又比如首位奧運(yùn)男女混合雙向飛碟女子冠軍張山。

在1992年之前，女子雙向飛碟并非正式奧運(yùn)比賽項(xiàng)目，雙向飛碟比賽是男女混合項(xiàng)，就是說(shuō)，女運(yùn)動(dòng)員被允許參加該項(xiàng)目的男子比賽。

張山之前，這個(gè)項(xiàng)目一直由男子選手獨(dú)攬金牌。而就在1992年，張山改變了這一切。

預(yù)賽中，張山以150靶全中的成績(jī)成功進(jìn)入半決賽；接著，又在半決賽中平了世界紀(jì)錄，以200發(fā)200中的成績(jī)闖入決賽。

在決賽中，張山獨(dú)自面對(duì)5名男子選手的挑戰(zhàn)。最終，她贏得了比賽，也贏得了全場(chǎng)的尊重和歡呼。

頒獎(jiǎng)時(shí)刻，分獲銀牌和銅牌的對(duì)手將張山高高扛起。一張經(jīng)典照片也有中國(guó)射擊隊(duì)另一位傳奇——許海峰當(dāng)場(chǎng)記錄下來(lái)。

還有第一位正式參加波士頓馬拉松的女性——凱瑟琳·斯威策（Kathrine Switzer）。

1967年，19歲的凱瑟琳“冒天下之大不韙”隱瞞性別報(bào)名了波士頓馬拉松。在當(dāng)時(shí)，馬拉松被認(rèn)為是“女性不宜”的運(yùn)動(dòng)，甚至就在凱瑟琳本人的比賽過(guò)程中，主辦方工作人員突然出現(xiàn)要撕掉她的號(hào)碼牌，并沖她大吼：“你給我滾出賽道”。

直至她跑完全程，組委會(huì)也不承認(rèn)她完賽的事實(shí)，還痛斥她擾亂了比賽。

“你想證明什么？”

這是當(dāng)時(shí)的記者追問凱瑟琳的問題。

60年后的今天，凱瑟琳親自在巴黎的這8分鐘里給出答案：

不只是我，每個(gè)女性都有資格去做她想做的事。

這就是《永不失色的她》影片中的三位主角。為了讓屬于她們的歷史瞬間更加真切、生動(dòng)地被還原出來(lái)，可以看到，阿里云用AI修復(fù)技術(shù)，為老照片和老視頻進(jìn)行了上色和基于生成技術(shù)的補(bǔ)全。

該項(xiàng)目主要包含三大處理步驟。

• 清晰化：借助圖像超分辨率技術(shù)，將低分辨率的老照片轉(zhuǎn)化為高分辨率的清晰圖像。
• 上色化：通過(guò)先進(jìn)的圖像上色技術(shù)，為黑白照片添加逼真的色彩。
• 基于生成技術(shù)的視頻插幀補(bǔ)幀。

具體涉及的技術(shù)方案，包括基于生成對(duì)抗網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)的圖像上色、圖像去噪和超分辨率，以及可控圖像生成技術(shù)等。

《她》背后的AI技術(shù)

聽上去，老照片、視頻修復(fù)并不是什么新鮮事，但實(shí)際上當(dāng)修復(fù)的對(duì)象變成運(yùn)動(dòng)影像，背后的技術(shù)難度就大大增加了。

舉個(gè)例子，蘇珊·朗格倫的照片拍攝于100年多前，效果是這樣的：

一方面，人臉已經(jīng)看不太清楚了。

另一方面，背景觀眾眾多，增大了修復(fù)的復(fù)雜性。

阿里云修復(fù)團(tuán)隊(duì)想到的解決方案，是利用大模型+Stable Diffusion等生成式AI技術(shù)，加入文本引導(dǎo)，讓AI發(fā)揮想象力的同時(shí)，對(duì)這種想象加以控制，使之不脫離歷史本身。

具體來(lái)說(shuō)，技術(shù)人員先利用擴(kuò)散技術(shù)對(duì)人物面部進(jìn)行重繪。在重繪過(guò)程中，為了保留原始人物信息，會(huì)結(jié)合真實(shí)的史料信息作參考，并采用ControlNet等技術(shù)，對(duì)人物面部的線條、深度等都進(jìn)行了控制。

對(duì)于復(fù)雜的背景，由于透視關(guān)系，本身就比較模糊。修復(fù)團(tuán)隊(duì)采用的方案聚焦照片中的重點(diǎn)人物、元素進(jìn)行修復(fù)，對(duì)背景則只進(jìn)行小范圍的修復(fù)，最后再將前后景拼接起來(lái)。

為了讓色彩更加自然，阿里云修復(fù)團(tuán)隊(duì)還結(jié)合了歷史學(xué)家的專業(yè)意見，通過(guò)對(duì)歷史色彩庫(kù)的學(xué)習(xí)，讓AI上色的準(zhǔn)確率達(dá)到了80%以上。

另外，在超分辨率方面，阿里云的技術(shù)方案能在1秒內(nèi)把640p分辨率圖像超分到4k分辨率，清晰度提升25倍。

視頻修復(fù)方面，阿里云修復(fù)團(tuán)隊(duì)主要解決了視頻前后一致性和連續(xù)性問題。

舉個(gè)例子，修復(fù)一段跑步視頻，如果只是做逐幀上色，算法有可能把運(yùn)動(dòng)員的褲子一會(huì)兒上成紅色，一會(huì)兒上成黑色。

修復(fù)團(tuán)隊(duì)對(duì)此進(jìn)行了專門的優(yōu)化，包括對(duì)視頻進(jìn)行細(xì)致拆分，逐個(gè)片段將上色效果、清晰度調(diào)整到最佳。

運(yùn)動(dòng)影像還有一個(gè)特點(diǎn)，是運(yùn)動(dòng)變化很快。對(duì)此，阿里云修復(fù)團(tuán)隊(duì)基于生成技術(shù)，對(duì)老視頻進(jìn)行了插幀補(bǔ)幀，以達(dá)到更好的連續(xù)性效果。

事實(shí)上，由于修復(fù)的難度，最后我們看到的巴奧這8分鐘的成片，是在多輪反復(fù)修改后呈現(xiàn)的。

在這個(gè)過(guò)程中，修復(fù)團(tuán)隊(duì)一遍又一遍耐心地揣摩，甚至“已經(jīng)看不出哪一張更像本人了”，核心原因，是在修復(fù)的過(guò)程之中，技術(shù)人員自身也受到了女運(yùn)動(dòng)員們的鼓舞：

希望能通過(guò)修復(fù)這組照片，讓更多人了解到歷史上的這些重要事件。同時(shí)也希望通過(guò)修復(fù)技術(shù)，讓凱瑟琳女士等打破障礙、提高競(jìng)技標(biāo)準(zhǔn)的女性的精神激勵(lì)更多人。

這也正是前沿科技對(duì)于歷史文化遺產(chǎn)的價(jià)值所在：

AI能夠讓生活在當(dāng)下的人們更直觀、更真切地感受到埋藏在歲月長(zhǎng)河里的歷史印記?？萍剂α空谌祟惾宋木竦难永m(xù)和保護(hù)中發(fā)揮越來(lái)越大的價(jià)值。

其實(shí)，每一屆奧運(yùn)會(huì)不僅給運(yùn)動(dòng)員，也給觀眾們帶來(lái)了很多感動(dòng)和淚水。

當(dāng)故事連點(diǎn)成線，在百年甚至更長(zhǎng)的時(shí)間維度去觀察，這些感動(dòng)會(huì)凝結(jié)成更值得傳承和銘記的人文精神。

《永不失色的她》是如此。那些賽場(chǎng)上更高、更快、更強(qiáng)、更團(tuán)結(jié)的精神亦是如此。

AI技術(shù)的加持，加強(qiáng)了對(duì)歷史影像的保護(hù)和傳播，一方面能讓公眾更低門檻地了解其中故事和發(fā)展。

另一方面，也讓大家看到了人文與科技更深層次結(jié)合帶來(lái)的價(jià)值。

One More Thing

前面說(shuō)到，巴黎奧運(yùn)會(huì)是首屆廣泛應(yīng)用AI技術(shù)的奧運(yùn)會(huì)。

如果你也關(guān)注了比賽，這樣高自由度、“子彈時(shí)間”式的回放畫面想必并不陌生：

另外，在巴黎奧運(yùn)會(huì)上，云計(jì)算正在替代衛(wèi)星，成為奧運(yùn)賽事直播的主要方式。超過(guò)三分之二奧運(yùn)直播信號(hào)將通過(guò)阿里云支撐的奧運(yùn)轉(zhuǎn)播云，從巴黎傳輸?shù)饺?00多個(gè)國(guó)家和地區(qū)，走向數(shù)十億觀眾。

而云+AI的組合，正在給坐在屏幕前的全球觀眾，帶來(lái)更多新鮮、酷炫的體驗(yàn)。

奧委會(huì)主席巴赫評(píng)價(jià)：阿里巴巴用云計(jì)算和AI技術(shù)為奧運(yùn)會(huì)和體育的未來(lái)作出了寶貴貢獻(xiàn)。

在奧運(yùn)會(huì)的技術(shù)進(jìn)程中，現(xiàn)在，中國(guó)技術(shù)力量成為了舞臺(tái)中心那一個(gè)。

— 完 —