看完阿逗比年度炫技大會(huì),我什么都不敢信了
栗子 乾明 魚羊 發(fā)自 凹非寺
量子位 報(bào)道 | 公眾號(hào) QbitAI
一年一度,阿逗比(Adobe)又來炫技了。
許多魔法,曾經(jīng)只在論文里出現(xiàn),沒有給麻瓜玩耍的通道,如今都能一鍵解鎖。
比如,一鍵調(diào)整太陽位置,想讓它從哪升起,它就從哪升起:
比如,一鍵把視頻里人物的姿勢(shì),轉(zhuǎn)移到卡通形象的身上:
不止圖像和視頻可以修,Adobe還發(fā)布了炸裂的純音頻調(diào)教技能,加起來一共有11種魔法。
那么一起來看看吧。
加入音軌,畫中人一鍵對(duì)口型
看這張梵高自畫像,有一絲嚴(yán)肅,又有一絲欲言又止。
讓我們來聽聽他想說什么。
△動(dòng)圖版
△有聲音的視頻在這里
Historial paintings in other art work from centuries ago can be animated with just my voice.
僅憑我的聲音,就能讓幾個(gè)世紀(jì)前的其他藝術(shù)作品動(dòng)起來。
是的,有了這個(gè)名叫Sweet Talk的功能,只要加入一段語音,無論是圖片、照片,還是經(jīng)典畫作,原本靜止的畫中人都能自動(dòng)對(duì)上口型,動(dòng)起來。
不僅是嘴巴動(dòng),眼睛鼻子甚至整個(gè)頭部,都因這一句話而被賦予了自然的動(dòng)態(tài)。
哪怕只是簡(jiǎn)筆畫,也不在話下。
感覺可以突破次元壁,跟二次元老婆直接聊天了呢……
你怎么動(dòng),它就怎么動(dòng)
這是另一項(xiàng)穿破次元壁的技能。
從前,你想按照一段視頻去做動(dòng)畫,每一幀都要手動(dòng)調(diào)姿勢(shì):
△ 奇怪的部位 (誤)
如果視頻有10分鐘,一分鐘60秒,每秒20幾幀,那真的太累了。
但現(xiàn)在,Adobe自家研發(fā)的AI引擎Adobe Sensei可以幫你把視頻里的動(dòng)作,一口氣遷移到動(dòng)畫里去。
只要在一幀里面,把主角圈起來,AI就會(huì)標(biāo)記出全身的18個(gè)關(guān)鍵點(diǎn)。然后,整個(gè)視頻里主角的運(yùn)動(dòng)軌跡,AI就都追蹤到了:
把這18個(gè)關(guān)鍵點(diǎn)的追蹤結(jié)果,和動(dòng)畫形象身上的部位對(duì)應(yīng)起來,就可以讓它瞬間復(fù)刻視頻里的動(dòng)作:
不用再一幀一幀修改姿勢(shì),可以節(jié)省不少時(shí)間。
另外,這個(gè)技能的用法還有很多,也不一定要把18個(gè)點(diǎn)都用到。
比如,只用右手腕上那一個(gè)點(diǎn),就可以把幕布切開,進(jìn)入下一個(gè)場(chǎng)景:
這是一個(gè)籃球場(chǎng),所以當(dāng)然是讓卡通人來打籃球:
但由于研究人員Jimei Yang自覺籃球技能不足,決定拉主持人來墊背 (注意右下角,動(dòng)作是研究人員做的) :
沒投中,生氣了,開始燃燒了。背后的火光,也是靠動(dòng)作追蹤來實(shí)現(xiàn)的。
對(duì)此,主持人表示可以:
素描一鍵變照片
隨手畫出一只鳥的輪廓,再配上任意一張真鳥的照片,Image Tango這個(gè)功能就能一鍵生成一只全新的飛鳥。
毫無違和感,就像真實(shí)的鏡頭記錄下的照片。不事先說明,誰能想到,世界上其實(shí)并不存在這樣一只漂亮小鳥呢?
這一功能依賴于Adobe Sensei來實(shí)現(xiàn),并且不僅僅是把紋理填進(jìn)新的輪廓當(dāng)中,Image Tango還能創(chuàng)造出更多不同的姿態(tài)。
不止可以創(chuàng)造“新物種”,Image Tango說不定還將成為電商福音。
比如,你喜歡這條裙子的剪裁,但又希望它有另一件衣服的花色,就把兩件衣服的照片都丟給Image Tango:
感覺可以直接把新衣服丟進(jìn)購(gòu)物車了~
神奇字體,iPad動(dòng)字也變
設(shè)計(jì)當(dāng)中,當(dāng)然少不了花式字體。這一次,Adobe又帶來了“拯救設(shè)計(jì)師”系列。
這些炫酷的字體效果,都只要打開parameters開關(guān),調(diào)節(jié)幾個(gè)拉桿,就能輕松實(shí)現(xiàn)。
甚至,能借助iPad的加速計(jì)和陀螺儀,當(dāng)iPad晃動(dòng)起來,字體也跟著搖擺。
△iPad動(dòng),字也動(dòng)
創(chuàng)作簡(jiǎn)單了不止一點(diǎn)點(diǎn)。
照片光線隨心變
上午在一個(gè)小城旅行,下午就走了,拍不到夕陽西下的樣子怎么辦?
不要緊,只要把照片發(fā)進(jìn)去,再用滑塊調(diào)整一下陽光的位置,一整天的樣子都可以解鎖。
這是調(diào)水平方向:
這是在調(diào)高度角,中午就在頭頂,傍晚就在地平線上:
以我之名,想讓太陽從哪里升起,它就從哪里升起。
把太陽的位置調(diào)得越來越靠近地平線,建筑物的色彩也越暗淡,獲得太陽落山的漸變效果。
所有的影子,都是AI自動(dòng)生成的。
那么問題來了,要生成逼真的影子,AI必須知道物體的3D形狀,只用一張正面圖不夠吧?
所以,這里用了多個(gè)角度的照片,幫算法了解物體的形狀。
這樣說來,AI不止能修圖,修視頻才更加得天獨(dú)厚。不同的幀,就拍下了不同的角度,可以直接拿來用:
△ 調(diào)光前
就算是10秒之內(nèi)拍出的視頻,也能做出一天的光線變化了:
△ 調(diào)光后
那么,如果去旅行的時(shí)候,沒有想到要拍那么多角度的照片,怎么辦呢?
AI會(huì)幫你搜索別人拍過的圖像,從那里學(xué)到3D形狀。
所以,就算你只有早上的一張照片,也能看到黃昏時(shí)的小城了:
一鍵去除背景噪音
有時(shí)候,明明感覺在安靜的環(huán)境里錄音,卻錄到了嘈雜的背景音。
那么,用Sensei自帶的Awesomize一鍵去除吧。轟轟的雜音不見了,清晰的聲音娓娓道來,講起故事更加絲滑了。視頻演示在這里:
這段視頻里,還有第二個(gè)例子。研究人員Zeyu Jin在一個(gè)會(huì)議室里面,練習(xí)自己的演講。講到一半,卻發(fā)現(xiàn)有人訂了房間。
于是,他又去到了一個(gè)不那么安靜的地方,繼續(xù)練習(xí)。但這樣得到了錄音,可以聽出是在不同的地方錄下的。
這時(shí)候,依然是用Awesomize一鍵修整,電話的聲音不見了,辦公場(chǎng)所勞碌的聲音也不見了,就像從來沒有離開過安靜的會(huì)議室。
整個(gè)清理過程,完全不用手動(dòng)標(biāo)注哪些波形需要去除,都靠AI的自覺。
一鍵識(shí)別刪除特定聲音
但有些時(shí)候,你不想聽到的不僅僅只是背景噪音。
講話時(shí),有的人可能會(huì)因?yàn)榫o張等緣故,呃,說兩句就會(huì)有個(gè)“呃”。
這是很常見的情況。呃。
如果一場(chǎng)講話兩小時(shí),里面都是“呃”,啥感覺?
但有了SoundSeek的功能,只需要選中其中一個(gè)“呃”的波形,點(diǎn)擊分析,AI就會(huì)幫你找出全部的“呃” (下圖紅色波峰) 。再來一鍵移除:
整段音頻里,所有的“呃”都不見了!
下面的視頻,詳細(xì)展示了這項(xiàng)技能的奇效:
在給自己媽媽錄生日祝福的時(shí)候,旁邊討厭的司機(jī)一直摁喇叭,結(jié)果整個(gè)音頻中都是鳴笛聲。
同樣,只要選擇其中一聲,就能把所有鳴笛聲都干掉。
快速AR創(chuàng)作
↑↑↑
在視頻里加入這樣的AR效果,需要幾個(gè)步驟?
Pronto這個(gè)項(xiàng)目,旨在讓這件事變得更加簡(jiǎn)單便捷。
首先,錄制一段視頻。
Pronto可以在iPad的屏幕里,顯示平板的位置移動(dòng)。
當(dāng)你在空間里選定一個(gè)位置,輕輕一點(diǎn),就會(huì)出現(xiàn)一個(gè)畫板 (藍(lán)色網(wǎng)格) ,讓你在選好的地方畫畫了。手繪一個(gè)“Hi!”,再設(shè)置好時(shí)間。
只要時(shí)間一到,小蛋糕會(huì)跟你打招呼,對(duì)話氣泡就像真實(shí)存在在物理空間中一樣:
就算不手繪,加入已有的素材,一樣沒什么問題。如果想要再添加一些動(dòng)作,比如實(shí)現(xiàn)上面那個(gè)拉開條幅的效果,在關(guān)鍵幀點(diǎn)擊一下左側(cè)的Enact鍵,設(shè)置一下就可以了。
不怕沒人幫忙拍合影
節(jié)假日和家人一起出去玩,要是沒有熱心路人幫忙拍照,就總有一個(gè)人不能在合影里面。
這個(gè)名為AllinSneak的功能,直擊這個(gè)痛點(diǎn)。
Adobe的工程師小姐姐有個(gè)煩惱:和家人一起出去玩,拍照片時(shí)自己和丈夫總是不能同框。
怎么辦呢?幾行代碼就能搞定。
基于人工智能的算法能夠自動(dòng)識(shí)別相同的場(chǎng)景中,合影中少了誰,就把她摳出來:
接著P到合影中去。
一家人整整齊齊。
不需要人趴在電腦屏幕前,一點(diǎn)點(diǎn)描邊摳圖,非常簡(jiǎn)單。
人人都是藝術(shù)家
從前,藝術(shù)家們操縱光影的技法,普通人類難以企及:
不過現(xiàn)在,有了一只能讓每個(gè)人都變成藝術(shù)家的AI。
第一步,畫個(gè)長(zhǎng)方形做背景,把它放到AI的光影世界里,就會(huì)先變成黑色,因?yàn)檫€沒加光源。
要讓暗黑的背景亮起來,就在前面畫個(gè)燈箱。燈箱原本是普通的白色長(zhǎng)方形,但只要一鍵讓它發(fā)光,就能照亮黑暗:
當(dāng)然,如果只是有光,也會(huì)顯得有些單調(diào)。
那么,我們畫一道波浪線吧。一鍵往波浪線身后加上黑色漸變,線條就會(huì)成為一道縫隙,讓來自地底黑暗世界的氣息,從縫里噴薄而上:
以上,只是最初步的演示,下面來給一幅畫加上光影吧。
一只熱氣球飛在云層里,原本并不知道光從哪邊來:
所有的顏色都平鋪直敘,這不是我們想要的。
想要明暗變化,就在左邊和上邊,放兩條光源:
左上角比右下角亮了許多。
如果想把光線改個(gè)方向,只要移動(dòng)藍(lán)色線條的位置,就是移動(dòng)光源了。
有了這些,每個(gè)人都可以做出絢爛的設(shè)計(jì)。
不信的話,來看個(gè)一分鐘內(nèi)做完的“畢設(shè)”:
中間,是研究人員Jakub Fiser自己的剪影,可以陶醉一整天。
“反向PS”利器,一秒回到P圖前
一鍵識(shí)別PS痕跡,還能一鍵還原P圖前是什么樣子。
這不是砸自家場(chǎng)子嗎?
演示的小哥哥,拿著主持人的照片,現(xiàn)場(chǎng)展示了從P圖到識(shí)別,再到還原的全過程。
先把眼睛放大:
然后把嘴角上揚(yáng),哈哈哈哈:
把P過的圖交給AI鑒定,得出結(jié)論:100%修過。
不止如此,熱力圖還可以顯示P過哪里:
能夠檢測(cè)P圖,已經(jīng)夠讓人心累了。更慘烈的是,能夠一鍵回到P圖前:
這復(fù)原效果,和原圖幾乎無差。
至于其中具體的原理,我們?cè)M(jìn)行過論文解讀,傳送門在這:
一秒回到P圖前:Adobe發(fā)布“反向PS”利器,知道你修過哪里,還幫你修回去
看完這些功能,不知道你是啥感覺,反正我們辦公室有個(gè)小編,嘴里就只?!芭P槽”了。
Adobe說,在不遠(yuǎn)的將來,這些功能可能會(huì)出現(xiàn)在Adobe全家桶里面,可能是作為新增功能,也可能會(huì)推出新的產(chǎn)品。
比如去年MAX大會(huì)上的這個(gè)AI剪片,畫面自動(dòng)跟著主角跑的技術(shù),今年就正式在Pr(Premiere Pro)上登陸了。
所以,你期待嗎?
最后,推薦大家去看完整炫技現(xiàn)場(chǎng)視頻:
https://bit.ly/32qLGVz
—?完?—
- 標(biāo)準(zhǔn)化3D生成質(zhì)量榜單來了!首創(chuàng)層次化評(píng)價(jià)體系,告別“誰的demo更吸睛”主觀評(píng)估2025-08-16
- 阿里閃電入局Agent Infra!智能體新基建亮相WAIC,“超級(jí)大腦”開箱即用2025-07-31
- 世紀(jì)華通謝斐:在“三大平衡”中領(lǐng)跑,實(shí)現(xiàn)游戲行業(yè)更高質(zhì)量的發(fā)展2025-08-01
- 1.5B參數(shù)撬動(dòng)“吉卜力級(jí)”全能體驗(yàn),國(guó)產(chǎn)開源之光多模態(tài)統(tǒng)一模型,來了2025-07-30