Stable Diffusion入侵短視頻，華人導(dǎo)演玩得太6，小扎都來請她
前期一部手機(jī)，后期全靠AI
楊凈 Pine 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI
咋，我不就接個電話，怎么手機(jī)秒秒鐘變了八百個樣？！
就在你眼前，蘋果手機(jī)直接變成了復(fù)古電腦。要說這種魔法，特效根本學(xué)不來。
最近，這樣一則短視頻在社交平臺上爆火，揭秘視頻20+萬觀看，5400+點贊。
視頻里的這位是一名華人導(dǎo)演。所謂的魔法，正是使用了如今爆火的Stable Diffusion。
這已經(jīng)不是她第一次用AI整花活了。比如街頭時裝秀。
還參與策劃了世界首張由AI設(shè)計的雜志封面，20秒內(nèi)即搞定。
如何入侵短視頻？
只需簡單幾步，Stable Diffusion就可以入侵短視頻。
首先，你得預(yù)設(shè)情節(jié)制作視頻，以本次為例，除了手機(jī)之外全靠自身演技。
接著就來看Stable Diffusion是如何“偷梁換柱”的。
據(jù)這次技術(shù)負(fù)責(zé)表示，最難的就是保證其視頻的連續(xù)性。在沒有補幀的情況下，每一幀都是由插值嵌入和可變?nèi)ピ霃?qiáng)度產(chǎn)生的。
這時候，就需要制定一個合適的「提示詞、seed以及去噪強(qiáng)度」組合，以挑選合適的AI圖片，第一張和最后一張確定好，去噪強(qiáng)度范圍在0到0.8。
隨后用Huggingface定制的擴(kuò)散器管線進(jìn)行轉(zhuǎn)換。不過這過程中還需要一些小技巧調(diào)整修復(fù)蒙版來讓他們之間的轉(zhuǎn)換更加自然。
華人導(dǎo)演用AI整花活
在Karen X.Cheng的個人簡介上，就很直白的寫著：導(dǎo)演，分享她的AI創(chuàng)意實驗。
而這位華人導(dǎo)演呢，前期僅靠一部手機(jī)拍攝，后期就交給各種AI，來實現(xiàn)各種刁鉆的拍攝角度和大成本的特效。
就比如說下面這個類似無人機(jī)拍攝的場景。
全程沒有用到無人機(jī)，她讓一位小哥幫忙拿手機(jī)沿著無人機(jī)的部分關(guān)鍵路徑進(jìn)行拍攝，后期則處理全權(quán)交由NeRF。
而AI處理的過程也不是很復(fù)雜，黑色框是NeRF渲染所必需的關(guān)鍵幀，紅色則為最后生成視頻的路徑。
此外，她還用DAIN插值模型，通過在圖片之間插入平滑幀，做出了一些酷（sha）炫（diao）的視頻。
甚至有時想犯犯中二病了，AI也會努力打配合。
靠AI制作小成本特效視頻也成功帶火了這位華人導(dǎo)演，目前她在ins上的粉絲數(shù)已達(dá)120多萬。
最近，Karen X還受扎克伯格之邀，主持MetaConnect大會，還與小扎隔空擊了個掌。
在這之后，Karen X開始也玩起了AR和VR，前幾天她就聯(lián)合Meta創(chuàng)建了一個可大可小的虛擬世界。
看完這位華人導(dǎo)演的經(jīng)歷，你是不是也心癢癢想試一試用AI做視頻呢？
參考鏈接：
[1]https://twitter.com/karenxcheng
[2]https://www.instagram.com/karenxcheng/
相關(guān)閱讀
2.jpg)
醫(yī)學(xué)頂刊BMJ打臉谷歌：AI取代醫(yī)生檢測乳腺癌還遠(yuǎn)著呢 ?
目前的證據(jù)還不足以判斷AI在乳腺癌篩檢計劃中的準(zhǔn)確性。
