沒想到吧，讓你一秒變身紙片人的爆火AI特效，背后還有這么多知識(shí)點(diǎn)

魚羊 2021-08-23 15:19:04 來源：量子位

魚羊 發(fā)自 凹非寺

量子位 報(bào)道 | 公眾號(hào) QbitAI

要說現(xiàn)在什么AI技術(shù)跟大家伙兒走得最近，那真是非AI特效玩法莫屬。

想整張手繪頭像，無需點(diǎn)亮繪畫技能，拿起手機(jī)打開APP拍張照，AI“秒秒鐘”幫你自動(dòng)搞定。

△快手“手繪封面”特效

并且早已不僅僅局限于單張照片，短視頻的每一幀都能用這樣的麻瓜“魔法”絲滑覆蓋。

各種藝術(shù)風(fēng)格，只有你想不到，沒有AI做不到。

不過，別看這些特效濾鏡層出不窮，動(dòng)不動(dòng)掀起一波網(wǎng)絡(luò)狂歡，從一個(gè)模型的誕生到它真正走進(jìn)你的手機(jī)，那背后的故事還真不是三言兩語就能輕松說完的。

特效是怎么進(jìn)到手機(jī)里的？

不妨以快手爆火的手繪特效為例，詳細(xì)嘮嘮這件事。

首先，自然還是算法層面的一系列操作。

從用戶拍攝視頻/照片，到AI的“手繪作品”輸出，在AI看來大致是這樣一個(gè)流程：

ISP將處理好的視頻/照片發(fā)送給App，AI接收到需要處理的畫面，就會(huì)預(yù)先對每一幀畫面進(jìn)行預(yù)處理，統(tǒng)一格式和尺寸。

接下來，就可以開始偵測并剪切畫面中的人臉，運(yùn)用已經(jīng)定制好風(fēng)格的“藝術(shù)家”神經(jīng)網(wǎng)絡(luò)（如U-Net等）對其進(jìn)行加工。

這一步生成的手繪效果與輸入幀進(jìn)一步融合之后，手繪特效就初步完成了。

當(dāng)然，在正式輸出之前，每一幀畫面還得經(jīng)過一道化妝和美顏的步驟，來提升整體圖像的質(zhì)量。

這時(shí)候可能有盆友會(huì)問了，現(xiàn)在各種開源生成算法都很成熟，直接搬到手機(jī)里，何難之有??？

非也非也。

且不說為了最大程度保留用戶本人的五官和外形特征，同時(shí)兼顧手繪風(fēng)格的美學(xué)和藝術(shù)效果，需要在整體風(fēng)格和局部細(xì)節(jié)上對AI模型進(jìn)行更加嚴(yán)苛的調(diào)教，對于快手這樣的App來說，訓(xùn)練出一個(gè)穩(wěn)定好用的模型往往還只是第一步。

更大的困難其實(shí)在于手機(jī)這個(gè)載體本身。

手機(jī)作為移動(dòng)端設(shè)備，本身算力有限。也就是說，AI的手繪能力越強(qiáng)大、技術(shù)越復(fù)雜，對于手機(jī)來說，想要流暢不卡頓地運(yùn)行它，就越困難。

而對于咱用戶來說，如果一開特效就是一頓卡卡卡卡卡，電量哐哐掉，那也就沒有什么樂趣可言了。

另外，像手繪濾鏡這樣的算法，默認(rèn)是在手機(jī)CPU上運(yùn)行的。CPU是一個(gè)通用計(jì)算單元，本身也并非運(yùn)行AI工作負(fù)載的最佳選擇。

怎么解決？大體上有如下三種思路。

第一種思路，還是從算法上著手，對模型進(jìn)行壓縮。以快手為例，AI濾鏡背后就都有定制化模型壓縮算法的加持，使其可以在考量各種邊界條件、有限的計(jì)算和內(nèi)存資源條件下，把模型計(jì)算量降到最低。

不過再怎么在算法上優(yōu)化，硬件層面的限制仍然是無法繞開的問題。

于是就有了第二種思路，上云。許多App提供商都會(huì)選擇在云端進(jìn)行復(fù)雜的AI處理，以解決移動(dòng)端算力不足帶來的挑戰(zhàn)。

但這又引發(fā)了新的問題——在云端計(jì)算，就會(huì)受到網(wǎng)絡(luò)環(huán)境的影響，導(dǎo)致額外的時(shí)延和其他變化，也沒有辦法滿足離線需要。

所以第三種思路，就是直接從SoC硬件廠商這一側(cè)解決問題。

以最常見的高通驍龍移動(dòng)平臺(tái)為例，其搭載的高通AI引擎，就在硬件這一側(cè)，實(shí)現(xiàn)了AI計(jì)算的加速。

高通AI引擎有啥不一樣？

高通AI引擎，其實(shí)就是內(nèi)置于驍龍移動(dòng)平臺(tái)的一套完整軟硬件AI解決方案。

在硬件方面，高通AI引擎采用多核異構(gòu)計(jì)算方案，包含：

• Hexagon向量處理器
• Adreno GPU
• Kryo CPU

因此，通過智能調(diào)度CPU、GPU和向量處理器來進(jìn)行AI運(yùn)算，高通AI引擎能充分發(fā)揮出不同架構(gòu)處理器的優(yōu)點(diǎn)，在實(shí)現(xiàn)高算力的同時(shí)，最大限度保證能效。

而在軟件方面，高通AI引擎的軟件工具包括：驍龍神經(jīng)處理SDK、Android NN和Hexagon NN。利用這些軟件工具，像視頻平臺(tái)這樣的算法開發(fā)方，就能夠快速接入高通AI引擎，充分探索AI算法的性能邊界。

事實(shí)上，快手和高通早在驍龍765移動(dòng)平臺(tái)推出時(shí)就展開了合作。針對App在移動(dòng)平臺(tái)的性能、功耗、擴(kuò)展性和兼容性等方面的需求，高通神經(jīng)處理SDK能夠以軟件的方式提供支持，并釋放CPU工作負(fù)載，通過Hexagon處理器來實(shí)現(xiàn)AI加速。并且，雙方還在模型量化壓縮方面開展了合作，在提升模型性能和能效的同時(shí)，確保AI處理的精確度。

由此帶來的效果可以直接用一組數(shù)據(jù)體現(xiàn)：手繪濾鏡幀率（FPS）提升56%，功耗降低32%。

而在今年，隨著新一代驍龍778G移動(dòng)平臺(tái)的推出，雙方的合作還在進(jìn)一步加深。核心圍繞的，就是第6代高通AI引擎。

驍龍778G支持的第6代高通AI引擎包含高通Hexagon 770處理器，算力可達(dá)12TOPS，性能較前代平臺(tái)實(shí)現(xiàn)翻番。為便于大家參照：蘋果A14為11TOPS。

此外，驍龍778G采用的全新Qualcomm Spectra ISP，支持每秒處理20億像素，能夠?yàn)楦咄ˋI引擎運(yùn)行特效算法提供額外加持。

快手Y-tech AI工程組負(fù)責(zé)人邊紅昌針對這項(xiàng)合作，還表示：

與高通技術(shù)公司的出色合作幫助快手突破了AI算法的性能邊界。我們很高興能夠與高通繼續(xù)協(xié)作，充分發(fā)揮驍龍高端芯片的強(qiáng)大異構(gòu)計(jì)算能力。通過增強(qiáng)神經(jīng)網(wǎng)絡(luò)性能并提升輸出質(zhì)量，我們將能為用戶提供更具吸引力的應(yīng)用和更高價(jià)值?！?/p>

“AI大廠”高通？

說起高通，或許你的印象還停留在“一家手機(jī)芯片廠”，長于游戲和圖形。

但從手繪濾鏡這個(gè)案例中，就不難看出，其實(shí)高通早已是一家AI大廠，還是App開發(fā)商們樂于攜手合作的那種。

事實(shí)上，早在AI方興未艾之時(shí)，高通就已經(jīng)將AI視為技術(shù)發(fā)展的重點(diǎn)。

在2007年，高通旗下的Qualcomm Research就啟動(dòng)了首個(gè)人工智能項(xiàng)目，并于2018年正式成立Qualcomm AI Research。

2015年，搭載第一代高通AI引擎的驍龍820發(fā)布，正式引入高通Hexagon向量擴(kuò)展內(nèi)核，以支持更強(qiáng)大的AI處理能力。

在歷經(jīng)6年的逐年迭代之后，今年同樣搭載第6代高通AI引擎的驍龍888 Plus，已經(jīng)實(shí)現(xiàn)了高達(dá)32 TOPS的強(qiáng)大算力。

并且，高通的AI能力或許也比你想象的更深入日常生活。

雖然不像App里的AI特效算法那樣讓人感知強(qiáng)烈，但你的手機(jī)、手機(jī)應(yīng)用越來越智能背后，或多或少都有高通AI引擎的影子。

最近就有新例子——

搭載了驍龍888系列的榮耀Magic 3，通過場景元素識(shí)別和智能匹配、推薦，實(shí)現(xiàn)AI影調(diào)推薦功能，讓用戶在手機(jī)上也能拍出電影大片的質(zhì)感。

而同樣搭載了驍龍888 Plus的小米MIX4，驚艷的屏下攝像頭落地背后，少不了AI圖像增強(qiáng)算法的加持；更有全景AI翻譯新玩法，帶來同聲傳譯、屏幕翻譯、拍照翻譯、AI字幕等實(shí)用AI功能，讓用戶能在刷視頻、線上會(huì)議等諸多場景中，都方便體驗(yàn)到AI“翻譯大師”的服務(wù)……

黑科技有多復(fù)雜？那不是大多數(shù)用戶需要考慮的。

但在高通與其合作廠商的碰撞中，更多的黑科技正在成為生活的常態(tài)。

拿來就完事了，你說呢（手動(dòng)狗頭）？

—完—