vivo首款自研6nm芯片！AIGC算法加持，支持4K電影級人像視頻

蕭簫 衡宇 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI

安卓視頻拍攝體驗，出現(xiàn)了新的天花板——

只用手機，也能拍出4K電影級別的人像視頻了！同時還能實現(xiàn)無損拍后編輯。

不用靠長槍短炮的畫幅和光圈，就能真·全自動檢測和切換虛化主體。

讓鏡頭就聚焦在某個人物身上，同時周圍景物自然虛化，只需一鍵實現(xiàn)：

不僅如此，就連膚質(zhì)優(yōu)化和色彩處理，也能秒速搞定，分分鐘拍出大片效果：

安卓機型人像拍攝的這個新天花板出現(xiàn)，更有層次的照片，這不就來了？！

要知道，背景虛化一直是手機攝影的短板，無論是虛化層次還是邊緣處理，很難與單反相機分庭抗禮。

哪怕是對所搭載的算法進行創(chuàng)新和優(yōu)化，想要最終效果是4k電影級，必須要兼顧降低功耗。

不多賣關子，這種視頻拍攝效果，出自剛剛登頂中國手機第一的“藍廠”vivo之手，在其最新的發(fā)布會上露面。

最重要的是，背后果然又用到了最新的自研芯片。

難怪有網(wǎng)友調(diào)侃道：

所以，這個芯片究竟實現(xiàn)了什么樣的功能，又是如何打破安卓手機影像能力天花板的？

打破安卓手機攝影天花板

vivo給手機攝影帶來的突破，主要體現(xiàn)在兩方面，更高的畫質(zhì)和更快更好的算法。

先是在畫質(zhì)上，vivo在安卓手機攝影上實現(xiàn)了兩個“首次”，即4K電影人像視頻和4K級拍后編輯。

4K電影人像視頻，意味著手機拍人像視頻，已經(jīng)能達到4K電影級的水平，不僅分辨率更高、色彩呈現(xiàn)也更好。

相比之前，包括焦外散景虛化（背景虛化）、全自動主體焦點檢測和切換、電影級膚質(zhì)優(yōu)化和色彩處理，現(xiàn)在vivo都已經(jīng)能用到4K視頻拍攝中。

焦外散景虛化，即拍出很好的淺景深效果；全自動主體焦點檢測和切換，意味著不再需要手動調(diào)試鏡頭距離“對準”某個物體，算法自動實現(xiàn)；電影級膚質(zhì)優(yōu)化和色彩處理，讓拍視頻人像也“幀幀開美顏”，無需拍后再手動調(diào)整。

進一步地，在拍攝完成后，vivo還實現(xiàn)了4K級拍后編輯，快速且無損。

視頻編輯耗費計算量較大，此前往往只有壓縮視頻大小，才能縮短剪輯加載和導出的時間。

現(xiàn)在，如果對拍攝出來的視頻不滿意，編輯時無需壓縮視頻，在分辨率保持4K的情況下，手機仍然能快速調(diào)整虛化和焦點位置，實現(xiàn)無損編輯。

不僅僅在于畫質(zhì)上的兩大功能，這次vivo手機影像技術的升級，還體現(xiàn)在“算法大融合”上。

要知道，過去各種手機雖然宣稱已經(jīng)搭載了不少提升拍照技術的AI算法，但大部分算法無法同時運行。

以人像和夜景為例。目前不少手機，都能看到這兩種類型的拍照模式優(yōu)化，但“夜景+人像優(yōu)化”卻比較少見——

這是因為，針對夜景和人像所需的算法不完全一樣，如果同時運行，不僅功耗更大、延遲也會更高。

因此，如果說之前的算法處理還只能讓用戶自己做選擇，最新的vivo手機，已經(jīng)能實現(xiàn)大量自研影像算法同時開啟的效果。

像是夜景拍攝幾乎必不可少的AI降噪（NR，Noise Reduce）算法：

基于人像理解技術，進一步實現(xiàn)拍攝需要的影調(diào)（調(diào)色）算法：

視頻拍攝需要的MEMC插幀算法：

能保留圖像中的更多細節(jié)、對比度也更高，提升整體效果的HDR技術：

以及圖像變焦算法等等。

過去這些算法還需要分時間階段運行，現(xiàn)在，vivo手機不僅能同時處理它們，而且延遲都保持在用戶可以感知的范圍之內(nèi)。

完成這些部署，離不開vivo自研的新一代影像芯片，名為V3。

藍廠究竟在V3芯片中加了什么黑科技，來實現(xiàn)這樣的效果？

vivo最新自研芯片V3

V3芯片采用6nm制程工藝，相比上一代的V2芯片，能效比提升了30%。

架構(gòu)設計上，V3仍然是ISP（圖像信號處理器），但相比上一代可以實現(xiàn)多并發(fā)AI感知。

同時，為了更好地和SoC“打配合”，V3芯片還推出了第二代FIT互聯(lián)系統(tǒng)，來調(diào)度二者之間的資源。

具體來說，V3主要通過硬件架構(gòu)升級、以及和主芯片“打配合”兩種模式，來支持上面提到的兩大新功能，以及一系列AI算法并發(fā)效果。

一方面，在架構(gòu)上，V3不僅在制程上得到升級，大幅提升能效，同時設計上側(cè)重于提升AI算法的計算效率。

V3芯片延續(xù)了V系列芯片的特征，自帶定制化深度學習加速器（DLA）、以及純SRAM架構(gòu)，用于提升計算AI任務的效率。

雖然手機芯片也配備NPU這種神經(jīng)網(wǎng)絡硬件加速器，用于進行向量化計算和并行處理，然而，由于這種NPU是通用型的，因此在計算某些專用任務時效率不高。

以計算AI任務常用的乘加計算（MAC）為例，通用NPU做這類計算往往只能達到30%的利用率。

這是因為它所用的片上緩存（TCM）容量有限，一旦圖像類AI任務變多，每一層網(wǎng)絡特征圖寫入DDR內(nèi)存，帶寬就會爆炸、功耗也會大幅度上升。

V3芯片自帶的深度學習加速器，則能更好地處理這類任務。即使芯片制程是6nm，在處理特定圖像任務時，整體能效比相比4nm的SoC仍舊可以提升2~3倍。

同時在內(nèi)存上，V3芯片沒有采用DDR，而是采用了SRAM架構(gòu)來存儲信息。

相比通用NPU，V3只運行特定任務，不受外部后臺線程（如CPU線程）的干擾，也不會因為其他功能升壓或提頻導致功耗上升，因此在做乘加計算時，利用率可以達到100%。

但僅僅是通過升級硬件架構(gòu)、提升處理AI任務的能力還不夠。

畢竟對于手機來說，只有將所有算力資源調(diào)度起來，才能真正確保計算效率最大化，因此——

另一方面，V3芯片推出了第二代FIT雙芯互聯(lián)系統(tǒng)，讓算力資源調(diào)動變成了靈活的“一盤棋”。

具體來說，這種系統(tǒng)能同時調(diào)用手機SoC和V3的算力，使得它們在處理AI算法時“各司其職”，從而更高效地處理不同的算法。

其中，V3芯片主要能處理兩類任務。

一個是可以用低級別、像素級別的AI算力處理的任務；另一個是對于一些需要較大濾波器的算法（如運動估計等），V3能將算法“硬件化”，即將它們轉(zhuǎn)換成特定應用集成電路（純ASIC），成為芯片的一部分。

同時，對于更復雜的一些算法，則主要用SoC來完成，同時V3提供“協(xié)作”。

整體來說，V3不僅能將一些特定AI任務的處理做到極致，同時也能作為算力“補充庫”，來協(xié)助SoC完成其他AI算法的處理。

這樣一來，不僅能降低原本計算特定AI算法所用的功耗，做到SoC+V3芯片的總功耗“1+1＜2”，還能做到原本“不可能的事情”——

假設手機上搭載了10個算法，此前可能會因為功耗和發(fā)熱，導致只能同時跑6個；現(xiàn)在加上V3后，10個算法都能同時運行（例如整套人像功能），并將功耗和發(fā)熱保持在合適的范圍內(nèi)。

當然，在配合的硬件“位置”上也有講究。相比前置ISP（PreISP），V3選擇了后置ISP（PostISP）的方式，即數(shù)據(jù)先通過SoC，再通過V3進行處理，最后打到屏幕上。

這樣設計的好處是可以降低芯片內(nèi)部的處理延時、提升性能，雖然會在回傳通路上增加一點處理時間，不過并不影響整體使用效果，像視頻拍攝預覽延遲在180~200ms左右，對于人眼來說幾乎無感。

當然，除了針對V3芯片的設計，vivo也在影像相關的其他芯片技術上下了不少功夫。

其中之一就是在CMOS芯片上。

vivo針對這個芯片研發(fā)了一項名叫自適應DCG-HDR技術，目前研究論文已經(jīng)發(fā)表在VLSI 2023上。

VLSI（超大規(guī)模集成電路技術和電路研討會）是電路領域的國際頂會，今年vivo也是國內(nèi)手機廠商中唯一一家發(fā)表論文、并被選中進行會上分享的。

這項技術能夠讓在用戶拍視頻時常開HDR模式，獲得更好的拍攝效果，同時功耗更低。

相比傳統(tǒng)HDR在整個圖像區(qū)域使用曝光設置（或分區(qū)使用不同的曝光設置），自適應DCG-HDR可以將曝光設置粒度縮小到像素級別。

也就是說，每個像素根據(jù)所在的場景和光照條件選擇曝光設置，使得HDR效果更精準；同時，通過這種調(diào)制，它還能省去一次讀取像素值的操作，進一步降低了功耗。

這樣一來，用戶不僅能常開HDR模式，甚至開著拍視頻，也不會出現(xiàn)過熱或頻繁關機的問題。

對于之后的影像行業(yè)布局，vivo影像產(chǎn)品高級總監(jiān)李卓表示：

AI一定是未來最重要的方向之一。

然而，即便自研芯片在影像上取得了如此不錯的效果，投入數(shù)十甚至上百億去研發(fā)芯片、甚至不斷迭代升級，仍然不是一個短期內(nèi)看得到巨大回報的過程。

對于手機廠商、甚至整個行業(yè)而言，自研芯片的意義究竟何在？

AIGC時代，自研芯片更顯重要

回顧這幾年的手機行業(yè)，新的產(chǎn)品、技術層出不窮，令人眼花繚亂。

行業(yè)也熱點，作為各廠商發(fā)力的角逐地，也在不斷變化。折疊屏、雙芯設計、屏下攝像頭、夜間拍攝、AI+……新的熱點為手機行業(yè)不斷加碼，同時對技術提出了更高的要求。

比如，按照當下的熱門技術定義，手機行業(yè)實則處于一個影像芯片、AIGC、3D影像等熱點交融的時代。

在這樣浩蕩的時代里，交匯交融是無法避免的趨勢。

就拿vivo首次對外披露與AIGC算法相關的研發(fā)成果為例。

一手建立了重慶3D動捕實驗室，搭建影視級光場系統(tǒng)，支撐vivo各類人像3D感知算法的研發(fā)、迭代工作。

重點儲備以人臉、人體和手勢為核心人像3D感知算法能力。

另一邊，則在自研芯片領域持續(xù)發(fā)力，對外發(fā)布V3。

細數(shù)vivo自研芯片的歷程，已有4年歷史。

2019年，藍廠被曝造芯；2021年，正式闖入自研芯片賽道，推出第一顆影像芯片V1，除了生產(chǎn)全部自研。

當時，手機行業(yè)主打的降噪、插幀等圖像處理功能，有不少還停留在傳統(tǒng)算法層面。

V1主打特色之一，就是能夠很好地處理傳統(tǒng)影像算法，同時已經(jīng)具備一定的算法并行能力，可以在一塊芯片內(nèi)同時進行部分圖像成像算法，這讓手機的夜景拍攝能力有了極大提升。

2022年，結(jié)合AI算法的ISP芯片V2快速面世。它采用迭代后的AI-ISP架構(gòu)，能夠在手機內(nèi)部實現(xiàn)數(shù)據(jù)和算力的優(yōu)化、高速協(xié)同。

這個階段，由于用上了AI技術，vivo自研的算法開始變得更復雜，需要的額外信息也變得更多。

例如，相機原本的自動對焦AF、自動曝光AE、自動白平衡AWB這類3A功能，也開始加上AI算法，這類算法往往需要用上相機控制參數(shù)、硬件參數(shù)和返回值等信息，用來做一些運動估計功能，因此延遲也會相應變高。

為了確保AI功能變多的同時，延遲還維持在用戶可以接受的層面，V2芯片開始正式引入FIT雙芯互聯(lián)技術，確保兩顆芯片溝通的效率。

可以說，V1到V2，是藍廠不斷滿足初代影像算法及AI 1.0時代對影像芯片的要求的過程。

林林總總可以歸結(jié)為一句話：一個時代有一個時代的芯片要求。

AIGC時代下，不僅算法數(shù)量呈現(xiàn)井噴式增長，算法的體量也有了質(zhì)的差異。

尤其針對需求質(zhì)與量與日俱增的影像技術而言，手機芯片的算力和處理性能，都相對應地有了更高要求。

如今在影像算法中，光是人像系統(tǒng)中，就有包括發(fā)絲分割、膚色增強、虛化渲染、場景感知等一系列需要用到AI算法的功能；

更別提夜景這類同時需要提升畫質(zhì)、色彩的場景，長此以往，所需的算法類型和數(shù)量只會越來越多。

同時，隨著AI模型效果變得更好、體積變得更大，AIGC算法逐漸成為潮流的當下，如何利用深度學習加速引擎和異構(gòu)加速引擎提升AI處理效率，也是手機業(yè)界的一道長期思考題。

總而言之，AIGC潮流為代表的AI 2.0時代，對所承載的算力的擴張需求，迫在眉睫。

一路走來都是困難重重，未來的挑戰(zhàn)也將一個接著一個。相比優(yōu)化算法去適配硬件廠商的芯片，軟硬件結(jié)合，才是AIGC時代的王道——

手握自研芯片，就能算法軟件和芯片硬件兩手抓；

沒有自研芯片，只能坐等市場有什么樣的芯片，再設計研究算法去適配。

顯而易見，軟硬件的并行，無論是對大廠本身，還是對滿懷期待的客戶而言，都更有競爭力和說服力。

看到這條路線的不只有vivo一家。

國外亞馬遜、Meta。國內(nèi)百度、阿里，諸多在AIGC時代爭先恐后布局的大廠，在嘗試將AI功能最大化時，都會考慮把“合作或自研設計芯片”作為具體的實現(xiàn)途徑之一。

其他大廠尚且如此，向來主攻影像的手機行業(yè)，作為AIGC技術的頭部應用場景之一，更加應該明白這樣的道理：

只有真正從算力底層出發(fā)，將AIGC軟硬件技術細節(jié)掌控在自己手中，才能最大程度地確保走在技術創(chuàng)新的中軸線上。