vivo首款自研6nm芯片！AIGC算法加持，支持4K電影級(jí)人像視頻

蕭簫 衡宇 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI

安卓視頻拍攝體驗(yàn)，出現(xiàn)了新的天花板——

只用手機(jī)，也能拍出4K電影級(jí)別的人像視頻了！同時(shí)還能實(shí)現(xiàn)無(wú)損拍后編輯。

不用靠長(zhǎng)槍短炮的畫(huà)幅和光圈，就能真·全自動(dòng)檢測(cè)和切換虛化主體。

讓鏡頭就聚焦在某個(gè)人物身上，同時(shí)周?chē)拔镒匀惶摶?，只需一鍵實(shí)現(xiàn)：

不僅如此，就連膚質(zhì)優(yōu)化和色彩處理，也能秒速搞定，分分鐘拍出大片效果：

安卓機(jī)型人像拍攝的這個(gè)新天花板出現(xiàn)，更有層次的照片，這不就來(lái)了？！

要知道，背景虛化一直是手機(jī)攝影的短板，無(wú)論是虛化層次還是邊緣處理，很難與單反相機(jī)分庭抗禮。

哪怕是對(duì)所搭載的算法進(jìn)行創(chuàng)新和優(yōu)化，想要最終效果是4k電影級(jí)，必須要兼顧降低功耗。

不多賣(mài)關(guān)子，這種視頻拍攝效果，出自剛剛登頂中國(guó)手機(jī)第一的“藍(lán)廠”vivo之手，在其最新的發(fā)布會(huì)上露面。

最重要的是，背后果然又用到了最新的自研芯片。

難怪有網(wǎng)友調(diào)侃道：

所以，這個(gè)芯片究竟實(shí)現(xiàn)了什么樣的功能，又是如何打破安卓手機(jī)影像能力天花板的？

打破安卓手機(jī)攝影天花板

vivo給手機(jī)攝影帶來(lái)的突破，主要體現(xiàn)在兩方面，更高的畫(huà)質(zhì)和更快更好的算法。

先是在畫(huà)質(zhì)上，vivo在安卓手機(jī)攝影上實(shí)現(xiàn)了兩個(gè)“首次”，即4K電影人像視頻和4K級(jí)拍后編輯。

4K電影人像視頻，意味著手機(jī)拍人像視頻，已經(jīng)能達(dá)到4K電影級(jí)的水平，不僅分辨率更高、色彩呈現(xiàn)也更好。

相比之前，包括焦外散景虛化（背景虛化）、全自動(dòng)主體焦點(diǎn)檢測(cè)和切換、電影級(jí)膚質(zhì)優(yōu)化和色彩處理，現(xiàn)在vivo都已經(jīng)能用到4K視頻拍攝中。

焦外散景虛化，即拍出很好的淺景深效果；全自動(dòng)主體焦點(diǎn)檢測(cè)和切換，意味著不再需要手動(dòng)調(diào)試鏡頭距離“對(duì)準(zhǔn)”某個(gè)物體，算法自動(dòng)實(shí)現(xiàn)；電影級(jí)膚質(zhì)優(yōu)化和色彩處理，讓拍視頻人像也“幀幀開(kāi)美顏”，無(wú)需拍后再手動(dòng)調(diào)整。

進(jìn)一步地，在拍攝完成后，vivo還實(shí)現(xiàn)了4K級(jí)拍后編輯，快速且無(wú)損。

視頻編輯耗費(fèi)計(jì)算量較大，此前往往只有壓縮視頻大小，才能縮短剪輯加載和導(dǎo)出的時(shí)間。

現(xiàn)在，如果對(duì)拍攝出來(lái)的視頻不滿(mǎn)意，編輯時(shí)無(wú)需壓縮視頻，在分辨率保持4K的情況下，手機(jī)仍然能快速調(diào)整虛化和焦點(diǎn)位置，實(shí)現(xiàn)無(wú)損編輯。

不僅僅在于畫(huà)質(zhì)上的兩大功能，這次vivo手機(jī)影像技術(shù)的升級(jí)，還體現(xiàn)在“算法大融合”上。

要知道，過(guò)去各種手機(jī)雖然宣稱(chēng)已經(jīng)搭載了不少提升拍照技術(shù)的AI算法，但大部分算法無(wú)法同時(shí)運(yùn)行。

以人像和夜景為例。目前不少手機(jī)，都能看到這兩種類(lèi)型的拍照模式優(yōu)化，但“夜景+人像優(yōu)化”卻比較少見(jiàn)——

這是因?yàn)?，針?duì)夜景和人像所需的算法不完全一樣，如果同時(shí)運(yùn)行，不僅功耗更大、延遲也會(huì)更高。

因此，如果說(shuō)之前的算法處理還只能讓用戶(hù)自己做選擇，最新的vivo手機(jī)，已經(jīng)能實(shí)現(xiàn)大量自研影像算法同時(shí)開(kāi)啟的效果。

像是夜景拍攝幾乎必不可少的AI降噪（NR，Noise Reduce）算法：

基于人像理解技術(shù)，進(jìn)一步實(shí)現(xiàn)拍攝需要的影調(diào)（調(diào)色）算法：

視頻拍攝需要的MEMC插幀算法：

能保留圖像中的更多細(xì)節(jié)、對(duì)比度也更高，提升整體效果的HDR技術(shù)：

以及圖像變焦算法等等。

過(guò)去這些算法還需要分時(shí)間階段運(yùn)行，現(xiàn)在，vivo手機(jī)不僅能同時(shí)處理它們，而且延遲都保持在用戶(hù)可以感知的范圍之內(nèi)。

完成這些部署，離不開(kāi)vivo自研的新一代影像芯片，名為V3。

藍(lán)廠究竟在V3芯片中加了什么黑科技，來(lái)實(shí)現(xiàn)這樣的效果？

vivo最新自研芯片V3

V3芯片采用6nm制程工藝，相比上一代的V2芯片，能效比提升了30%。

架構(gòu)設(shè)計(jì)上，V3仍然是ISP（圖像信號(hào)處理器），但相比上一代可以實(shí)現(xiàn)多并發(fā)AI感知。

同時(shí)，為了更好地和SoC“打配合”，V3芯片還推出了第二代FIT互聯(lián)系統(tǒng)，來(lái)調(diào)度二者之間的資源。

具體來(lái)說(shuō)，V3主要通過(guò)硬件架構(gòu)升級(jí)、以及和主芯片“打配合”兩種模式，來(lái)支持上面提到的兩大新功能，以及一系列AI算法并發(fā)效果。

一方面，在架構(gòu)上，V3不僅在制程上得到升級(jí)，大幅提升能效，同時(shí)設(shè)計(jì)上側(cè)重于提升AI算法的計(jì)算效率。

V3芯片延續(xù)了V系列芯片的特征，自帶定制化深度學(xué)習(xí)加速器（DLA）、以及純SRAM架構(gòu)，用于提升計(jì)算AI任務(wù)的效率。

雖然手機(jī)芯片也配備N(xiāo)PU這種神經(jīng)網(wǎng)絡(luò)硬件加速器，用于進(jìn)行向量化計(jì)算和并行處理，然而，由于這種NPU是通用型的，因此在計(jì)算某些專(zhuān)用任務(wù)時(shí)效率不高。

以計(jì)算AI任務(wù)常用的乘加計(jì)算（MAC）為例，通用NPU做這類(lèi)計(jì)算往往只能達(dá)到30%的利用率。

這是因?yàn)樗玫钠暇彺妫═CM）容量有限，一旦圖像類(lèi)AI任務(wù)變多，每一層網(wǎng)絡(luò)特征圖寫(xiě)入DDR內(nèi)存，帶寬就會(huì)爆炸、功耗也會(huì)大幅度上升。

V3芯片自帶的深度學(xué)習(xí)加速器，則能更好地處理這類(lèi)任務(wù)。即使芯片制程是6nm，在處理特定圖像任務(wù)時(shí)，整體能效比相比4nm的SoC仍舊可以提升2~3倍。

同時(shí)在內(nèi)存上，V3芯片沒(méi)有采用DDR，而是采用了SRAM架構(gòu)來(lái)存儲(chǔ)信息。

相比通用NPU，V3只運(yùn)行特定任務(wù)，不受外部后臺(tái)線程（如CPU線程）的干擾，也不會(huì)因?yàn)槠渌δ苌龎夯蛱犷l導(dǎo)致功耗上升，因此在做乘加計(jì)算時(shí)，利用率可以達(dá)到100%。

但僅僅是通過(guò)升級(jí)硬件架構(gòu)、提升處理AI任務(wù)的能力還不夠。

畢竟對(duì)于手機(jī)來(lái)說(shuō)，只有將所有算力資源調(diào)度起來(lái)，才能真正確保計(jì)算效率最大化，因此——

另一方面，V3芯片推出了第二代FIT雙芯互聯(lián)系統(tǒng)，讓算力資源調(diào)動(dòng)變成了靈活的“一盤(pán)棋”。

具體來(lái)說(shuō)，這種系統(tǒng)能同時(shí)調(diào)用手機(jī)SoC和V3的算力，使得它們?cè)谔幚鞟I算法時(shí)“各司其職”，從而更高效地處理不同的算法。

其中，V3芯片主要能處理兩類(lèi)任務(wù)。

一個(gè)是可以用低級(jí)別、像素級(jí)別的AI算力處理的任務(wù)；另一個(gè)是對(duì)于一些需要較大濾波器的算法（如運(yùn)動(dòng)估計(jì)等），V3能將算法“硬件化”，即將它們轉(zhuǎn)換成特定應(yīng)用集成電路（純ASIC），成為芯片的一部分。

同時(shí)，對(duì)于更復(fù)雜的一些算法，則主要用SoC來(lái)完成，同時(shí)V3提供“協(xié)作”。

整體來(lái)說(shuō)，V3不僅能將一些特定AI任務(wù)的處理做到極致，同時(shí)也能作為算力“補(bǔ)充庫(kù)”，來(lái)協(xié)助SoC完成其他AI算法的處理。

這樣一來(lái)，不僅能降低原本計(jì)算特定AI算法所用的功耗，做到SoC+V3芯片的總功耗“1+1＜2”，還能做到原本“不可能的事情”——

假設(shè)手機(jī)上搭載了10個(gè)算法，此前可能會(huì)因?yàn)楣暮桶l(fā)熱，導(dǎo)致只能同時(shí)跑6個(gè)；現(xiàn)在加上V3后，10個(gè)算法都能同時(shí)運(yùn)行（例如整套人像功能），并將功耗和發(fā)熱保持在合適的范圍內(nèi)。

當(dāng)然，在配合的硬件“位置”上也有講究。相比前置ISP（PreISP），V3選擇了后置ISP（PostISP）的方式，即數(shù)據(jù)先通過(guò)SoC，再通過(guò)V3進(jìn)行處理，最后打到屏幕上。

這樣設(shè)計(jì)的好處是可以降低芯片內(nèi)部的處理延時(shí)、提升性能，雖然會(huì)在回傳通路上增加一點(diǎn)處理時(shí)間，不過(guò)并不影響整體使用效果，像視頻拍攝預(yù)覽延遲在180~200ms左右，對(duì)于人眼來(lái)說(shuō)幾乎無(wú)感。

當(dāng)然，除了針對(duì)V3芯片的設(shè)計(jì)，vivo也在影像相關(guān)的其他芯片技術(shù)上下了不少功夫。

其中之一就是在CMOS芯片上。

vivo針對(duì)這個(gè)芯片研發(fā)了一項(xiàng)名叫自適應(yīng)DCG-HDR技術(shù)，目前研究論文已經(jīng)發(fā)表在VLSI 2023上。

VLSI（超大規(guī)模集成電路技術(shù)和電路研討會(huì)）是電路領(lǐng)域的國(guó)際頂會(huì)，今年vivo也是國(guó)內(nèi)手機(jī)廠商中唯一一家發(fā)表論文、并被選中進(jìn)行會(huì)上分享的。

這項(xiàng)技術(shù)能夠讓在用戶(hù)拍視頻時(shí)常開(kāi)HDR模式，獲得更好的拍攝效果，同時(shí)功耗更低。

相比傳統(tǒng)HDR在整個(gè)圖像區(qū)域使用曝光設(shè)置（或分區(qū)使用不同的曝光設(shè)置），自適應(yīng)DCG-HDR可以將曝光設(shè)置粒度縮小到像素級(jí)別。

也就是說(shuō)，每個(gè)像素根據(jù)所在的場(chǎng)景和光照條件選擇曝光設(shè)置，使得HDR效果更精準(zhǔn)；同時(shí)，通過(guò)這種調(diào)制，它還能省去一次讀取像素值的操作，進(jìn)一步降低了功耗。

這樣一來(lái)，用戶(hù)不僅能常開(kāi)HDR模式，甚至開(kāi)著拍視頻，也不會(huì)出現(xiàn)過(guò)熱或頻繁關(guān)機(jī)的問(wèn)題。

對(duì)于之后的影像行業(yè)布局，vivo影像產(chǎn)品高級(jí)總監(jiān)李卓表示：

AI一定是未來(lái)最重要的方向之一。

然而，即便自研芯片在影像上取得了如此不錯(cuò)的效果，投入數(shù)十甚至上百億去研發(fā)芯片、甚至不斷迭代升級(jí)，仍然不是一個(gè)短期內(nèi)看得到巨大回報(bào)的過(guò)程。

對(duì)于手機(jī)廠商、甚至整個(gè)行業(yè)而言，自研芯片的意義究竟何在？

AIGC時(shí)代，自研芯片更顯重要

回顧這幾年的手機(jī)行業(yè)，新的產(chǎn)品、技術(shù)層出不窮，令人眼花繚亂。

行業(yè)也熱點(diǎn)，作為各廠商發(fā)力的角逐地，也在不斷變化。折疊屏、雙芯設(shè)計(jì)、屏下攝像頭、夜間拍攝、AI+……新的熱點(diǎn)為手機(jī)行業(yè)不斷加碼，同時(shí)對(duì)技術(shù)提出了更高的要求。

比如，按照當(dāng)下的熱門(mén)技術(shù)定義，手機(jī)行業(yè)實(shí)則處于一個(gè)影像芯片、AIGC、3D影像等熱點(diǎn)交融的時(shí)代。

在這樣浩蕩的時(shí)代里，交匯交融是無(wú)法避免的趨勢(shì)。

就拿vivo首次對(duì)外披露與AIGC算法相關(guān)的研發(fā)成果為例。

一手建立了重慶3D動(dòng)捕實(shí)驗(yàn)室，搭建影視級(jí)光場(chǎng)系統(tǒng)，支撐vivo各類(lèi)人像3D感知算法的研發(fā)、迭代工作。

重點(diǎn)儲(chǔ)備以人臉、人體和手勢(shì)為核心人像3D感知算法能力。

另一邊，則在自研芯片領(lǐng)域持續(xù)發(fā)力，對(duì)外發(fā)布V3。

細(xì)數(shù)vivo自研芯片的歷程，已有4年歷史。

2019年，藍(lán)廠被曝造芯；2021年，正式闖入自研芯片賽道，推出第一顆影像芯片V1，除了生產(chǎn)全部自研。

當(dāng)時(shí)，手機(jī)行業(yè)主打的降噪、插幀等圖像處理功能，有不少還停留在傳統(tǒng)算法層面。

V1主打特色之一，就是能夠很好地處理傳統(tǒng)影像算法，同時(shí)已經(jīng)具備一定的算法并行能力，可以在一塊芯片內(nèi)同時(shí)進(jìn)行部分圖像成像算法，這讓手機(jī)的夜景拍攝能力有了極大提升。

2022年，結(jié)合AI算法的ISP芯片V2快速面世。它采用迭代后的AI-ISP架構(gòu)，能夠在手機(jī)內(nèi)部實(shí)現(xiàn)數(shù)據(jù)和算力的優(yōu)化、高速協(xié)同。

這個(gè)階段，由于用上了AI技術(shù)，vivo自研的算法開(kāi)始變得更復(fù)雜，需要的額外信息也變得更多。

例如，相機(jī)原本的自動(dòng)對(duì)焦AF、自動(dòng)曝光AE、自動(dòng)白平衡AWB這類(lèi)3A功能，也開(kāi)始加上AI算法，這類(lèi)算法往往需要用上相機(jī)控制參數(shù)、硬件參數(shù)和返回值等信息，用來(lái)做一些運(yùn)動(dòng)估計(jì)功能，因此延遲也會(huì)相應(yīng)變高。

為了確保AI功能變多的同時(shí)，延遲還維持在用戶(hù)可以接受的層面，V2芯片開(kāi)始正式引入FIT雙芯互聯(lián)技術(shù)，確保兩顆芯片溝通的效率。

可以說(shuō)，V1到V2，是藍(lán)廠不斷滿(mǎn)足初代影像算法及AI 1.0時(shí)代對(duì)影像芯片的要求的過(guò)程。

林林總總可以歸結(jié)為一句話：一個(gè)時(shí)代有一個(gè)時(shí)代的芯片要求。

AIGC時(shí)代下，不僅算法數(shù)量呈現(xiàn)井噴式增長(zhǎng)，算法的體量也有了質(zhì)的差異。

尤其針對(duì)需求質(zhì)與量與日俱增的影像技術(shù)而言，手機(jī)芯片的算力和處理性能，都相對(duì)應(yīng)地有了更高要求。

如今在影像算法中，光是人像系統(tǒng)中，就有包括發(fā)絲分割、膚色增強(qiáng)、虛化渲染、場(chǎng)景感知等一系列需要用到AI算法的功能；

更別提夜景這類(lèi)同時(shí)需要提升畫(huà)質(zhì)、色彩的場(chǎng)景，長(zhǎng)此以往，所需的算法類(lèi)型和數(shù)量只會(huì)越來(lái)越多。

同時(shí)，隨著AI模型效果變得更好、體積變得更大，AIGC算法逐漸成為潮流的當(dāng)下，如何利用深度學(xué)習(xí)加速引擎和異構(gòu)加速引擎提升AI處理效率，也是手機(jī)業(yè)界的一道長(zhǎng)期思考題。

總而言之，AIGC潮流為代表的AI 2.0時(shí)代，對(duì)所承載的算力的擴(kuò)張需求，迫在眉睫。

一路走來(lái)都是困難重重，未來(lái)的挑戰(zhàn)也將一個(gè)接著一個(gè)。相比優(yōu)化算法去適配硬件廠商的芯片，軟硬件結(jié)合，才是AIGC時(shí)代的王道——

手握自研芯片，就能算法軟件和芯片硬件兩手抓；

沒(méi)有自研芯片，只能坐等市場(chǎng)有什么樣的芯片，再設(shè)計(jì)研究算法去適配。

顯而易見(jiàn)，軟硬件的并行，無(wú)論是對(duì)大廠本身，還是對(duì)滿(mǎn)懷期待的客戶(hù)而言，都更有競(jìng)爭(zhēng)力和說(shuō)服力。

看到這條路線的不只有vivo一家。

國(guó)外亞馬遜、Meta。國(guó)內(nèi)百度、阿里，諸多在AIGC時(shí)代爭(zhēng)先恐后布局的大廠，在嘗試將AI功能最大化時(shí)，都會(huì)考慮把“合作或自研設(shè)計(jì)芯片”作為具體的實(shí)現(xiàn)途徑之一。

其他大廠尚且如此，向來(lái)主攻影像的手機(jī)行業(yè)，作為AIGC技術(shù)的頭部應(yīng)用場(chǎng)景之一，更加應(yīng)該明白這樣的道理：

只有真正從算力底層出發(fā)，將AIGC軟硬件技術(shù)細(xì)節(jié)掌控在自己手中，才能最大程度地確保走在技術(shù)創(chuàng)新的中軸線上。