當(dāng)今旗艦電視最新畫(huà)質(zhì)技術(shù)，馬上就被聯(lián)發(fā)科搬到手機(jī)上了

蕭簫 2022-10-19 12:46:28 來(lái)源：量子位

蕭簫 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI

現(xiàn)在居家看電影，大伙兒還是更愿意用電視。

畢竟在同等條件下，電視的屏顯和畫(huà)質(zhì)擺在那里，手機(jī)再怎么升級(jí)屏幕，沉浸感還是沒(méi)有電視好。

BUT，就在最新一期天璣旗艦技術(shù)溝通會(huì)上，聯(lián)發(fā)科卻突然宣布，成功把電視上的畫(huà)質(zhì)“秘籍”搬到手機(jī)上來(lái)了——

要知道在智能電視市場(chǎng)，聯(lián)發(fā)科智能電視芯片至今已助力累計(jì)超過(guò)20億臺(tái)電視產(chǎn)品在全球各地上市，是這一領(lǐng)域的領(lǐng)導(dǎo)廠商，畫(huà)質(zhì)增強(qiáng)技術(shù)更是早有積淀。

電視技術(shù)移至到手機(jī)上帶來(lái)了兩點(diǎn)好處，一方面，畫(huà)質(zhì)品質(zhì)更高了；另一方面，用到手機(jī)拍照甚至拍視頻上，可以節(jié)省算力進(jìn)一步提升能效。

要知道，這可是各大頭部電視廠商都在用的畫(huà)質(zhì)技術(shù)，有幾家才剛安排到新產(chǎn)品上。

此前手機(jī)雖然也get了不少影像處理技能，但和高端電視比起來(lái)還是要低調(diào)一些。

這究竟是怎么做到的？

把電視畫(huà)質(zhì)技術(shù)搬手機(jī)上來(lái)了

最新的電視技術(shù)全稱AI景深畫(huà)質(zhì)增強(qiáng)技術(shù)（AI Depth PQ），目前這項(xiàng)技術(shù)已經(jīng)被用在不少電視上。

既然如此，聯(lián)發(fā)科腦洞大開(kāi)：為什么不能將這類(lèi)AI畫(huà)質(zhì)優(yōu)化相關(guān)技術(shù)直接用到手機(jī)拍照、視頻實(shí)時(shí)處理上，直接改善成片效果？

具體來(lái)說(shuō)，通過(guò)AI來(lái)進(jìn)行畫(huà)質(zhì)增強(qiáng)的技術(shù)又可以被分為幾類(lèi)技術(shù)，包括AI圖像語(yǔ)義分割技術(shù)、景深估計(jì)技術(shù)和智能優(yōu)化技術(shù)等。

其中最重要也是整個(gè)技術(shù)的核心，就是AI圖像語(yǔ)義分割技術(shù)。

這項(xiàng)技術(shù)本身并不復(fù)雜，核心思路就是將場(chǎng)景中的不同物體按照“描邊”的方式分割成幾個(gè)區(qū)域，每個(gè)區(qū)域中的所有像素都可以用相同的標(biāo)簽來(lái)標(biāo)記：

△例如像素4標(biāo)簽路人，像素3標(biāo)簽藍(lán)天

但用在手機(jī)智能拍照上，又有至少三大考驗(yàn)：

AI的理解能力，如何合理切分照片的前景和背景；AI的決策能力，如何選擇各區(qū)域的優(yōu)化算法；受限于手機(jī)體積，AI算法的功耗不能太大……

例如，上圖中站在背后的路人、和毯子上正在拍照的兩個(gè)主角，雖然都屬于“人”這一標(biāo)簽，但需要進(jìn)行的處理卻截然不同，一個(gè)需要摳圖并智能消除、另一個(gè)需要智能美顏算法：

又例如，即使是被劃分為“背景”的部分，在進(jìn)行處理時(shí)也有不同的算法需求，像照片中的“普通藍(lán)天”需要被優(yōu)化甚至智能替換成“更討好眼球的藍(lán)天”，而草地色彩則需要被調(diào)整得更明亮一點(diǎn)。

再例如，想將這個(gè)技術(shù)擴(kuò)大到視頻拍攝中，像電視處理電影那樣實(shí)時(shí)進(jìn)行，AI圖像語(yǔ)義分割技術(shù)又不能占用太多算力，不然直接掉幀甚至快速掉電……

△4K30幀視頻（約800多萬(wàn)像素/幀）需要的算力是800萬(wàn)照片的33倍

針對(duì)這幾點(diǎn)，聯(lián)發(fā)科對(duì)應(yīng)地研發(fā)了幾種算法，來(lái)“配合”語(yǔ)義分割算法打出組合拳。

首先，結(jié)合場(chǎng)景識(shí)別優(yōu)化語(yǔ)義分割算法，使得AI不僅能區(qū)分前景（如人像、動(dòng)物等）和背景，還能進(jìn)一步識(shí)別不同種類(lèi)的背景，如建筑、天空、綠地、植物和水池等。

然后，就是AI區(qū)域畫(huà)質(zhì)增強(qiáng)技術(shù)（AI Region PQ）了。

將照片分割成前景和不同區(qū)域的背景后，AI會(huì)針對(duì)每個(gè)區(qū)域的物體特性，分析并選取最合適的優(yōu)化算法，“拆分式”地優(yōu)化照片不同區(qū)域的效果。

例如針對(duì)藍(lán)天的優(yōu)化，基于色彩增強(qiáng)算法讓天色看起來(lái)更明亮；針對(duì)建筑物的優(yōu)化，則主要在對(duì)比度和銳利度上，如結(jié)合超分辨率等算法，讓建筑物的窗戶等細(xì)節(jié)看起來(lái)更清晰……

最后，還能基于語(yǔ)義分割算法降低視頻的算力，實(shí)現(xiàn)精確對(duì)焦。

此前，針對(duì)視頻的實(shí)時(shí)追焦算法往往是進(jìn)行逐幀追焦，通過(guò)計(jì)算幀間差異來(lái)調(diào)整清晰度，這樣不僅耗費(fèi)算力，甚至可能降低視頻的流暢度。

相比之下，采用語(yǔ)義分割算法區(qū)分出前景后，只需要針對(duì)前景區(qū)域進(jìn)行偵測(cè)和追焦就行，背景則不需要再耗費(fèi)更多算力去進(jìn)行優(yōu)化，就省去了不少算力。

這樣一來(lái)，不僅照片和視頻都實(shí)現(xiàn)了實(shí)時(shí)算法優(yōu)化，甚至相比原來(lái)還節(jié)省了一大波算力，例如4K30幀視頻和8K30幀視頻拍攝所需算力，都降低到了原來(lái)的1/4。

同時(shí)，聯(lián)發(fā)科也針對(duì)AI算法在硬件處理上進(jìn)行了對(duì)應(yīng)的優(yōu)化，包括提升APU的能效等，進(jìn)一步降低AI景深畫(huà)質(zhì)增強(qiáng)技術(shù)在手機(jī)上消耗的算力。

事實(shí)上，這也并非聯(lián)發(fā)科第一次針對(duì)手機(jī)AI技術(shù)進(jìn)行布局了。

用AI突破計(jì)算攝影瓶頸

從2018年開(kāi)始，聯(lián)發(fā)科開(kāi)始將計(jì)算攝影作為手機(jī)芯片算法的研發(fā)重點(diǎn)。

當(dāng)年10月份推出的Helio P70處理器，著重提升了多幀降噪?（MFNR）方面的性能，即通過(guò)一次性拍攝多張照片，隨后通過(guò)計(jì)算每個(gè)位置對(duì)應(yīng)的多層像素均值進(jìn)行輸出，提升照片的清晰度。

這其中涉及大量算法的優(yōu)化，尤其是拍攝多張照片并進(jìn)行處理的速度，當(dāng)年Helio P70針對(duì)多幀降噪算法進(jìn)行優(yōu)化后提升了約20%的性能。

然而，在計(jì)算攝影研發(fā)過(guò)程中，團(tuán)隊(duì)在計(jì)算機(jī)視覺(jué)方面遇到了一些算法優(yōu)化極限。

適逢更多AI算法在手機(jī)端優(yōu)化落地，計(jì)算攝影團(tuán)隊(duì)的重心也逐漸轉(zhuǎn)到AI技術(shù)研發(fā)上。

一方面是芯片上有關(guān)AI算力的提升。

最早從2018年Helio P90強(qiáng)調(diào)提升AI算力速度、同時(shí)推出包含剪枝在內(nèi)一系列優(yōu)化算法的AI計(jì)算平臺(tái)NeuroPilot v2.0，到2020年的天璣1000+的MiraVision畫(huà)質(zhì)引擎和APU3.0；

再到2021年至今強(qiáng)調(diào)的“每瓦有效算力”指標(biāo)，即APU長(zhǎng)時(shí)間運(yùn)行的功率大致在1W左右，聯(lián)發(fā)科在這方面強(qiáng)調(diào)的始終是“開(kāi)源節(jié)流”，優(yōu)化AI的能耗。

也就是說(shuō)，盡可能在不增加功耗的情況下，提升手機(jī)上AI算法運(yùn)行的效果。

另一方面則是不斷改進(jìn)AI算法的性能。

而從整體研究范圍來(lái)看，聯(lián)發(fā)科這幾年也一直在提升對(duì)于AI的重視程度，包括進(jìn)行貝葉斯優(yōu)化、元學(xué)習(xí)相關(guān)的機(jī)器學(xué)習(xí)研究，相關(guān)論文發(fā)表在NeurIPS、ICLR等頂會(huì)上。

這其中就有與影像處理相關(guān)的研究，例如提出了一個(gè)名為CycleNet的框架，旨在提升AI識(shí)別拍攝場(chǎng)景中較深物體（即相對(duì)鏡頭的距離較遠(yuǎn)）的能力。

具體來(lái)說(shuō)，CycleNet借鑒了“神經(jīng)元會(huì)和處理相同圖像中具有相同特征物體的神經(jīng)元產(chǎn)生聯(lián)系”等一系列生物神經(jīng)元處理信息的特點(diǎn)，來(lái)設(shè)計(jì)整體的框架邏輯，提升AI在處理較小較模糊的目標(biāo)時(shí)整體的識(shí)別準(zhǔn)確率。

至于我們多久會(huì)在手機(jī)上見(jiàn)到這樣的AI技術(shù)？還得看聯(lián)發(fā)科的速度了（doge）

還有哪些手機(jī)技能待點(diǎn)亮？

隨著AI落地的技術(shù)越來(lái)越多，手機(jī)應(yīng)用似乎也在進(jìn)一步逼近想象力的極限。

甚至有一種觀點(diǎn)認(rèn)為，目前能提升手機(jī)性能和創(chuàng)造力的就只有AI技術(shù)了。

然而事實(shí)真是如此嗎？

即便這幾年手機(jī)功能需求逐漸趨于一致，人們的關(guān)注度也并不止放在手機(jī)AI技術(shù)上。

包括GPU、通信乃至導(dǎo)航等，同樣是大伙兒期待在手機(jī)上能有進(jìn)一步提升的硬件設(shè)備“技能點(diǎn)”。

這種情況下，手機(jī)究竟還有哪些可待提升的功能空間？

如果仔細(xì)觀察這幾年芯片技術(shù)發(fā)展趨勢(shì)的話，會(huì)發(fā)現(xiàn)確實(shí)還有不少。

從聯(lián)發(fā)科在技術(shù)溝通會(huì)上透露的情況來(lái)看，芯片廠商針對(duì)手機(jī)游戲性能提升的側(cè)重點(diǎn)仍然在移動(dòng)光追上。

只不過(guò)相比于去年這一熱點(diǎn)概念的提出，今年移動(dòng)光追已經(jīng)逐漸成為手機(jī)上一個(gè)可以預(yù)見(jiàn)的功能性賣(mài)點(diǎn)，而且還會(huì)隨著技術(shù)的成熟普及到更多手機(jī)設(shè)備上。

同理還有移動(dòng)GPU增效方案，也在與移動(dòng)光追同步進(jìn)行，目的是在增加圖像刷新率、分辨率和渲染復(fù)雜度的同時(shí)，保持芯片能效的優(yōu)化，以實(shí)現(xiàn)軟硬件同步跟進(jìn)的效果。

至于在通信技術(shù)方面，未來(lái)可預(yù)見(jiàn)的功能則包括5G新雙通、以及支持Wi-Fi 7、高保真藍(lán)牙音頻等。

其中，新雙通指在手機(jī)雙卡雙待的情況下，讓雙卡的信號(hào)徹底不互相影響的能力，即使用流量卡打游戲時(shí)，主卡接電話也絲毫不受到影響。

隨著明年Wi-Fi 7標(biāo)準(zhǔn)的發(fā)布，WiFi吞吐量、穩(wěn)定性和時(shí)延還會(huì)有進(jìn)一步的改善，到那時(shí)候手機(jī)上即時(shí)刷劇打游戲的體驗(yàn)也會(huì)再度提升。

至于高保真藍(lán)牙音頻這一方面，則主要是改進(jìn)了音頻編解碼器和高帶寬的技術(shù)，讓音頻傳輸效率和音質(zhì)進(jìn)一步up。

最后則是高精度導(dǎo)航方面的技術(shù)了。

雖說(shuō)隨著自動(dòng)駕駛和V2X等技術(shù)發(fā)展火熱，如今車(chē)道級(jí)導(dǎo)航已經(jīng)是車(chē)機(jī)標(biāo)配。

但在不用車(chē)或是車(chē)內(nèi)手機(jī)導(dǎo)航時(shí)，除了室內(nèi)這種衛(wèi)星信號(hào)無(wú)法觸達(dá)的場(chǎng)所，高樓大廈林立的區(qū)域也同樣需要用到手機(jī)高精度導(dǎo)航技術(shù)。

而隨著聯(lián)發(fā)科MPE（MEMS-sensor Positioning Engine）融合技術(shù)的發(fā)展，結(jié)合傳感器（陀螺儀、加速度計(jì)等）+全球衛(wèi)星導(dǎo)航系統(tǒng)的導(dǎo)航技術(shù)也將應(yīng)用到手機(jī)上，極大增加室內(nèi)定位和弱信號(hào)區(qū)域的導(dǎo)航精度。

年底下一代天璣旗艦芯片又要發(fā)布了，據(jù)網(wǎng)傳型號(hào)是天璣9200，你最期待什么功能出現(xiàn)在上面？