vivo新機(jī)一英寸大底沒(méi)跑了，還能數(shù)秒拍出星空

白交 2022-10-26 12:45:01 來(lái)源：量子位

楊凈 發(fā)自 凹非寺

量子位 | 公眾號(hào) QbitAI

你敢信，這樣一張沙漠里星河密布的照片，會(huì)是手機(jī)秒秒鐘拍出來(lái)的？

而像專(zhuān)業(yè)攝影中才有的一些操作，比如白加黑減，如今手機(jī)也可以做到。

（白加黑減：在一些過(guò)黑or過(guò)白的場(chǎng)景中，相機(jī)智能系統(tǒng)可能會(huì)誤認(rèn)為過(guò)曝或欠曝，自動(dòng)調(diào)整曝光度，導(dǎo)致白不是白，黑不是黑，呈現(xiàn)一種摻雜灰色的狀態(tài)，這時(shí)候就需要攝影師手動(dòng)調(diào)整曝光。）

這就是以影像建廠(chǎng)的藍(lán)廠(chǎng)vivo，在最新戰(zhàn)略發(fā)布會(huì)上分享的影像技術(shù)，從傳感器到算法、自研芯片，從風(fēng)光到人像……還宛如大型預(yù)熱現(xiàn)場(chǎng)？！

明示一英寸大底、50mm人像鏡頭、自研芯片AI-ISP架構(gòu)升級(jí)……

有網(wǎng)友評(píng)論：要是下一代X90這些技術(shù)能放下就好了。

但有一說(shuō)一，這一次vivo，的確將自己的影像深耕由表及里，由內(nèi)而外地講清楚了，還直接攤出自己的秘籍。

這就來(lái)帶你一文看盡。

vivo如何思考影像技術(shù)革新？

通常而言，從技術(shù)的維度來(lái)看，影像主要有光學(xué)、算力、算法三個(gè)方面。

具體到用戶(hù)側(cè)，則涵蓋了色彩、夜景、人像、運(yùn)動(dòng)、視頻等場(chǎng)景去提升體驗(yàn)。

這次vivo直接一攬子發(fā)布了7大影像技術(shù)矩陣，將其歸納于三個(gè)“比肩專(zhuān)業(yè)影像”目標(biāo)當(dāng)中。

• 比肩專(zhuān)業(yè)影像設(shè)備：光學(xué)感知系統(tǒng)、臻彩還原引擎、超清畫(huà)質(zhì)引擎、算力加速引擎。
• 比肩專(zhuān)業(yè)攝影團(tuán)隊(duì)：環(huán)境理解技術(shù)
• 比肩專(zhuān)業(yè)后期能力：超感人像系統(tǒng)、蒼穹夜景系統(tǒng)。

通過(guò)這樣一個(gè)技術(shù)矩陣，搭建起真實(shí)世界——成像系統(tǒng)——后處理算法的影像通路。

以光學(xué)感知系統(tǒng)為例，則包括與蔡司合作的光學(xué)模組、鍍膜等技術(shù)。此次發(fā)布會(huì)全新發(fā)布了一項(xiàng)新技術(shù)——VCS仿生光譜技術(shù)。

據(jù)介紹，光線(xiàn)在進(jìn)入感光元件時(shí)會(huì)先通過(guò)color filter，普通圖像傳感器的color filter光譜，與人眼差異很大，而要繼續(xù)優(yōu)化還原又將影響畫(huà)質(zhì)；VCX仿生光譜，就是通過(guò)改善Sensor QE光譜，信噪比提升20%和色彩還原能力提升15%，讓傳感器接收的原始信息接近于人眼。

除此之外，會(huì)上還提到將對(duì)感光元件做一些“升級(jí)”——配置更大底的CMO，比GNV提升了77%。

有細(xì)心的網(wǎng)友算了算：一英寸大底沒(méi)跑了。

再以超清畫(huà)質(zhì)引擎為例，其典型技術(shù)包括光學(xué)超分算法。

據(jù)介紹，手機(jī)因?yàn)轶w積限制，會(huì)在光學(xué)上做出一些妥協(xié)，比如潛望攝像頭，原始圖像經(jīng)過(guò)鏡頭后會(huì)損失約50%的信息。而光學(xué)超分算法通過(guò)對(duì)鏡頭的缺陷建模分析，可恢復(fù)約35%的損失信息。

引擎中還有Denoise、Demosaic、Deblur等模塊，經(jīng)過(guò)1億多次場(chǎng)景訓(xùn)練，深度運(yùn)算能力較上一代提升了10倍。

而且還透露，為了配合下一代長(zhǎng)焦硬件升級(jí)，超清畫(huà)質(zhì)引擎可對(duì)5倍以上的焦段，理論最高提升64%的拍攝解析力。

當(dāng)然這不過(guò)也只是通過(guò)拍攝過(guò)程進(jìn)行拆分。

根據(jù)具體的場(chǎng)景，vivo還亮出了特有的技術(shù)矩陣。

就專(zhuān)業(yè)影像而言，場(chǎng)景無(wú)非風(fēng)光、人像、視頻以及特定的夜景這幾個(gè)類(lèi)別。

不妨就以競(jìng)爭(zhēng)最激烈、也是最能體現(xiàn)技術(shù)實(shí)力的人像、夜景為例。

vivo的超感人像系統(tǒng)包括三大核心技術(shù)模塊：人像理解、人像美化以及人像氛圍。

人像理解技術(shù)，它可以對(duì)人臉進(jìn)行語(yǔ)義重點(diǎn)和輪廓細(xì)節(jié)的提取，建立103個(gè)特征點(diǎn)的關(guān)鍵人臉坐標(biāo)；與此同時(shí)，還將對(duì)皮膚、手勢(shì)、肢體關(guān)鍵點(diǎn)進(jìn)行檢測(cè)，主體分割I(lǐng)OU的精確度達(dá)到了96.15%。

人像美化，則是基于去年S12微米級(jí)煥膚塑顏技術(shù)的升級(jí)；還有人像分化融合技術(shù)。

在鏡頭上則是采用50mm人像焦段，還通過(guò)深度感知虛化，與蔡司合作還原了多種經(jīng)典鏡頭的效果。

蒼穹夜景系統(tǒng)也進(jìn)行了全面的升級(jí)，發(fā)布上公布了三個(gè)全新模型：超感光模型、全分割語(yǔ)義模型和臻彩影調(diào)模型。

其中超感光模型，顧名思義，可將感光能力最大提升100%，ISO最高可支持102400。

據(jù)說(shuō)，這樣就可以拍到銀河了哦~手持星空了解一下。

而為了適應(yīng)像視頻這樣對(duì)計(jì)算處理能力要求高的場(chǎng)景，vivo自研芯片也有更新。

最大的更新，就是架構(gòu)的升級(jí)：從ISP到AI-ISP。

傳統(tǒng)ISP能以低延時(shí)處理大量的數(shù)據(jù)流水，但只能理解已知、特定的問(wèn)題；AI-ISP則相當(dāng)于給傳統(tǒng)ISP芯片加個(gè)AI大腦——通過(guò)硬件直連的方式，將AI計(jì)算直接融入ISP Pipeline中，從而實(shí)現(xiàn)處理能力、能效的提升。

基于這樣的升級(jí)，下一代芯片在片上內(nèi)存單元（每秒1.3萬(wàn)億比特的峰值數(shù)據(jù)吞吐速率）、AI計(jì)算單元（每瓦16.3萬(wàn)億次運(yùn)算的峰值能效比）、圖像處理單元*（夜景降噪效果提升20%等）都有相應(yīng)的突破。

兩個(gè)影像戰(zhàn)略

好了，說(shuō)到這里vivo也不瞞了，直接公布了自己的影像戰(zhàn)（mi）略（ji）。

兩大支點(diǎn)：聯(lián)合創(chuàng)新+自主創(chuàng)新。

聯(lián)合創(chuàng)新上，vivo與蔡司及上下游廠(chǎng)商，研發(fā)更好光學(xué)系統(tǒng)。而在自主創(chuàng)新上，則是布局算法和影像芯片的研發(fā)，軟硬件協(xié)同并持續(xù)迭代升級(jí)。

不管是合作還是自研，目標(biāo)只有一個(gè)——構(gòu)建底層核心能力，從而得以在影像長(zhǎng)賽道上持續(xù)深耕。

最后，對(duì)于vivo這一波影像秀肌肉，你最期待哪項(xiàng)新技術(shù)呢？