蘋(píng)果Meta都在沖的Pancake技術(shù)，中國(guó)VR團(tuán)隊(duì)YVR竟搶先交出產(chǎn)品答卷

蕭簫 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI

你聽(tīng)說(shuō)過(guò)Pancake嗎？

不是最新的蛋糕品類(lèi)，而是時(shí)下VR行業(yè)最受關(guān)注和期待的光學(xué)技術(shù)，甚至被稱(chēng)為“劃時(shí)代的方案”。

據(jù)了解，Pancake光學(xué)方案的應(yīng)用，能夠給VR帶來(lái)畫(huà)面清晰度和產(chǎn)品纖薄度上“質(zhì)”的飛躍，極大提升了傳統(tǒng)VR設(shè)備的易用性和體驗(yàn)性，推動(dòng)VR設(shè)備向消費(fèi)端普及邁出了一大步。

有消息指出，VR領(lǐng)域巨頭Meta對(duì)于Pancake光學(xué)方案興趣濃厚，將在今年下半年的最新款VR產(chǎn)品上搭載使用；

蘋(píng)果也一連申請(qǐng)了好幾個(gè)專(zhuān)利，其中XR系列產(chǎn)品就與Pancake光學(xué)方案有關(guān)；谷歌雖未宣傳，卻與斯坦福悄悄發(fā)了篇Pancake光學(xué)論文……

畢竟，隨著元宇宙概念的持續(xù)火熱，VR設(shè)備憑借其交互性被譽(yù)為元宇宙的“門(mén)鑰匙”，早已吸引各大企業(yè)紛紛加碼，不僅微軟等互聯(lián)網(wǎng)巨頭拼命收購(gòu)各種VR初創(chuàng)企業(yè)，英偉達(dá)等AI公司也開(kāi)始研發(fā)全息VR眼鏡。

現(xiàn)在，這些公司將目光放在了最新的光學(xué)技術(shù)上。

就在全球都競(jìng)速落地這個(gè)Pancake光學(xué)方案時(shí)，國(guó)內(nèi)一家公司YVR率先宣布，成為全球首個(gè)正式發(fā)售“Pancake超短焦光學(xué)一體機(jī)”的企業(yè)，而這款顛覆性的產(chǎn)品就是YVR 2眼鏡。

這么說(shuō)，終于能揭開(kāi)Pancake光學(xué)技術(shù)的“真面目”了？

我們趕緊搞來(lái)了一臺(tái)樣機(jī)，看看Pancake光學(xué)技術(shù)究竟長(zhǎng)啥樣。

Pancake光學(xué)方案究竟是什么

首先，需要知道對(duì)于VR設(shè)備來(lái)說(shuō)，為什么光學(xué)方案這么重要。

在VR設(shè)備中，用于顯示的硬件分為兩部分，屏幕和光機(jī)（光學(xué)鏡頭組成）。

受限于重量，屏幕無(wú)法做得太大，必須依靠光機(jī)進(jìn)一步放大渲染畫(huà)面，模擬出“另一個(gè)世界”的視覺(jué)效果。

因此，如何設(shè)計(jì)光機(jī)，便成為了降低VR眼鏡厚度、改善視覺(jué)體驗(yàn)的關(guān)鍵一環(huán)。

此前，大部分VR眼鏡采用的都是菲涅爾光學(xué)方案，原理是將一塊凸透鏡多余的部分“挖掉”，看起來(lái)就像一圈圈螺紋一樣，以此削減透鏡的重量。

然而菲涅爾方案做出來(lái)的VR眼鏡仍然較厚、體積較大，原因是鏡片焦距無(wú)法被進(jìn)一步壓縮。

在這種情況下，Pancake方案應(yīng)運(yùn)而生。

這一方案基于折疊光路的原理，能極大地壓縮VR眼鏡的體積、鏡片厚度也降低了不少。

之所以能實(shí)現(xiàn)折疊光路，依靠的是偏振光和偏振分光膜的原理。

Pancake光學(xué)方案利用兩個(gè)?波片延遲一束偏振光的相位，制造出兩種不同的線偏振光P和S，其中線偏振光P能被偏振分光膜透過(guò)，S則會(huì)被偏振分光膜反射。

具體來(lái)說(shuō)，一束光經(jīng)過(guò)偏振片后先射出線偏振光P，隨后經(jīng)過(guò)兩次?波片變成線偏振光S，再經(jīng)過(guò)兩次?波片又變回線偏振光P，最終被我們看見(jiàn)。因此，這一折疊光路并未改變光線的偏振方向。

與菲涅爾光學(xué)相比，Pancake光學(xué)方案帶來(lái)的體積改善究竟有多大？

以YVR 2眼鏡為例，整個(gè)光機(jī)的厚度僅有20mm，相對(duì)傳統(tǒng)菲涅爾鏡片的光機(jī)厚度，減少了50%左右，整機(jī)厚度則壓縮至42mm。

此外，Pancake光學(xué)方案在清晰度上帶來(lái)的“質(zhì)變“更加驚艷。其光學(xué)解析能力相對(duì)于菲涅爾光學(xué)提升了50%，同時(shí)克服了菲涅爾光學(xué)固有的視野邊緣模糊與畸變現(xiàn)象，有效減少邊緣眩光，帶來(lái)了視野全域范圍的清晰體驗(yàn)。

值得一提的是，YVR 2光學(xué)鏡組透過(guò)率達(dá)到了19%，高透光性能下，清晰度達(dá)到了全新水平。據(jù)悉，目前業(yè)內(nèi)平均水平約為13-16%。

然而，Pancake方案并沒(méi)有聽(tīng)起來(lái)那么容易實(shí)現(xiàn)。

例如，目前VR/AR產(chǎn)品中普遍存在渲染GPU算力不足的問(wèn)題。

此前，業(yè)界普遍使用基于眼動(dòng)的注視點(diǎn)渲染技術(shù)（眼動(dòng)追蹤光學(xué)方案）來(lái)解決這一問(wèn)題。

然而傳統(tǒng)的眼動(dòng)追蹤通常被用于菲涅爾光學(xué)方案VR產(chǎn)品中，無(wú)法應(yīng)用到Pancake方案上。

這是因?yàn)閭鹘y(tǒng)的方案往往需要額外的半透半反鏡，放在眼睛和物體圖像中間用于反射一部分光線給攝像頭，以計(jì)算瞳孔距離和運(yùn)動(dòng)方向等。但隨著Pancake光機(jī)設(shè)計(jì)空間被壓縮，不再有位置留給傳統(tǒng)的半透半反鏡。

因此，為了解決這一問(wèn)題，YVR在屏下眼動(dòng)追蹤系統(tǒng)也進(jìn)行了探索，除了解決GPU渲染算力不足的問(wèn)題，也方便未來(lái)實(shí)現(xiàn)自動(dòng)瞳距調(diào)節(jié)、身份識(shí)別等功能。

根據(jù)已經(jīng)公開(kāi)的專(zhuān)利，這一設(shè)計(jì)采用了屏下紅外攝像頭(1)和紅外LED(5)兩部分硬件，在不改變光機(jī)體積的情況下，實(shí)現(xiàn)紅外眼動(dòng)圖像獲取，結(jié)合屏幕背光時(shí)序避免干擾，獲取更清晰的眼部圖像。

如果采用這一技術(shù)，Pancake方案VR眼鏡的畫(huà)質(zhì)也能做到“看向哪兒，哪兒就更清晰”了。

當(dāng)然，Pancake光學(xué)方案也還只是VR一體機(jī)的輸出“骨架”，也就是實(shí)現(xiàn)了“VR眼鏡”的功能。

實(shí)際很大一部分體驗(yàn)感，仍舊與VR一體機(jī)上的其他自研算法有關(guān)。

自研VR算法是關(guān)鍵

對(duì)于VR一體機(jī)而言，要做的絕不僅僅是一個(gè)外接“顯示器”。

在YVR首席技術(shù)官費(fèi)越博士看來(lái)，VR是手機(jī)等二維計(jì)算平臺(tái)進(jìn)化而來(lái)的三維計(jì)算平臺(tái)，兩者之間一個(gè)重要的差異點(diǎn)就是，VR擁有獨(dú)特的空間感知和空間計(jì)算能力，而正是算法賦予了VR這樣的能力。

畢竟除了視覺(jué)效果以外，VR設(shè)備還需要在盡可能降低延遲感的情況下，準(zhǔn)確識(shí)別身體動(dòng)作，確保盡可能精準(zhǔn)地定位、進(jìn)一步提升安全性等。

這樣一來(lái)，VR需要的自研算法就被分成了兩大類(lèi)：視覺(jué)、動(dòng)作識(shí)別和定位。這一階段，YVR自研的算法包括VST、渲染、追蹤等。

首先是視覺(jué)算法，根據(jù)不同的用途，又被分成VST和渲染技術(shù)兩大類(lèi)。

其中VST，也就是視頻透視（Video See-Through）技術(shù)，有點(diǎn)像是AR眼鏡的增強(qiáng)功能，在基于外界真實(shí)圖像的畫(huà)面基礎(chǔ)上，疊加虛擬的畫(huà)面效果。

它會(huì)通過(guò)VR眼鏡外界的攝像頭傳感器返回真實(shí)世界的圖像，相當(dāng)于給VR眼鏡配備了兩只“眼睛”，最常見(jiàn)的場(chǎng)景是使用VR時(shí)和外界的交互上。

但VST技術(shù)自帶的一些問(wèn)題，如延遲和畫(huà)面畸變等，則需要通過(guò)渲染技術(shù)來(lái)解決。

目前YVR 2已經(jīng)自研了帶有3D識(shí)別和畫(huà)面矯正功能的VST技術(shù)。

他們?cè)O(shè)計(jì)了一個(gè)能自動(dòng)識(shí)別和精準(zhǔn)定位安全邊界、平面和障礙物的框架，分為稀疏平面模塊、后端主模塊和回環(huán)檢測(cè)模塊，會(huì)根據(jù)平面識(shí)別和輸入的環(huán)境點(diǎn)云數(shù)據(jù)，來(lái)確定用戶使用的安全邊界，同時(shí)利用AI算法進(jìn)行障礙物識(shí)別。

這樣一來(lái)，即使用戶脫離安全邊界，VR設(shè)備也能及時(shí)察覺(jué)到周?chē)h(huán)境中的障礙物并發(fā)出提醒，提升用戶安全感。

除了畫(huà)面矯正需要用到反畸變渲染以外，在降低延遲上，YVR2則采用了ATW（異步時(shí)間扭曲，Asynchronous Timewarp）技術(shù)，并在自研開(kāi)發(fā)ASW（異步空間扭曲，Asynchronous Spacewarp）。

其中，ATW就是利用時(shí)間相干性，盡可能重用前一幀計(jì)算樣本；ASW技術(shù)則是對(duì)圖像的每個(gè)像素點(diǎn)進(jìn)行矢量運(yùn)動(dòng)估計(jì)，用戶移動(dòng)時(shí)通過(guò)兩幀差異預(yù)測(cè)下一幀圖像。

這樣一來(lái)，VR設(shè)備就無(wú)需在實(shí)時(shí)投影的情況下處理大量圖像數(shù)據(jù)，而是能確保在盡可能降低延遲的情況下，讓用戶看得清外界的物體。

此外，YVR還自行研發(fā)了動(dòng)作識(shí)別和定位算法，這里面又包含6DoF、SLAM等各種算法。

具體來(lái)說(shuō)，YVR 2能夠通過(guò)vSLAM算法來(lái)判斷“認(rèn)清”用戶所處的位置、確保用戶安全，同時(shí)通過(guò)6DoF、SLAM等技術(shù)精準(zhǔn)識(shí)別動(dòng)作、判斷用戶意圖。

先來(lái)看看SLAM算法，簡(jiǎn)單來(lái)說(shuō)就是同時(shí)進(jìn)行定位與地圖構(gòu)建，其中YVR 2以采用視覺(jué)傳感器的vSLAM為主。

此前，SLAM在VR產(chǎn)品中的應(yīng)用，主要是單人人體定位和位姿定位中，然而還無(wú)法解決多人交互的情況。我們都知道，VR設(shè)備當(dāng)然不是只給一個(gè)人玩的，經(jīng)常面臨幾個(gè)人玩一個(gè)VR、或是幾個(gè)VR同時(shí)交互的情況。

例如當(dāng)一家人買(mǎi)了VR一起玩、或是要將VR拿到不同的地方去玩時(shí)，反復(fù)定位和構(gòu)建地圖就顯得非常麻煩。

從專(zhuān)利中來(lái)看，YVR已經(jīng)研發(fā)了一種多人交互的人體定位和位姿定位系統(tǒng)，不僅一個(gè)VR能記憶多個(gè)地圖系統(tǒng)，而且多個(gè)VR也能在同一場(chǎng)景下實(shí)現(xiàn)交互。

據(jù)悉，YVR 2將于近期搭載國(guó)內(nèi)首個(gè)多地圖智能記憶功能，支持單一VR眼鏡不同空間的多防護(hù)邊界記憶，在一次設(shè)定后，再次登陸即可輕松喚醒邊界記憶。

除此之外，就是進(jìn)一步負(fù)責(zé)定位和預(yù)測(cè)姿勢(shì)的6DoF技術(shù)了，它可以檢測(cè)到物體在6個(gè)方向上的移動(dòng)：3個(gè)方向上的旋轉(zhuǎn)，以及3個(gè)方向上的移動(dòng)。

不過(guò)即使有6DoF技術(shù)，部分VR頭顯定位還是容易出現(xiàn)不準(zhǔn)確的情況，尤其是攝像頭對(duì)著天空或地板等情況下，往往無(wú)法通過(guò)視覺(jué)算法進(jìn)行精準(zhǔn)定位。

因此，YVR自研了一種將RoNIN（基于殘差網(wǎng)絡(luò)的IMU傳感器數(shù)據(jù)用于運(yùn)動(dòng)估計(jì)&定位）和6DoF結(jié)合的系統(tǒng)框架。

這一算法會(huì)通過(guò)VR設(shè)備上自帶的攝像頭提取數(shù)據(jù)，在非靜止的情況下進(jìn)行6DoF估算，并結(jié)合IMU傳感器輸出數(shù)據(jù)，進(jìn)行位姿預(yù)測(cè)。

通過(guò)這一方法，即使手柄不在視覺(jué)范圍內(nèi)、或雙手柄發(fā)生折疊時(shí)，VR頭顯也能對(duì)手柄進(jìn)行準(zhǔn)確定位。

事實(shí)上，無(wú)論是視覺(jué)算法、還是定位或識(shí)別算法，都是VR設(shè)備中不可或缺的核心算法，如果缺少它們，必然會(huì)導(dǎo)致VR設(shè)備功能不齊全、甚至無(wú)法使用。

正是因?yàn)樵谒惴▊?cè)的不斷加持，YVR 2新品上市后，憑借著革命性的體驗(yàn)感優(yōu)化得到了眾多消費(fèi)者的肯定。據(jù)YVR介紹，公司做產(chǎn)品的核心理念就是“站在科技和人文的十字路口，即為用戶帶來(lái)美好的體驗(yàn)，做一款好看、好用、好玩的VR眼鏡”，背后深層的含義即給用戶和開(kāi)發(fā)者帶來(lái)極致不妥協(xié)的產(chǎn)品，提供最優(yōu)的性能、功能和體驗(yàn)。傳遞到產(chǎn)品的研發(fā)和工程端，YVR工程師們的自身要求也是研發(fā)和創(chuàng)新最合理最先進(jìn)的算法、軟件、硬件，對(duì)技術(shù)方案不妥協(xié)，對(duì)能力不妥協(xié)。

但其實(shí)，可能會(huì)有人問(wèn)，國(guó)外如Oculus等廠商已經(jīng)實(shí)現(xiàn)過(guò)一些類(lèi)似的VR算法，為什么國(guó)內(nèi)如YVR等VR廠商，還要在這種情況下進(jìn)行算法自研？

為何國(guó)內(nèi)要加碼自研VR算法？

這里面有幾個(gè)方面的原因。

一方面，從技術(shù)應(yīng)用角度來(lái)看，當(dāng)前行業(yè)對(duì)VR的需求正在不斷提升。

對(duì)于VR而言，元宇宙的到來(lái)無(wú)疑加速了它的驗(yàn)證落地期。

無(wú)論是再次爆火的虛擬人、類(lèi)腦算法技術(shù)，還是這段時(shí)間被熱議的馬斯克將大腦上傳至云端等行業(yè)熱點(diǎn)，都在說(shuō)明下一個(gè)人機(jī)交互的時(shí)代正在來(lái)臨。

自2016年VR大火以來(lái)，伴隨著軟硬件技術(shù)不斷成熟，用戶需求逐漸從看電影、玩游戲提升到VR設(shè)備之間的交互上，一系列VR技術(shù)和方案自然也面臨著推陳出新。

在這種情況下，YVR公司在vSLAM、6DoF追蹤、VST等算法領(lǐng)域均布局有自研的算法。此外，在光學(xué)、硬件、軟件、工業(yè)設(shè)計(jì)等方面也組建了專(zhuān)業(yè)團(tuán)隊(duì)。據(jù)悉，YVR 2獲得了德國(guó)紅點(diǎn)獎(jiǎng)、德國(guó)iF獎(jiǎng)兩大國(guó)際權(quán)威工業(yè)設(shè)計(jì)獎(jiǎng)項(xiàng)，成為國(guó)內(nèi)唯一同時(shí)獲得這兩項(xiàng)榮譽(yù)的VR一體機(jī)，也證明了YVR 在多領(lǐng)域具有優(yōu)秀的研發(fā)能力。

YVR不局限于影音、游戲或是娛樂(lè)社交，也在探索更多應(yīng)用場(chǎng)景，希望賦能教育、醫(yī)療、旅游、影視、游戲和社交等行業(yè)。

實(shí)際上，這也是整個(gè)VR產(chǎn)業(yè)的發(fā)展趨勢(shì)。VR被稱(chēng)為下一代計(jì)算平臺(tái)，虛擬現(xiàn)實(shí)產(chǎn)業(yè)產(chǎn)業(yè)更是數(shù)字經(jīng)濟(jì)時(shí)代的關(guān)鍵重點(diǎn)產(chǎn)業(yè)。越來(lái)越多的人認(rèn)為，VR將會(huì)改變?nèi)祟?lèi)交互方式，帶來(lái)全新的生產(chǎn)生活方式。

當(dāng)下，包括醫(yī)學(xué)、工業(yè)等更多場(chǎng)景已經(jīng)應(yīng)用VR設(shè)備，包括3D復(fù)雜結(jié)構(gòu)的實(shí)時(shí)演示、甚至是臨床醫(yī)學(xué)上。

例如，據(jù)英國(guó)媒體PA Media介紹，就在這兩天，外科醫(yī)生基于醫(yī)學(xué)影像構(gòu)造了一個(gè)數(shù)字大腦模型，并基于VR技術(shù)，成功完成了有史以來(lái)最復(fù)雜的連體雙胞胎分離手術(shù)。

又例如，利用VR完成復(fù)雜硬件裝置的設(shè)計(jì)和構(gòu)造、甚至在3D空間中模擬設(shè)備的運(yùn)行，同樣對(duì)于工業(yè)有著實(shí)用價(jià)值。

在這種情況下，自研VR算法已經(jīng)不僅是行業(yè)需求，而是更深一步地成為科技進(jìn)展的需求。

另一方面，從VR自身發(fā)展的長(zhǎng)遠(yuǎn)視角來(lái)看，也會(huì)涉及到生態(tài)構(gòu)建和技術(shù)話語(yǔ)權(quán)。

從行業(yè)角度來(lái)說(shuō)，作為多技術(shù)交叉領(lǐng)域，VR涉及的技術(shù)同樣可以被用到其他許多行業(yè)中去。

無(wú)論是SLAM、VST還是6DoF跟蹤等技術(shù)，放到自動(dòng)駕駛和AR等場(chǎng)景中一樣適用。而最近大火的Pancake光學(xué)方案，同樣能被應(yīng)用于工業(yè)機(jī)器人等場(chǎng)景中。

但與之相對(duì)的，是這些技術(shù)都還處在快速成長(zhǎng)期，換而言之，當(dāng)前業(yè)內(nèi)玩家大部分還處于同一起跑線上，方方面面沒(méi)有現(xiàn)成“輪子”可用，唯有自己“造”才能跑得夠快。

在這種產(chǎn)業(yè)大背景下，自研算法的價(jià)值被無(wú)限提升，這也是打破技術(shù)壟斷，實(shí)現(xiàn)“彎道超車(chē)”的絕佳機(jī)會(huì)。因此，只有像YVR等公司一樣，抓住這個(gè)時(shí)機(jī)自研算法，才可能在VR以外的場(chǎng)景中制造更多的話語(yǔ)權(quán)，并將類(lèi)似的技術(shù)應(yīng)用到更多前沿場(chǎng)景中去。

從生態(tài)角度來(lái)說(shuō)，這是一個(gè)難得的創(chuàng)新機(jī)遇，企業(yè)只有從一開(kāi)始就掌握軟硬件方面的自研能力，才能在VR行業(yè)中擁有更大的自由度和自主權(quán)。

畢竟，此前中國(guó)在數(shù)次技術(shù)創(chuàng)新浪潮中都是跟隨者，現(xiàn)在有機(jī)會(huì)能夠處在同一起跑線，甚至可以領(lǐng)先，作為國(guó)內(nèi)VR領(lǐng)域的重要力量，YVR也自然不應(yīng)當(dāng)放過(guò)這一機(jī)會(huì)。

與Meta、蘋(píng)果、谷歌等公司一樣，YVR正在通過(guò)自研算法和技術(shù)，“讓更多人玩出夢(mèng)想”。

據(jù)YVR公司介紹，他們的研發(fā)團(tuán)隊(duì)涵蓋了算法、光學(xué)、硬件、軟件、工業(yè)設(shè)計(jì)等領(lǐng)域，擁有全棧式自主研發(fā)能力，希望真正做出劃時(shí)代的、能夠帶來(lái)交互革命的VR產(chǎn)品。此次全球首發(fā)的Pancake VR一體機(jī)就是YVR交出的答卷，站在科技和人文的十字路口，YVR已經(jīng)先行一步。

面對(duì)新一輪VR技術(shù)熱潮，YVR 2會(huì)有怎樣的市場(chǎng)表現(xiàn)？

我們拭目以待。