蘋果Meta都在沖的Pancake技術(shù)，中國VR團隊YVR竟搶先交出產(chǎn)品答卷

蕭簫 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI

你聽說過Pancake嗎？

不是最新的蛋糕品類，而是時下VR行業(yè)最受關(guān)注和期待的光學(xué)技術(shù)，甚至被稱為“劃時代的方案”。

據(jù)了解，Pancake光學(xué)方案的應(yīng)用，能夠給VR帶來畫面清晰度和產(chǎn)品纖薄度上“質(zhì)”的飛躍，極大提升了傳統(tǒng)VR設(shè)備的易用性和體驗性，推動VR設(shè)備向消費端普及邁出了一大步。

有消息指出，VR領(lǐng)域巨頭Meta對于Pancake光學(xué)方案興趣濃厚，將在今年下半年的最新款VR產(chǎn)品上搭載使用；

蘋果也一連申請了好幾個專利，其中XR系列產(chǎn)品就與Pancake光學(xué)方案有關(guān)；谷歌雖未宣傳，卻與斯坦福悄悄發(fā)了篇Pancake光學(xué)論文……

畢竟，隨著元宇宙概念的持續(xù)火熱，VR設(shè)備憑借其交互性被譽為元宇宙的“門鑰匙”，早已吸引各大企業(yè)紛紛加碼，不僅微軟等互聯(lián)網(wǎng)巨頭拼命收購各種VR初創(chuàng)企業(yè)，英偉達等AI公司也開始研發(fā)全息VR眼鏡。

現(xiàn)在，這些公司將目光放在了最新的光學(xué)技術(shù)上。

就在全球都競速落地這個Pancake光學(xué)方案時，國內(nèi)一家公司YVR率先宣布，成為全球首個正式發(fā)售“Pancake超短焦光學(xué)一體機”的企業(yè)，而這款顛覆性的產(chǎn)品就是YVR 2眼鏡。

這么說，終于能揭開Pancake光學(xué)技術(shù)的“真面目”了？

我們趕緊搞來了一臺樣機，看看Pancake光學(xué)技術(shù)究竟長啥樣。

Pancake光學(xué)方案究竟是什么

首先，需要知道對于VR設(shè)備來說，為什么光學(xué)方案這么重要。

在VR設(shè)備中，用于顯示的硬件分為兩部分，屏幕和光機（光學(xué)鏡頭組成）。

受限于重量，屏幕無法做得太大，必須依靠光機進一步放大渲染畫面，模擬出“另一個世界”的視覺效果。

因此，如何設(shè)計光機，便成為了降低VR眼鏡厚度、改善視覺體驗的關(guān)鍵一環(huán)。

此前，大部分VR眼鏡采用的都是菲涅爾光學(xué)方案，原理是將一塊凸透鏡多余的部分“挖掉”，看起來就像一圈圈螺紋一樣，以此削減透鏡的重量。

然而菲涅爾方案做出來的VR眼鏡仍然較厚、體積較大，原因是鏡片焦距無法被進一步壓縮。

在這種情況下，Pancake方案應(yīng)運而生。

這一方案基于折疊光路的原理，能極大地壓縮VR眼鏡的體積、鏡片厚度也降低了不少。

之所以能實現(xiàn)折疊光路，依靠的是偏振光和偏振分光膜的原理。

Pancake光學(xué)方案利用兩個?波片延遲一束偏振光的相位，制造出兩種不同的線偏振光P和S，其中線偏振光P能被偏振分光膜透過，S則會被偏振分光膜反射。

具體來說，一束光經(jīng)過偏振片后先射出線偏振光P，隨后經(jīng)過兩次?波片變成線偏振光S，再經(jīng)過兩次?波片又變回線偏振光P，最終被我們看見。因此，這一折疊光路并未改變光線的偏振方向。

與菲涅爾光學(xué)相比，Pancake光學(xué)方案帶來的體積改善究竟有多大？

以YVR 2眼鏡為例，整個光機的厚度僅有20mm，相對傳統(tǒng)菲涅爾鏡片的光機厚度，減少了50%左右，整機厚度則壓縮至42mm。

此外，Pancake光學(xué)方案在清晰度上帶來的“質(zhì)變“更加驚艷。其光學(xué)解析能力相對于菲涅爾光學(xué)提升了50%，同時克服了菲涅爾光學(xué)固有的視野邊緣模糊與畸變現(xiàn)象，有效減少邊緣眩光，帶來了視野全域范圍的清晰體驗。

值得一提的是，YVR 2光學(xué)鏡組透過率達到了19%，高透光性能下，清晰度達到了全新水平。據(jù)悉，目前業(yè)內(nèi)平均水平約為13-16%。

然而，Pancake方案并沒有聽起來那么容易實現(xiàn)。

例如，目前VR/AR產(chǎn)品中普遍存在渲染GPU算力不足的問題。

此前，業(yè)界普遍使用基于眼動的注視點渲染技術(shù)（眼動追蹤光學(xué)方案）來解決這一問題。

然而傳統(tǒng)的眼動追蹤通常被用于菲涅爾光學(xué)方案VR產(chǎn)品中，無法應(yīng)用到Pancake方案上。

這是因為傳統(tǒng)的方案往往需要額外的半透半反鏡，放在眼睛和物體圖像中間用于反射一部分光線給攝像頭，以計算瞳孔距離和運動方向等。但隨著Pancake光機設(shè)計空間被壓縮，不再有位置留給傳統(tǒng)的半透半反鏡。

因此，為了解決這一問題，YVR在屏下眼動追蹤系統(tǒng)也進行了探索，除了解決GPU渲染算力不足的問題，也方便未來實現(xiàn)自動瞳距調(diào)節(jié)、身份識別等功能。

根據(jù)已經(jīng)公開的專利，這一設(shè)計采用了屏下紅外攝像頭(1)和紅外LED(5)兩部分硬件，在不改變光機體積的情況下，實現(xiàn)紅外眼動圖像獲取，結(jié)合屏幕背光時序避免干擾，獲取更清晰的眼部圖像。

如果采用這一技術(shù)，Pancake方案VR眼鏡的畫質(zhì)也能做到“看向哪兒，哪兒就更清晰”了。

當(dāng)然，Pancake光學(xué)方案也還只是VR一體機的輸出“骨架”，也就是實現(xiàn)了“VR眼鏡”的功能。

實際很大一部分體驗感，仍舊與VR一體機上的其他自研算法有關(guān)。

自研VR算法是關(guān)鍵

對于VR一體機而言，要做的絕不僅僅是一個外接“顯示器”。

在YVR首席技術(shù)官費越博士看來，VR是手機等二維計算平臺進化而來的三維計算平臺，兩者之間一個重要的差異點就是，VR擁有獨特的空間感知和空間計算能力，而正是算法賦予了VR這樣的能力。

畢竟除了視覺效果以外，VR設(shè)備還需要在盡可能降低延遲感的情況下，準(zhǔn)確識別身體動作，確保盡可能精準(zhǔn)地定位、進一步提升安全性等。

這樣一來，VR需要的自研算法就被分成了兩大類：視覺、動作識別和定位。這一階段，YVR自研的算法包括VST、渲染、追蹤等。

首先是視覺算法，根據(jù)不同的用途，又被分成VST和渲染技術(shù)兩大類。

其中VST，也就是視頻透視（Video See-Through）技術(shù)，有點像是AR眼鏡的增強功能，在基于外界真實圖像的畫面基礎(chǔ)上，疊加虛擬的畫面效果。

它會通過VR眼鏡外界的攝像頭傳感器返回真實世界的圖像，相當(dāng)于給VR眼鏡配備了兩只“眼睛”，最常見的場景是使用VR時和外界的交互上。

但VST技術(shù)自帶的一些問題，如延遲和畫面畸變等，則需要通過渲染技術(shù)來解決。

目前YVR 2已經(jīng)自研了帶有3D識別和畫面矯正功能的VST技術(shù)。

他們設(shè)計了一個能自動識別和精準(zhǔn)定位安全邊界、平面和障礙物的框架，分為稀疏平面模塊、后端主模塊和回環(huán)檢測模塊，會根據(jù)平面識別和輸入的環(huán)境點云數(shù)據(jù)，來確定用戶使用的安全邊界，同時利用AI算法進行障礙物識別。

這樣一來，即使用戶脫離安全邊界，VR設(shè)備也能及時察覺到周圍環(huán)境中的障礙物并發(fā)出提醒，提升用戶安全感。

除了畫面矯正需要用到反畸變渲染以外，在降低延遲上，YVR2則采用了ATW（異步時間扭曲，Asynchronous Timewarp）技術(shù)，并在自研開發(fā)ASW（異步空間扭曲，Asynchronous Spacewarp）。

其中，ATW就是利用時間相干性，盡可能重用前一幀計算樣本；ASW技術(shù)則是對圖像的每個像素點進行矢量運動估計，用戶移動時通過兩幀差異預(yù)測下一幀圖像。

這樣一來，VR設(shè)備就無需在實時投影的情況下處理大量圖像數(shù)據(jù)，而是能確保在盡可能降低延遲的情況下，讓用戶看得清外界的物體。

此外，YVR還自行研發(fā)了動作識別和定位算法，這里面又包含6DoF、SLAM等各種算法。

具體來說，YVR 2能夠通過vSLAM算法來判斷“認(rèn)清”用戶所處的位置、確保用戶安全，同時通過6DoF、SLAM等技術(shù)精準(zhǔn)識別動作、判斷用戶意圖。

先來看看SLAM算法，簡單來說就是同時進行定位與地圖構(gòu)建，其中YVR 2以采用視覺傳感器的vSLAM為主。

此前，SLAM在VR產(chǎn)品中的應(yīng)用，主要是單人人體定位和位姿定位中，然而還無法解決多人交互的情況。我們都知道，VR設(shè)備當(dāng)然不是只給一個人玩的，經(jīng)常面臨幾個人玩一個VR、或是幾個VR同時交互的情況。

例如當(dāng)一家人買了VR一起玩、或是要將VR拿到不同的地方去玩時，反復(fù)定位和構(gòu)建地圖就顯得非常麻煩。

從專利中來看，YVR已經(jīng)研發(fā)了一種多人交互的人體定位和位姿定位系統(tǒng)，不僅一個VR能記憶多個地圖系統(tǒng)，而且多個VR也能在同一場景下實現(xiàn)交互。

據(jù)悉，YVR 2將于近期搭載國內(nèi)首個多地圖智能記憶功能，支持單一VR眼鏡不同空間的多防護邊界記憶，在一次設(shè)定后，再次登陸即可輕松喚醒邊界記憶。

除此之外，就是進一步負(fù)責(zé)定位和預(yù)測姿勢的6DoF技術(shù)了，它可以檢測到物體在6個方向上的移動：3個方向上的旋轉(zhuǎn)，以及3個方向上的移動。

不過即使有6DoF技術(shù)，部分VR頭顯定位還是容易出現(xiàn)不準(zhǔn)確的情況，尤其是攝像頭對著天空或地板等情況下，往往無法通過視覺算法進行精準(zhǔn)定位。

因此，YVR自研了一種將RoNIN（基于殘差網(wǎng)絡(luò)的IMU傳感器數(shù)據(jù)用于運動估計&定位）和6DoF結(jié)合的系統(tǒng)框架。

這一算法會通過VR設(shè)備上自帶的攝像頭提取數(shù)據(jù)，在非靜止的情況下進行6DoF估算，并結(jié)合IMU傳感器輸出數(shù)據(jù)，進行位姿預(yù)測。

通過這一方法，即使手柄不在視覺范圍內(nèi)、或雙手柄發(fā)生折疊時，VR頭顯也能對手柄進行準(zhǔn)確定位。

事實上，無論是視覺算法、還是定位或識別算法，都是VR設(shè)備中不可或缺的核心算法，如果缺少它們，必然會導(dǎo)致VR設(shè)備功能不齊全、甚至無法使用。

正是因為在算法側(cè)的不斷加持，YVR 2新品上市后，憑借著革命性的體驗感優(yōu)化得到了眾多消費者的肯定。據(jù)YVR介紹，公司做產(chǎn)品的核心理念就是“站在科技和人文的十字路口，即為用戶帶來美好的體驗，做一款好看、好用、好玩的VR眼鏡”，背后深層的含義即給用戶和開發(fā)者帶來極致不妥協(xié)的產(chǎn)品，提供最優(yōu)的性能、功能和體驗。傳遞到產(chǎn)品的研發(fā)和工程端，YVR工程師們的自身要求也是研發(fā)和創(chuàng)新最合理最先進的算法、軟件、硬件，對技術(shù)方案不妥協(xié)，對能力不妥協(xié)。

但其實，可能會有人問，國外如Oculus等廠商已經(jīng)實現(xiàn)過一些類似的VR算法，為什么國內(nèi)如YVR等VR廠商，還要在這種情況下進行算法自研？

為何國內(nèi)要加碼自研VR算法？

這里面有幾個方面的原因。

一方面，從技術(shù)應(yīng)用角度來看，當(dāng)前行業(yè)對VR的需求正在不斷提升。

對于VR而言，元宇宙的到來無疑加速了它的驗證落地期。

無論是再次爆火的虛擬人、類腦算法技術(shù)，還是這段時間被熱議的馬斯克將大腦上傳至云端等行業(yè)熱點，都在說明下一個人機交互的時代正在來臨。

自2016年VR大火以來，伴隨著軟硬件技術(shù)不斷成熟，用戶需求逐漸從看電影、玩游戲提升到VR設(shè)備之間的交互上，一系列VR技術(shù)和方案自然也面臨著推陳出新。

在這種情況下，YVR公司在vSLAM、6DoF追蹤、VST等算法領(lǐng)域均布局有自研的算法。此外，在光學(xué)、硬件、軟件、工業(yè)設(shè)計等方面也組建了專業(yè)團隊。據(jù)悉，YVR 2獲得了德國紅點獎、德國iF獎兩大國際權(quán)威工業(yè)設(shè)計獎項，成為國內(nèi)唯一同時獲得這兩項榮譽的VR一體機，也證明了YVR 在多領(lǐng)域具有優(yōu)秀的研發(fā)能力。

YVR不局限于影音、游戲或是娛樂社交，也在探索更多應(yīng)用場景，希望賦能教育、醫(yī)療、旅游、影視、游戲和社交等行業(yè)。

實際上，這也是整個VR產(chǎn)業(yè)的發(fā)展趨勢。VR被稱為下一代計算平臺，虛擬現(xiàn)實產(chǎn)業(yè)產(chǎn)業(yè)更是數(shù)字經(jīng)濟時代的關(guān)鍵重點產(chǎn)業(yè)。越來越多的人認(rèn)為，VR將會改變?nèi)祟惤换シ绞?，帶來全新的生產(chǎn)生活方式。

當(dāng)下，包括醫(yī)學(xué)、工業(yè)等更多場景已經(jīng)應(yīng)用VR設(shè)備，包括3D復(fù)雜結(jié)構(gòu)的實時演示、甚至是臨床醫(yī)學(xué)上。

例如，據(jù)英國媒體PA Media介紹，就在這兩天，外科醫(yī)生基于醫(yī)學(xué)影像構(gòu)造了一個數(shù)字大腦模型，并基于VR技術(shù)，成功完成了有史以來最復(fù)雜的連體雙胞胎分離手術(shù)。

又例如，利用VR完成復(fù)雜硬件裝置的設(shè)計和構(gòu)造、甚至在3D空間中模擬設(shè)備的運行，同樣對于工業(yè)有著實用價值。

在這種情況下，自研VR算法已經(jīng)不僅是行業(yè)需求，而是更深一步地成為科技進展的需求。

另一方面，從VR自身發(fā)展的長遠視角來看，也會涉及到生態(tài)構(gòu)建和技術(shù)話語權(quán)。

從行業(yè)角度來說，作為多技術(shù)交叉領(lǐng)域，VR涉及的技術(shù)同樣可以被用到其他許多行業(yè)中去。

無論是SLAM、VST還是6DoF跟蹤等技術(shù)，放到自動駕駛和AR等場景中一樣適用。而最近大火的Pancake光學(xué)方案，同樣能被應(yīng)用于工業(yè)機器人等場景中。

但與之相對的，是這些技術(shù)都還處在快速成長期，換而言之，當(dāng)前業(yè)內(nèi)玩家大部分還處于同一起跑線上，方方面面沒有現(xiàn)成“輪子”可用，唯有自己“造”才能跑得夠快。

在這種產(chǎn)業(yè)大背景下，自研算法的價值被無限提升，這也是打破技術(shù)壟斷，實現(xiàn)“彎道超車”的絕佳機會。因此，只有像YVR等公司一樣，抓住這個時機自研算法，才可能在VR以外的場景中制造更多的話語權(quán)，并將類似的技術(shù)應(yīng)用到更多前沿場景中去。

從生態(tài)角度來說，這是一個難得的創(chuàng)新機遇，企業(yè)只有從一開始就掌握軟硬件方面的自研能力，才能在VR行業(yè)中擁有更大的自由度和自主權(quán)。

畢竟，此前中國在數(shù)次技術(shù)創(chuàng)新浪潮中都是跟隨者，現(xiàn)在有機會能夠處在同一起跑線，甚至可以領(lǐng)先，作為國內(nèi)VR領(lǐng)域的重要力量，YVR也自然不應(yīng)當(dāng)放過這一機會。

與Meta、蘋果、谷歌等公司一樣，YVR正在通過自研算法和技術(shù)，“讓更多人玩出夢想”。

據(jù)YVR公司介紹，他們的研發(fā)團隊涵蓋了算法、光學(xué)、硬件、軟件、工業(yè)設(shè)計等領(lǐng)域，擁有全棧式自主研發(fā)能力，希望真正做出劃時代的、能夠帶來交互革命的VR產(chǎn)品。此次全球首發(fā)的Pancake VR一體機就是YVR交出的答卷，站在科技和人文的十字路口，YVR已經(jīng)先行一步。

面對新一輪VR技術(shù)熱潮，YVR 2會有怎樣的市場表現(xiàn)？

我們拭目以待。