“全面對(duì)標(biāo)Vision Pro”，國(guó)產(chǎn)MR真有這么強(qiáng)？

克雷西 2024-06-28 14:24:48 來(lái)源：量子位

克雷西 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI

1X999元，國(guó)產(chǎn)XR廠(chǎng)商給出了一個(gè)不買(mǎi)Vision Pro的理由。

成立四年的初創(chuàng)公司——玩出夢(mèng)想科技，發(fā)布了全新安卓系統(tǒng)空間計(jì)算機(jī)“玩出夢(mèng)想MR”。

它擁有雙目8K的超清顯示屏，視覺(jué)感受十分逼真，而且VST延遲也僅有14毫秒。

這樣的指標(biāo)可以說(shuō)與蘋(píng)果Vision Pro十分接近，甚至幾乎感覺(jué)不到差異。

高畫(huà)質(zhì)、低延遲，用來(lái)看電影是一個(gè)很不錯(cuò)的選擇，而且還搭載了300多款游戲和應(yīng)用，同時(shí)支持PC等設(shè)備的實(shí)時(shí)串流。

此外，玩出夢(mèng)想科技更是打出了全面媲美Vision Pro的口號(hào)，那么玩出夢(mèng)想MR究竟是怎樣一款產(chǎn)品？

注：具體價(jià)格暫未公布

8K超高清畫(huà)質(zhì)，娛樂(lè)辦公都覆蓋

硬件上，玩出夢(mèng)想MR搭載了高通第二代驍龍XR2+芯片、雙目8K Micro-OLED屏幕和雙3200萬(wàn)像素高清攝像機(jī)。

超高清的顯示屏，用來(lái)觀(guān)看電影是一個(gè)很容易想到的用途。

玩出夢(mèng)想MR是IMAX和DTS全球首個(gè)空間計(jì)算與混合現(xiàn)實(shí)領(lǐng)域合作伙伴，在觀(guān)影場(chǎng)景表現(xiàn)驚艷。

此外，在玩出夢(mèng)想科技自研的影院模式下，支持在空間中1:1還原超千寸的IMAX級(jí)巨幕；

聽(tīng)覺(jué)上支持DTS定制空間混響音效，可模擬7.1聲道的音響效果，帶來(lái)真實(shí)沉浸的觀(guān)影感受。在此基礎(chǔ)之上，玩出夢(mèng)想MR還能在播放影片的同時(shí)，將空間中的場(chǎng)景替換為電影院，體驗(yàn)上更有看電影的感覺(jué)了。

當(dāng)然，花成千上萬(wàn)的價(jià)格買(mǎi)個(gè)電影播放器，再怎么沉浸也還是貴了一點(diǎn)點(diǎn)，所以，其他功能也是必不可少的。

比如空間游戲，目前玩出夢(mèng)想MR支持MR游戲、VR游戲、大屏2D游戲類(lèi)型，生態(tài)當(dāng)中已有300余款游戲或應(yīng)用，涵蓋的類(lèi)別也十分豐富——

一方面，有面向重度游戲玩家的FPS、動(dòng)作類(lèi)游戲（如《玩命特攻》）；另一方面，也有偏休閑益智類(lèi)的游戲（如《夢(mèng)境世界》），可以滿(mǎn)足不同偏好的玩家。

在早期調(diào)查中，已經(jīng)有《滅亡之后:凜冬》《夢(mèng)境世界》等一些游戲擁有了一定的用戶(hù)數(shù)量和粘性，并且很受玩家的喜歡，未來(lái)玩出夢(mèng)想科技還將和更多廠(chǎng)商展開(kāi)合作，引入爆款游戲。

除了游戲本身，交互方式也十分豐富，在A(yíng)I技術(shù)的賦能下，設(shè)備既可以通過(guò)眼動(dòng)、手勢(shì)來(lái)操控，也可以用語(yǔ)音控制；

也可以拿起手柄，不僅能更加真切地感受到手中的重量，還能接受到來(lái)自手柄的擬真力反饋，讓空間交互，特別是體感游戲，變得更加真實(shí)，同時(shí)在射擊類(lèi)、動(dòng)作類(lèi)游戲中讓控制更加精準(zhǔn)。

另外，利用設(shè)備上的雙3200萬(wàn)像素高清攝像頭，無(wú)需手持設(shè)備就能拍攝出真實(shí)的空間視頻。

而且玩出夢(mèng)想MR還加入了防抖算法，拍視頻時(shí)不用再擔(dān)心手抖了。

拍攝出的視頻也無(wú)需后期處理，拍完就能直接看，其他設(shè)備拍攝的空間視頻也能播放。

在這些娛樂(lè)功能之外，玩出夢(mèng)想MR也可以運(yùn)用在辦公生產(chǎn)力場(chǎng)景。

除了與之相關(guān)的應(yīng)用，也可以把電腦屏幕串流到空間之中，可使用的顯示空間變得更大了，但操作習(xí)慣無(wú)需改變，像平常一樣使用鍵鼠就可以在MR環(huán)境當(dāng)中辦公了。

當(dāng)然，如果想要長(zhǎng)時(shí)間使用，除了功能多多益善之外，佩戴的體驗(yàn)也至關(guān)重要。

玩出夢(mèng)想MR佩戴起來(lái)十分舒適，它的重量分布經(jīng)過(guò)專(zhuān)門(mén)分配設(shè)計(jì)，采用了3:2的均衡配重，可以減輕頸部和面部的佩戴壓力，即使長(zhǎng)時(shí)間佩戴也不易疲勞。

另外，12mm的超大眼盒設(shè)計(jì)，睫毛不容易觸碰到鏡片，還支持51-78mm的自動(dòng)瞳距調(diào)節(jié)，適應(yīng)不同用戶(hù)的生理特點(diǎn)。

從增加應(yīng)用場(chǎng)景到改善使用體驗(yàn)都可謂是效果拉滿(mǎn)，而背后所應(yīng)用的技術(shù)，可想而知是一個(gè)浩大工程。

技術(shù)細(xì)節(jié)充滿(mǎn)AI

實(shí)現(xiàn)這樣的效果，需要算法、硬件、光學(xué)等多個(gè)領(lǐng)域的技術(shù)積累。

玩出夢(mèng)想科技團(tuán)隊(duì)有70%的成員都是技術(shù)研發(fā)人員，包括光學(xué)、硬件、軟件、算法等全鏈路，全棧式的自研能力可以說(shuō)是玩出夢(mèng)想科技的重大優(yōu)勢(shì)。

其中，軟件及算法研發(fā)工作主要圍繞著三個(gè)方面進(jìn)行——?jiǎng)幼髯粉櫍ń换ィ?、地圖構(gòu)建，以及光學(xué)（視覺(jué)）層面的優(yōu)化。

其中，交互和視覺(jué)對(duì)于我們來(lái)說(shuō)，是更容易直接感受的。

手眼語(yǔ)音多模態(tài)融合交互

交互方面，前面已經(jīng)介紹，玩出夢(mèng)想MR支持手柄、手勢(shì)、眼動(dòng)、語(yǔ)音等多種使用方式，這背后需要頭部、手部、手柄、眼動(dòng)等追蹤能力。

• 頭部追蹤上，是由多個(gè)攝像頭負(fù)責(zé)捕捉頭部的運(yùn)動(dòng)信息，IMU提供角度變化信息，通過(guò)傳感器融合算法將這兩種數(shù)據(jù)結(jié)合，得到頭部在空間中的精確位置和朝向。玩出夢(mèng)想科技布局了頭部6DoF追蹤技術(shù)，可以實(shí)時(shí)捕捉用戶(hù)頭部的位置和朝向,實(shí)現(xiàn)頭控視角的變換,提高M(jìn)R體驗(yàn)的沉浸感。
• 手部追蹤通過(guò)分析攝像頭圖像中手的形狀、紋理等特征，估計(jì)手的位置、朝向以及每個(gè)關(guān)節(jié)的角度。這需要大量的訓(xùn)練數(shù)據(jù)和精細(xì)的模型設(shè)計(jì)。玩出夢(mèng)想科技重點(diǎn)布局了手部26DoF追蹤技術(shù)，不僅能識(shí)別手的位置和方向，還能檢測(cè)每個(gè)手指關(guān)節(jié)的運(yùn)動(dòng),實(shí)現(xiàn)更靈活、自然的手勢(shì)交互。
• 眼動(dòng)追蹤則一般通過(guò)近眼攝像頭和紅外發(fā)射器實(shí)現(xiàn)。紅外光照射眼睛，近眼攝像頭捕捉眼睛對(duì)紅外光的反射，通過(guò)分析反射光斑的位置，來(lái)估計(jì)眼球的轉(zhuǎn)動(dòng)、判斷眼球注視點(diǎn)。在配備了高精度眼動(dòng)追蹤的同時(shí)，玩出夢(mèng)想科技還探索將眼動(dòng)追蹤用于渲染優(yōu)化、身份識(shí)別、 視線(xiàn)追蹤等領(lǐng)域,以提高顯示效果和交互體驗(yàn)。

需要注意的是，這些交互方式并非獨(dú)立運(yùn)用，實(shí)際過(guò)程中往往還需要將多種方法融合使用。

所以，除了分別在這三種追蹤技術(shù)上進(jìn)行布局外,玩出夢(mèng)想科技也在將這些技術(shù)進(jìn)行融合與協(xié)同。

利用傳感器融合算法,玩出夢(mèng)想科技將不同追蹤技術(shù)的數(shù)據(jù)進(jìn)行時(shí)間同步和語(yǔ)義理解,以準(zhǔn)確解析用戶(hù)意圖。

例如，當(dāng)用戶(hù)看向一個(gè)物體并用手指指向它時(shí)，設(shè)備需要將眼動(dòng)數(shù)據(jù)和手勢(shì)數(shù)據(jù)結(jié)合，判斷用戶(hù)想要選中這個(gè)物體。

這就需要對(duì)不同傳感器來(lái)源的數(shù)據(jù)進(jìn)行時(shí)間同步和融合，并通過(guò)機(jī)器學(xué)習(xí)算法來(lái)理解用戶(hù)的意圖。

不難看出，在交互技術(shù)當(dāng)中，機(jī)器學(xué)習(xí)的影子頻繁出現(xiàn)，在MR的技術(shù)底層當(dāng)中，AI已經(jīng)深度融入。

雙目8K Micro-OLED+顯示屏幕逐臺(tái)校準(zhǔn)

再來(lái)看光學(xué)層面，VST是MR設(shè)備的核心功能之一，玩出夢(mèng)想科技在這方面實(shí)現(xiàn)了14ms的超低延遲，基本與蘋(píng)果Vision Pro持平。

這與其搭載的高通第二代驍龍XR2+芯片的算力當(dāng)然密不可分，但研發(fā)團(tuán)隊(duì)還需要對(duì)算法進(jìn)行優(yōu)化，比如去除安卓系統(tǒng)中冗余的部分，才能充分利用芯片優(yōu)勢(shì)。

為了更快的響應(yīng)速度，也為了雙目8K的超高清晰度，玩出夢(mèng)想科技選擇了顯示精度更高的8K Micro-OLED顯示屏。

當(dāng)然除了最核心的屏幕，玩出夢(mèng)想科技自研的4片式超輕樹(shù)脂Pancake光學(xué)方案也十分重要。

經(jīng)過(guò)精密設(shè)計(jì)和計(jì)算，玩出夢(mèng)想MR最大限度減少了光學(xué)系統(tǒng)引入的衍射和像差，讓成像質(zhì)量得以保證。

另外，為了實(shí)現(xiàn)更準(zhǔn)確一致的顯示效果，玩出夢(mèng)想科技針對(duì)所有設(shè)備逐臺(tái)進(jìn)行了色彩標(biāo)定和幾何標(biāo)定，確保顯示偏色ΔE<3，雙目合像誤差小于0.01°，并且雙屏色溫、亮度高度一致。

AI給地圖打上語(yǔ)義標(biāo)簽

另一個(gè)地圖構(gòu)建的模塊，人們的感受可能就不那么直觀(guān)了，但依然十分重要。

因?yàn)橐獙?shí)現(xiàn)虛實(shí)融合，設(shè)備不僅需要感知用戶(hù)，還需要感知和理解周?chē)沫h(huán)境。

玩出夢(mèng)想MR的地圖模塊可以快速通過(guò)傳感器感知周?chē)h(huán)境，并生成由點(diǎn)云、網(wǎng)格、語(yǔ)義標(biāo)簽三個(gè)要素組成的地圖數(shù)據(jù)。

而語(yǔ)義地圖的生成，需要同時(shí)使用幾何信息和視覺(jué)信息，就像動(dòng)作追蹤模塊一樣，這個(gè)過(guò)程同樣“AI含量滿(mǎn)滿(mǎn)”。

首先，設(shè)備通過(guò)三維重建算法生成環(huán)境的幾何模型，并與攝像頭拍攝的圖像進(jìn)行配準(zhǔn)，給每個(gè)幾何元附加上對(duì)應(yīng)的顏色紋理。

接下來(lái)是語(yǔ)義理解的步驟。設(shè)備通過(guò)深度學(xué)習(xí)算法來(lái)分析每個(gè)像素點(diǎn)或者網(wǎng)格面片所屬的物體類(lèi)別，生成語(yǔ)義標(biāo)簽信息并附加到地圖數(shù)據(jù)中。

除了地圖本身，玩出夢(mèng)想科技在存儲(chǔ)、算法效率和數(shù)據(jù)組織上也都進(jìn)行了優(yōu)化，使得語(yǔ)義地圖的生成和訪(fǎng)問(wèn)都非常高效，可以支持實(shí)時(shí)的應(yīng)用需求。

借蘋(píng)果的東風(fēng)

在擁有大量技術(shù)積累的同時(shí)需要指出的是，實(shí)現(xiàn)產(chǎn)品的批量生產(chǎn)，只有這些技術(shù)是不夠的。

因?yàn)樵谟布?，特別是一些定制化組件，初創(chuàng)公司往往還面臨著供應(yīng)商不愿意專(zhuān)門(mén)生產(chǎn)定制化配件的窘境。

理由也很充分——定制化配件需要對(duì)生產(chǎn)線(xiàn)進(jìn)行調(diào)整，而新物種的配件需求量無(wú)法保證，很難給供應(yīng)商帶來(lái)收益。

不過(guò)，頭部玩家蘋(píng)果的入局改變了這一局面——Vision Pro讓供應(yīng)商也看到了MR的未來(lái)，開(kāi)始重新審視相關(guān)配件的利潤(rùn)點(diǎn)。

玩出夢(mèng)想科技CMO朱然認(rèn)為，蘋(píng)果開(kāi)啟了空間計(jì)算時(shí)代的序幕——

蘋(píng)果的入局，無(wú)論是針對(duì)市場(chǎng)教育程度、供應(yīng)鏈的整合，還是內(nèi)容CP廠(chǎng)商的積極性來(lái)說(shuō)，都起到了快速助推的作用。

朱然還表示，小型創(chuàng)業(yè)公司沒(méi)有蘋(píng)果那么多營(yíng)銷(xiāo)資源去做大規(guī)模市場(chǎng)教育。

但在蘋(píng)果進(jìn)行了市場(chǎng)教育后，只要樹(shù)立好自己的產(chǎn)品差異化和品牌差異化，就可以在細(xì)分市場(chǎng)上獲得一席之地。

實(shí)際上，對(duì)于初創(chuàng)公司來(lái)說(shuō)，借助頭部選手的東風(fēng)，建立起自己的產(chǎn)品體系，的確是一種潛在的發(fā)展思路。

不只是供應(yīng)商，蘋(píng)果Vision Pro也將空間計(jì)算的未來(lái)展現(xiàn)在了用戶(hù)面前，讓用戶(hù)看到了MR設(shè)備并非花拳繡腿。

在這種趨勢(shì)的帶動(dòng)下，XR終端保有量將會(huì)提高，內(nèi)容生態(tài)閉環(huán)或?qū)⒌玫酱蚱?，涌現(xiàn)出一大批的優(yōu)質(zhì)應(yīng)用，帶來(lái)產(chǎn)業(yè)的繁榮。

最后再回到此次發(fā)布的玩出夢(mèng)想MR，它將于今年下半年在國(guó)內(nèi)外正式開(kāi)售。