“全面對標(biāo)Vision Pro”，國產(chǎn)MR真有這么強(qiáng)？

克雷西 2024-06-28 14:24:48 來源：量子位

克雷西 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI

1X999元，國產(chǎn)XR廠商給出了一個(gè)不買Vision Pro的理由。

成立四年的初創(chuàng)公司——玩出夢想科技，發(fā)布了全新安卓系統(tǒng)空間計(jì)算機(jī)“玩出夢想MR”。

它擁有雙目8K的超清顯示屏，視覺感受十分逼真，而且VST延遲也僅有14毫秒。

這樣的指標(biāo)可以說與蘋果Vision Pro十分接近，甚至幾乎感覺不到差異。

高畫質(zhì)、低延遲，用來看電影是一個(gè)很不錯的選擇，而且還搭載了300多款游戲和應(yīng)用，同時(shí)支持PC等設(shè)備的實(shí)時(shí)串流。

此外，玩出夢想科技更是打出了全面媲美Vision Pro的口號，那么玩出夢想MR究竟是怎樣一款產(chǎn)品？

注：具體價(jià)格暫未公布

8K超高清畫質(zhì)，娛樂辦公都覆蓋

硬件上，玩出夢想MR搭載了高通第二代驍龍XR2+芯片、雙目8K Micro-OLED屏幕和雙3200萬像素高清攝像機(jī)。

超高清的顯示屏，用來觀看電影是一個(gè)很容易想到的用途。

玩出夢想MR是IMAX和DTS全球首個(gè)空間計(jì)算與混合現(xiàn)實(shí)領(lǐng)域合作伙伴，在觀影場景表現(xiàn)驚艷。

此外，在玩出夢想科技自研的影院模式下，支持在空間中1:1還原超千寸的IMAX級巨幕；

聽覺上支持DTS定制空間混響音效，可模擬7.1聲道的音響效果，帶來真實(shí)沉浸的觀影感受。在此基礎(chǔ)之上，玩出夢想MR還能在播放影片的同時(shí)，將空間中的場景替換為電影院，體驗(yàn)上更有看電影的感覺了。

當(dāng)然，花成千上萬的價(jià)格買個(gè)電影播放器，再怎么沉浸也還是貴了一點(diǎn)點(diǎn)，所以，其他功能也是必不可少的。

比如空間游戲，目前玩出夢想MR支持MR游戲、VR游戲、大屏2D游戲類型，生態(tài)當(dāng)中已有300余款游戲或應(yīng)用，涵蓋的類別也十分豐富——

一方面，有面向重度游戲玩家的FPS、動作類游戲（如《玩命特攻》）；另一方面，也有偏休閑益智類的游戲（如《夢境世界》），可以滿足不同偏好的玩家。

在早期調(diào)查中，已經(jīng)有《滅亡之后:凜冬》《夢境世界》等一些游戲擁有了一定的用戶數(shù)量和粘性，并且很受玩家的喜歡，未來玩出夢想科技還將和更多廠商展開合作，引入爆款游戲。

除了游戲本身，交互方式也十分豐富，在AI技術(shù)的賦能下，設(shè)備既可以通過眼動、手勢來操控，也可以用語音控制；

也可以拿起手柄，不僅能更加真切地感受到手中的重量，還能接受到來自手柄的擬真力反饋，讓空間交互，特別是體感游戲，變得更加真實(shí)，同時(shí)在射擊類、動作類游戲中讓控制更加精準(zhǔn)。

另外，利用設(shè)備上的雙3200萬像素高清攝像頭，無需手持設(shè)備就能拍攝出真實(shí)的空間視頻。

而且玩出夢想MR還加入了防抖算法，拍視頻時(shí)不用再擔(dān)心手抖了。

拍攝出的視頻也無需后期處理，拍完就能直接看，其他設(shè)備拍攝的空間視頻也能播放。

在這些娛樂功能之外，玩出夢想MR也可以運(yùn)用在辦公生產(chǎn)力場景。

除了與之相關(guān)的應(yīng)用，也可以把電腦屏幕串流到空間之中，可使用的顯示空間變得更大了，但操作習(xí)慣無需改變，像平常一樣使用鍵鼠就可以在MR環(huán)境當(dāng)中辦公了。

當(dāng)然，如果想要長時(shí)間使用，除了功能多多益善之外，佩戴的體驗(yàn)也至關(guān)重要。

玩出夢想MR佩戴起來十分舒適，它的重量分布經(jīng)過專門分配設(shè)計(jì)，采用了3:2的均衡配重，可以減輕頸部和面部的佩戴壓力，即使長時(shí)間佩戴也不易疲勞。

另外，12mm的超大眼盒設(shè)計(jì)，睫毛不容易觸碰到鏡片，還支持51-78mm的自動瞳距調(diào)節(jié)，適應(yīng)不同用戶的生理特點(diǎn)。

從增加應(yīng)用場景到改善使用體驗(yàn)都可謂是效果拉滿，而背后所應(yīng)用的技術(shù)，可想而知是一個(gè)浩大工程。

技術(shù)細(xì)節(jié)充滿AI

實(shí)現(xiàn)這樣的效果，需要算法、硬件、光學(xué)等多個(gè)領(lǐng)域的技術(shù)積累。

玩出夢想科技團(tuán)隊(duì)有70%的成員都是技術(shù)研發(fā)人員，包括光學(xué)、硬件、軟件、算法等全鏈路，全棧式的自研能力可以說是玩出夢想科技的重大優(yōu)勢。

其中，軟件及算法研發(fā)工作主要圍繞著三個(gè)方面進(jìn)行——動作追蹤（交互）、地圖構(gòu)建，以及光學(xué)（視覺）層面的優(yōu)化。

其中，交互和視覺對于我們來說，是更容易直接感受的。

手眼語音多模態(tài)融合交互

交互方面，前面已經(jīng)介紹，玩出夢想MR支持手柄、手勢、眼動、語音等多種使用方式，這背后需要頭部、手部、手柄、眼動等追蹤能力。

• 頭部追蹤上，是由多個(gè)攝像頭負(fù)責(zé)捕捉頭部的運(yùn)動信息，IMU提供角度變化信息，通過傳感器融合算法將這兩種數(shù)據(jù)結(jié)合，得到頭部在空間中的精確位置和朝向。玩出夢想科技布局了頭部6DoF追蹤技術(shù)，可以實(shí)時(shí)捕捉用戶頭部的位置和朝向,實(shí)現(xiàn)頭控視角的變換,提高M(jìn)R體驗(yàn)的沉浸感。
• 手部追蹤通過分析攝像頭圖像中手的形狀、紋理等特征，估計(jì)手的位置、朝向以及每個(gè)關(guān)節(jié)的角度。這需要大量的訓(xùn)練數(shù)據(jù)和精細(xì)的模型設(shè)計(jì)。玩出夢想科技重點(diǎn)布局了手部26DoF追蹤技術(shù)，不僅能識別手的位置和方向，還能檢測每個(gè)手指關(guān)節(jié)的運(yùn)動,實(shí)現(xiàn)更靈活、自然的手勢交互。
• 眼動追蹤則一般通過近眼攝像頭和紅外發(fā)射器實(shí)現(xiàn)。紅外光照射眼睛，近眼攝像頭捕捉眼睛對紅外光的反射，通過分析反射光斑的位置，來估計(jì)眼球的轉(zhuǎn)動、判斷眼球注視點(diǎn)。在配備了高精度眼動追蹤的同時(shí)，玩出夢想科技還探索將眼動追蹤用于渲染優(yōu)化、身份識別、 視線追蹤等領(lǐng)域,以提高顯示效果和交互體驗(yàn)。

需要注意的是，這些交互方式并非獨(dú)立運(yùn)用，實(shí)際過程中往往還需要將多種方法融合使用。

所以，除了分別在這三種追蹤技術(shù)上進(jìn)行布局外,玩出夢想科技也在將這些技術(shù)進(jìn)行融合與協(xié)同。

利用傳感器融合算法,玩出夢想科技將不同追蹤技術(shù)的數(shù)據(jù)進(jìn)行時(shí)間同步和語義理解,以準(zhǔn)確解析用戶意圖。

例如，當(dāng)用戶看向一個(gè)物體并用手指指向它時(shí)，設(shè)備需要將眼動數(shù)據(jù)和手勢數(shù)據(jù)結(jié)合，判斷用戶想要選中這個(gè)物體。

這就需要對不同傳感器來源的數(shù)據(jù)進(jìn)行時(shí)間同步和融合，并通過機(jī)器學(xué)習(xí)算法來理解用戶的意圖。

不難看出，在交互技術(shù)當(dāng)中，機(jī)器學(xué)習(xí)的影子頻繁出現(xiàn)，在MR的技術(shù)底層當(dāng)中，AI已經(jīng)深度融入。

雙目8K Micro-OLED+顯示屏幕逐臺校準(zhǔn)

再來看光學(xué)層面，VST是MR設(shè)備的核心功能之一，玩出夢想科技在這方面實(shí)現(xiàn)了14ms的超低延遲，基本與蘋果Vision Pro持平。

這與其搭載的高通第二代驍龍XR2+芯片的算力當(dāng)然密不可分，但研發(fā)團(tuán)隊(duì)還需要對算法進(jìn)行優(yōu)化，比如去除安卓系統(tǒng)中冗余的部分，才能充分利用芯片優(yōu)勢。

為了更快的響應(yīng)速度，也為了雙目8K的超高清晰度，玩出夢想科技選擇了顯示精度更高的8K Micro-OLED顯示屏。

當(dāng)然除了最核心的屏幕，玩出夢想科技自研的4片式超輕樹脂Pancake光學(xué)方案也十分重要。

經(jīng)過精密設(shè)計(jì)和計(jì)算，玩出夢想MR最大限度減少了光學(xué)系統(tǒng)引入的衍射和像差，讓成像質(zhì)量得以保證。

另外，為了實(shí)現(xiàn)更準(zhǔn)確一致的顯示效果，玩出夢想科技針對所有設(shè)備逐臺進(jìn)行了色彩標(biāo)定和幾何標(biāo)定，確保顯示偏色ΔE<3，雙目合像誤差小于0.01°，并且雙屏色溫、亮度高度一致。

AI給地圖打上語義標(biāo)簽

另一個(gè)地圖構(gòu)建的模塊，人們的感受可能就不那么直觀了，但依然十分重要。

因?yàn)橐獙?shí)現(xiàn)虛實(shí)融合，設(shè)備不僅需要感知用戶，還需要感知和理解周圍的環(huán)境。

玩出夢想MR的地圖模塊可以快速通過傳感器感知周圍環(huán)境，并生成由點(diǎn)云、網(wǎng)格、語義標(biāo)簽三個(gè)要素組成的地圖數(shù)據(jù)。

而語義地圖的生成，需要同時(shí)使用幾何信息和視覺信息，就像動作追蹤模塊一樣，這個(gè)過程同樣“AI含量滿滿”。

首先，設(shè)備通過三維重建算法生成環(huán)境的幾何模型，并與攝像頭拍攝的圖像進(jìn)行配準(zhǔn)，給每個(gè)幾何元附加上對應(yīng)的顏色紋理。

接下來是語義理解的步驟。設(shè)備通過深度學(xué)習(xí)算法來分析每個(gè)像素點(diǎn)或者網(wǎng)格面片所屬的物體類別，生成語義標(biāo)簽信息并附加到地圖數(shù)據(jù)中。

除了地圖本身，玩出夢想科技在存儲、算法效率和數(shù)據(jù)組織上也都進(jìn)行了優(yōu)化，使得語義地圖的生成和訪問都非常高效，可以支持實(shí)時(shí)的應(yīng)用需求。

借蘋果的東風(fēng)

在擁有大量技術(shù)積累的同時(shí)需要指出的是，實(shí)現(xiàn)產(chǎn)品的批量生產(chǎn)，只有這些技術(shù)是不夠的。

因?yàn)樵谟布?，特別是一些定制化組件，初創(chuàng)公司往往還面臨著供應(yīng)商不愿意專門生產(chǎn)定制化配件的窘境。

理由也很充分——定制化配件需要對生產(chǎn)線進(jìn)行調(diào)整，而新物種的配件需求量無法保證，很難給供應(yīng)商帶來收益。

不過，頭部玩家蘋果的入局改變了這一局面——Vision Pro讓供應(yīng)商也看到了MR的未來，開始重新審視相關(guān)配件的利潤點(diǎn)。

玩出夢想科技CMO朱然認(rèn)為，蘋果開啟了空間計(jì)算時(shí)代的序幕——

蘋果的入局，無論是針對市場教育程度、供應(yīng)鏈的整合，還是內(nèi)容CP廠商的積極性來說，都起到了快速助推的作用。

朱然還表示，小型創(chuàng)業(yè)公司沒有蘋果那么多營銷資源去做大規(guī)模市場教育。

但在蘋果進(jìn)行了市場教育后，只要樹立好自己的產(chǎn)品差異化和品牌差異化，就可以在細(xì)分市場上獲得一席之地。

實(shí)際上，對于初創(chuàng)公司來說，借助頭部選手的東風(fēng)，建立起自己的產(chǎn)品體系，的確是一種潛在的發(fā)展思路。

不只是供應(yīng)商，蘋果Vision Pro也將空間計(jì)算的未來展現(xiàn)在了用戶面前，讓用戶看到了MR設(shè)備并非花拳繡腿。

在這種趨勢的帶動下，XR終端保有量將會提高，內(nèi)容生態(tài)閉環(huán)或?qū)⒌玫酱蚱?，涌現(xiàn)出一大批的優(yōu)質(zhì)應(yīng)用，帶來產(chǎn)業(yè)的繁榮。

最后再回到此次發(fā)布的玩出夢想MR，它將于今年下半年在國內(nèi)外正式開售。