UCLA蔣陳凡夫團(tuán)隊(duì)新研究：在VR里控制3D物體，高斯?jié)姙R渲染
快進(jìn)到VisionPro玩3D游戲
白交 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI
Vision Pro現(xiàn)在玩的太花了，什么時(shí)候能快進(jìn)到沉浸式玩3D游戲？？
現(xiàn)在有個(gè)新研究，在VR里實(shí)時(shí)控制3D高斯?jié)姙R生成的物體，距離真正實(shí)現(xiàn)又前進(jìn)了一大步。
比如操作這個(gè)鐵馬，一不小心就鬼畜了……
再比如，調(diào)教了下這只烈狗。
來自UCLA人工智能和視覺計(jì)算實(shí)驗(yàn)室蔣陳凡夫帶領(lǐng)，還有港大、浙大、Style3D、CMU、猶他大學(xué)以及亞馬遜全華人，研究人員提出了一個(gè)VR系統(tǒng)VR-GS。
其中還看到了一個(gè)熟悉的圖形學(xué)大佬王華民。
具體來看看，是如何實(shí)現(xiàn)的。
在VR玩3D高斯?jié)姙R
在這項(xiàng)研究中，團(tuán)隊(duì)主要做了這三點(diǎn)貢獻(xiàn)：
- 開發(fā)了高保真沉浸式的VR系統(tǒng)，并做了廣泛評(píng)估。
- 實(shí)時(shí)3D內(nèi)容交互：該系統(tǒng)的工程設(shè)計(jì)側(cè)重于以人為本。
- 全面的系統(tǒng)集成，將3D高斯?jié)姙R、場(chǎng)景分割、圖像繪制、基于物理的實(shí)時(shí)求解器和新的渲染幾何嵌入算法等技術(shù)結(jié)合在了一起。
當(dāng)然，最核心的就是提出了物理感知交互式的VR系統(tǒng)VR-GS。
這個(gè)名字顧名思義，就是集成了3D高斯?jié)姙R（GS）和基于位置的擴(kuò)展動(dòng)力學(xué)（XPBD）。后者是一個(gè)高度適應(yīng)性和一致性的物理模擬器，用于實(shí)時(shí)變形模擬。
由于模擬和渲染過程具有不同的幾何表現(xiàn)形式，因此很難將模擬器直接集成到3D高斯內(nèi)核中。
為了解決這一難題，研究人員構(gòu)建了一個(gè)四面體籠，將每個(gè)分段的高斯內(nèi)核組嵌入到相應(yīng)的網(wǎng)格中。由 XPBD 驅(qū)動(dòng)的變形網(wǎng)格隨后引導(dǎo) GS 內(nèi)核的變形。
從多視角圖像開始，該流水線巧妙地將場(chǎng)景重建、分割和使用高斯核的修復(fù)結(jié)合在一起，除此之外，還進(jìn)一步融合了碰撞檢測(cè)、陰影投射等技術(shù)。
另外，他們還注意到，簡(jiǎn)單的嵌入會(huì)導(dǎo)致高斯內(nèi)核出現(xiàn)一些尖峰偽影的問題。
因此提出了一種兩級(jí)嵌入方法，每個(gè)高斯核被嵌入到一個(gè)局部四面體中，局部四面體的頂點(diǎn)被獨(dú)立嵌入到全局網(wǎng)格中。
區(qū)別還是比較明顯的。
最終用戶反饋中，在包括易用性、延遲滿意度、系統(tǒng)功能和總體滿意度等方面都獲得了積極的評(píng)價(jià)。
研究團(tuán)隊(duì)
本項(xiàng)研究由UCLA、港大、浙大、Style3D、猶他大學(xué)、CMU以及亞馬遜等機(jī)構(gòu)的研究人員完成。
其中來自UCLA人工智能和視覺計(jì)算實(shí)驗(yàn)室蔣陳凡夫帶領(lǐng)，Ying Jiang、Chang Yu、Tianyi Xie、Xuan Li做出同等貢獻(xiàn)。
感興趣的旁友，可戳下方鏈接研究研究～
https://yingjiang96.github.io/VR-GS/
- 英偉達(dá)最新芯片B30A曝光2025-08-20
- AI應(yīng)用如何落地政企？首先不要卷通用大模型2025-08-12
- 本科必學(xué)Dijkstra算法被超越！清華段然團(tuán)隊(duì)打破圖靈獎(jiǎng)得主證明的普遍最優(yōu)性2025-08-09
- 智能體邁入L4 時(shí)代！納米AI多智能體蜂群，可創(chuàng)作最長(zhǎng)10分鐘AI視頻2025-08-06
相關(guān)閱讀
英特爾圖形學(xué)專家被AMD挖走，研發(fā)實(shí)時(shí)光追，從部門主管變成副總裁
還參與過微軟Xbox早期研發(fā)
