幻霄科技CTO高天寒：創(chuàng)新教育體驗(yàn)—探索AIGC在元宇宙教學(xué)實(shí)訓(xùn)中的無(wú)限潛能｜量子位·視點(diǎn)分享回顧

量子位的朋友們 2023-06-12 15:21:44 來(lái)源：量子位

視點(diǎn) 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI

近年來(lái)，教育數(shù)字化轉(zhuǎn)型和泛虛擬現(xiàn)實(shí)技術(shù)在教育領(lǐng)域的應(yīng)用越來(lái)越受到重視。

《中國(guó)教育現(xiàn)代2035》中明確指出加快信息化時(shí)代教育變革是教育現(xiàn)代化的重要戰(zhàn)略任務(wù)之一。

在這個(gè)充滿變革和創(chuàng)新的時(shí)代，教培領(lǐng)域正迎來(lái)前所未有的機(jī)遇與挑戰(zhàn)。其中，備受矚目的AIGC技術(shù)，正在元宇宙教培領(lǐng)域展現(xiàn)出巨大的潛力。

那么，傳統(tǒng)教育模式在信息時(shí)代遇到了怎樣的限制與挑戰(zhàn)？元宇宙、AIGC等新技術(shù)將如何開拓教培行業(yè)的新機(jī)遇？沉浸式學(xué)習(xí)體驗(yàn)對(duì)于教育意味著什么？

圍繞AIGC技術(shù)和元宇宙技術(shù)在創(chuàng)新教育中的應(yīng)用，幻霄科技聯(lián)合創(chuàng)始人兼CTO、首席科學(xué)家高天寒在「量子位·視點(diǎn)」直播中分享了他的從業(yè)經(jīng)驗(yàn)和觀點(diǎn)。

以下根據(jù)分享內(nèi)容進(jìn)行整理：

AIGC是元宇宙的“靈魂”

今天和小伙伴們來(lái)一起聊一下最近兩年在新一代信息技術(shù)領(lǐng)域最為熱門的兩個(gè)話題：元宇宙和AIGC。

什么是元宇宙？

1992年，尼爾·史蒂芬森在其所著的小說(shuō)《雪崩》中提出了Metaverse(元宇宙)和Avatar(化身)兩個(gè)概念。Metaverse擁有現(xiàn)實(shí)世界的一切形態(tài)，用戶在Metaverse中均為第一人稱視角，并擁有一個(gè)專屬的可自定義形象的虛擬化身Avatar。

元宇宙強(qiáng)調(diào)生態(tài)的完整性和用戶的主觀能動(dòng)性，電影《頭號(hào)玩家》中的虛擬世界Oasis被普遍認(rèn)為是元宇宙的最終形態(tài)代表，電影《失控玩家》中的Free City也是元宇宙良好應(yīng)用體現(xiàn)之一。

Facebook是互聯(lián)網(wǎng)巨頭中第一個(gè)宣布All in元宇宙的公司。扎克伯格稱Metaverse為“移動(dòng)互聯(lián)網(wǎng)的繼承者”，并承諾將Facebook從一家社交媒體公司轉(zhuǎn)變?yōu)橐患襇etaverse公司。2021年7月26日，F(xiàn)acebook已經(jīng)開始組建專門的“元宇宙”(Metaverse)產(chǎn)品團(tuán)隊(duì)，加大推進(jìn)在VR/AR及其他元宇宙相關(guān)領(lǐng)域進(jìn)行產(chǎn)品服務(wù)研發(fā)。

Research and Markets發(fā)布的“全球元宇宙市場(chǎng)報(bào)告”顯示：元宇宙市場(chǎng)預(yù)計(jì)在預(yù)測(cè)期內(nèi)（2022-2030年）復(fù)合年增長(zhǎng)率將達(dá)到40%，到2030年市場(chǎng)收入將達(dá)到7000億美元。

在今年年初，國(guó)家《“十四五”數(shù)字經(jīng)濟(jì)發(fā)展規(guī)劃》中，也重點(diǎn)提及了元宇宙對(duì)于數(shù)字經(jīng)濟(jì)發(fā)展的重要支撐。

從去年年中開始，各個(gè)地方層面對(duì)元宇宙產(chǎn)業(yè)扶持和人才培養(yǎng)的相關(guān)政策更是層出不窮。據(jù)不完全統(tǒng)計(jì)，截至2023年4月底，全國(guó)已有23個(gè)省級(jí)（含直轄市，下同）單位及80余個(gè)市級(jí)單位發(fā)布了約500項(xiàng)明確支持元宇宙產(chǎn)業(yè)的相關(guān)政策。

元宇宙要素

元宇宙是一個(gè)迅速發(fā)展的領(lǐng)域，其構(gòu)建必須具備5大要素。

第一要素是具身互動(dòng)，即用戶可以進(jìn)入虛擬世界并使用數(shù)字形象進(jìn)行交互。這是元宇宙中最為落地的應(yīng)用場(chǎng)景，類似于數(shù)字人或虛擬人。

第二要素是內(nèi)容生成，第一代互聯(lián)網(wǎng)內(nèi)容生成叫PGC模式，以移動(dòng)互聯(lián)網(wǎng)為代表的第二代互聯(lián)網(wǎng)則由PGC轉(zhuǎn)向UGC模式，但隨著人工智能技術(shù)的快速發(fā)展，AIGC將成為新的趨勢(shì)。

第三要素是統(tǒng)一身份管理，必須有一種方法將不同的虛擬身份關(guān)聯(lián)到物理世界的實(shí)際用戶上，以確保元宇宙的穩(wěn)定性。

第四要素是虛擬經(jīng)濟(jì)系統(tǒng)，區(qū)塊鏈技術(shù)的快速發(fā)展為其提供了支持。

第五要素是虛實(shí)融合，用戶可以在真實(shí)和虛擬世界之間無(wú)縫切換，這一點(diǎn)背后重要的技術(shù)支撐涉及到XR技術(shù)。

總體而言，元宇宙發(fā)展已經(jīng)形成了三條比較清晰的主線，分別是與虛實(shí)融合有關(guān)的交互、有吸引力的內(nèi)容生成、以及經(jīng)濟(jì)和治理的發(fā)展。在過(guò)去的幾年中，幻霄團(tuán)隊(duì)持續(xù)發(fā)力，突破了一系列核心技術(shù)，尤其是在虛實(shí)融合方面的XR技術(shù)，即包括VR、AR和MR，我們統(tǒng)稱定義為“泛虛擬現(xiàn)實(shí)”。

AIGC與元宇宙

XR現(xiàn)在已經(jīng)被定義為未來(lái)人機(jī)交互的全新形態(tài)，將會(huì)取代移動(dòng)互聯(lián)網(wǎng)，成為下一代的移動(dòng)計(jì)算平臺(tái)。用一句話來(lái)定義XR和元宇宙的關(guān)系，我們認(rèn)為XR是通向元宇宙的“蟲洞”。

用戶可以通過(guò)XR技術(shù)并配合相應(yīng)的可穿戴設(shè)備進(jìn)入到元宇宙中，期望在虛擬的元宇宙環(huán)境中進(jìn)行全方位交互。

近年來(lái)，XR技術(shù)在位置感知、手勢(shì)識(shí)別等方面取得了突破，同時(shí)腦機(jī)接口技術(shù)也有了巨大的進(jìn)步，意念控制技術(shù)也開始被逐漸打開。因此，XR技術(shù)作為元宇宙的入口非常清晰明確。

AIGC是今年信息技術(shù)領(lǐng)域最為熱點(diǎn)的概念，利用人工智能技術(shù)來(lái)自動(dòng)生產(chǎn)內(nèi)容，被認(rèn)為是繼PGC、UGC之后的新型內(nèi)容創(chuàng)作方式，已經(jīng)可以自動(dòng)生成文字、圖片、音頻、視頻，甚至3D模型和代碼。AIGC已被定義成為數(shù)字內(nèi)容創(chuàng)發(fā)展的新引擎，將重塑甚至顛覆數(shù)字內(nèi)容的生產(chǎn)及消費(fèi)方式，并極大豐富人們的數(shù)字生活，是元宇宙的重要底層基礎(chǔ)設(shè)施之一。

據(jù)艾媒咨詢數(shù)據(jù)顯示：預(yù)計(jì)2023年，中國(guó)AIGC行業(yè)核心市場(chǎng)規(guī)模為79.3億元，2028年將達(dá)到2767.4億元，這是非?？捎^的一個(gè)數(shù)字。

2018年之后AIGC開始快速發(fā)展，但是初期階段它并不能為我們生成比較理想的內(nèi)容，更多的關(guān)注在內(nèi)容增強(qiáng)方面，例如，我們拍攝了一張低分辨率的圖片，通過(guò)圖像超分增強(qiáng)圖像的細(xì)節(jié)信息，生成高清圖片。再比如，對(duì)于老照片中的像素缺失部分，可通過(guò)智能增強(qiáng)技術(shù)進(jìn)行內(nèi)容復(fù)原。

從去年開始，隨著人工智能的模型越來(lái)越成熟，已經(jīng)開始能夠生成一些多模態(tài)形式內(nèi)容，包含文本、圖片、聲音、視頻，甚至是3D模型、代碼等等。

在當(dāng)今內(nèi)容為王的時(shí)代，AIGC經(jīng)歷了短期內(nèi)的快速變化。幾年前，它處于核心技術(shù)突破的早期階段。但是近年來(lái)，一系列相關(guān)的AI模型和技術(shù)已經(jīng)大幅提升，并進(jìn)入批量生產(chǎn)狀態(tài)。未來(lái)，關(guān)鍵技術(shù)將持續(xù)優(yōu)化，最終目標(biāo)是取代人類創(chuàng)建替代性內(nèi)容。

在元宇宙中，如果XR技術(shù)為其入口，那么AIGC就是其靈魂，AIGC很快將成為元宇宙生產(chǎn)力的工具。雖然現(xiàn)在的元宇宙已經(jīng)足夠精彩，但是當(dāng)AIGC像我們之前描述的那樣，高效地生成高質(zhì)量個(gè)性化內(nèi)容時(shí)，它將變得更加輝煌。

總之，盡管元宇宙的概念只有兩年左右的時(shí)間，但已經(jīng)迅速在教育、醫(yī)療、職業(yè)培訓(xùn)、智能制造、工業(yè)等領(lǐng)域中形成了大量落地場(chǎng)景。

教培領(lǐng)域的痛點(diǎn)與機(jī)遇

教育培訓(xùn)領(lǐng)域存在“三高三難”痛點(diǎn)問題，包括投入高、損耗高、風(fēng)險(xiǎn)高、實(shí)施難、觀摩難、再現(xiàn)難。

元宇宙教培可以有效解決這些問題，將教學(xué)過(guò)程完全轉(zhuǎn)移到虛擬空間中，消除了除前期制作和設(shè)備成本外的任何支出和風(fēng)險(xiǎn)。此外，元宇宙教培可以通過(guò)虛擬環(huán)境提供更好的實(shí)施、觀摩和再現(xiàn)能力。這是元宇宙教育快速發(fā)展的原因，當(dāng)然這也離不開政策的引導(dǎo)和支持。

比如在2020年9月份，教育部《關(guān)于開展職業(yè)教育示范性虛擬仿真實(shí)訓(xùn)基地建設(shè)工作的通知》里提到，遴選100個(gè)左右示范性虛擬仿真實(shí)訓(xùn)基地，分級(jí)選5000門左右職業(yè)教育在線精品課。

在去年年底，教育部工信部聯(lián)合五部委進(jìn)一步發(fā)布了《虛擬現(xiàn)實(shí)與行業(yè)應(yīng)用融合發(fā)展行動(dòng)計(jì)劃(2022-2026年)》，在這個(gè)計(jì)劃當(dāng)中更是明確指出，要大力推動(dòng)教學(xué)模式向自主體驗(yàn)升級(jí)，打造支持自主探究、協(xié)作學(xué)習(xí)的沉浸式新課堂。

沉浸式新課堂，實(shí)際上就是元宇宙教培的另一種詮釋。

在相關(guān)政策的大力扶持之下，我們團(tuán)隊(duì)在過(guò)去的2~3年內(nèi)，針對(duì)不同的年齡段，像K12、職業(yè)教育、高等教育、通識(shí)教育等各個(gè)層面都做了大量的工作，完成了一系列探索以及項(xiàng)目落地。

在K12教育領(lǐng)域，元宇宙教育的優(yōu)勢(shì)主要體現(xiàn)在實(shí)驗(yàn)和實(shí)操環(huán)節(jié)，尤其是理化生三個(gè)學(xué)科，因此我們制作了大量的VR和AR實(shí)驗(yàn)課程。在職業(yè)教育方面，注重培養(yǎng)學(xué)生實(shí)際動(dòng)手能力，需要更多針對(duì)不同專業(yè)的虛擬仿真課程來(lái)滿足需求。而在高等教育中，對(duì)元宇宙教育的需求更加個(gè)性化，深入到某一門課程或核心知識(shí)點(diǎn)。

目前元宇宙教育仍處于初級(jí)階段，面臨著一些挑戰(zhàn)和問題。

首先缺乏頂層設(shè)計(jì)和行業(yè)標(biāo)準(zhǔn)；其次，核心技術(shù)不夠成熟，過(guò)度依賴硬件實(shí)現(xiàn)；第三，缺乏高質(zhì)量個(gè)性化的教育內(nèi)容。為了應(yīng)對(duì)這些挑戰(zhàn)，需要高層引領(lǐng)，進(jìn)行統(tǒng)籌規(guī)劃，同時(shí)聚焦多通道自然交互等核心技術(shù)突破，注重元宇宙教育內(nèi)容的創(chuàng)新和個(gè)性化程度提升，打造低門檻的個(gè)性化元宇宙內(nèi)容制作平臺(tái)。此外，AIGC可能會(huì)給我們帶來(lái)新的思路。

基于元宇宙與AIGC的沉浸式教培探索

1）三大核心技術(shù)

針對(duì)元宇宙教育面臨的問題，我們團(tuán)隊(duì)打造了MET平臺(tái)，包括三個(gè)核心產(chǎn)品：MetMaker虛擬課程制作平臺(tái)、MetAssets數(shù)字資產(chǎn)平臺(tái)和MetLab元宇宙教學(xué)平臺(tái)。

用戶可以使用MetMaker以低代碼或無(wú)代碼方式快速搭建元宇宙教育內(nèi)容，正好在6月1日下午，MetMaker正式上線；MetAssets提供高質(zhì)量的3D數(shù)字模型等專業(yè)素材；MetLab則提供便捷的教育內(nèi)容和學(xué)習(xí)方式。我們的核心目標(biāo)是為教培元宇宙領(lǐng)域賦能。在教育層面，MET平臺(tái)期望能夠無(wú)縫的去連接教、學(xué)、練、測(cè)教育領(lǐng)域當(dāng)中的核心環(huán)節(jié)。

在職業(yè)培訓(xùn)層面，我們提出了“五位一體”概念，包括學(xué)習(xí)、實(shí)訓(xùn)、考試、認(rèn)證以及最終的就業(yè)，形成一個(gè)完整的閉環(huán)。同時(shí)我們期待基于MET平臺(tái)能夠無(wú)限拉近企業(yè)、政府、院校、學(xué)生元宇宙教培領(lǐng)域當(dāng)中的4個(gè)核心角色，最終去實(shí)現(xiàn)互利共贏和生態(tài)共建。

MET平臺(tái)實(shí)現(xiàn)需要核心技術(shù)的支撐，第一個(gè)核心技術(shù)是AIG3D，具有獨(dú)立自主知識(shí)產(chǎn)權(quán)，可集成到MET平臺(tái)中。在元宇宙教育內(nèi)容中，3D數(shù)字資產(chǎn)是制作高質(zhì)量教育內(nèi)容的重要素材。目前，這些3D模型和場(chǎng)景的制作大多仍靠手工完成，投入了大量的人力物力。因此，AIG3D技術(shù)在元宇宙教育3D數(shù)字資產(chǎn)制作環(huán)節(jié)具有非常重要的意義。

去年年底，我們發(fā)布了基于多張圖片對(duì)實(shí)物進(jìn)行自動(dòng)重建的技術(shù)路線，在今年6月中旬或6月底的時(shí)候，我們會(huì)發(fā)布全新的 AIG3D技術(shù)，基于單張RGB圖像不需要任何的深度信息，就能夠快速完成實(shí)物3D模型重建。

而且整個(gè)的AIG3D方案，支持零樣本學(xué)習(xí)，在重建的過(guò)程當(dāng)中，支持實(shí)時(shí)PBR材質(zhì)渲染，能夠在保證效率的前提下獲得更好的畫面效果。創(chuàng)作者能夠基于AIG3D技術(shù)，去快速生成高質(zhì)量3D模型。這個(gè)模型可以一鍵式集成到MET平臺(tái)中，輔助用戶完成相應(yīng)的元宇宙教培內(nèi)容制作。

當(dāng)然，除了單張圖片三維重建技術(shù)之外，我們還提出了基于波函數(shù)坍縮的建筑集群自動(dòng)生成方法和技術(shù)路線，以及基于OSM的城市交通網(wǎng)絡(luò)場(chǎng)景生成技術(shù)。這一系列的AI計(jì)算機(jī)技術(shù)極大程度助力了MET平臺(tái)的研發(fā)，為用戶提供了簡(jiǎn)單便捷的創(chuàng)作工具。

第二個(gè)核心技術(shù)，我們要談及的是渲染優(yōu)化。為了保證用戶在瀏覽器端能夠?qū)υ钪娼膛鄡?nèi)容的體驗(yàn)有更好的表現(xiàn)效果，我們針對(duì)不同圖形接口做了大量的渲染優(yōu)化的工作，支持webgl2.0及WebGPU，并在此基礎(chǔ)上進(jìn)行了優(yōu)化。

我們?yōu)閃ebgl2.0設(shè)計(jì)了一套針對(duì)Opengl es3.0的著色方案，采用Forward+渲染，支持實(shí)時(shí)PBR材質(zhì)渲染。這種方案在保證效率的同時(shí)，能夠獲得更好的畫面效果。同時(shí)，我們針對(duì)于WebGPU提供了一套GPU蒙皮方案，進(jìn)一步提升整個(gè)模型制作效率，并在MetMaker中提供了基于延時(shí)渲染管線的Voxel GI方案，能夠進(jìn)一步提升視覺效果。

第三個(gè)核心技術(shù)是具有自主知識(shí)產(chǎn)權(quán)的自動(dòng)LOD技術(shù)。這項(xiàng)技術(shù)主要是確保所產(chǎn)生的不同形式的高質(zhì)量模型，能夠快捷、高效、高質(zhì)量地上傳到MET平臺(tái)中。

為了確保模型的上傳，我們所研發(fā)的自動(dòng)LOD技術(shù)，會(huì)根據(jù)模型的情況對(duì)面數(shù)較高的模型如三維重建、掃描模型、數(shù)字雕刻模型進(jìn)行自動(dòng)降面，并保持模型細(xì)節(jié)。

除此之外，MET平臺(tái)支持低門檻輕量化創(chuàng)作，采用無(wú)代碼或者低代碼的方式快速制作元宇宙教培內(nèi)容。

在底層的核心技術(shù)層面，我們剛剛提到的包括AI三維重建技術(shù)，渲染優(yōu)化技術(shù)，還有自動(dòng)LOD技術(shù)，這一系列技術(shù)的不斷的突破，為MET平臺(tái)打造了堅(jiān)實(shí)的技術(shù)門檻。同時(shí)在這個(gè)過(guò)程中積累了大量的自主知識(shí)產(chǎn)權(quán)，包括發(fā)明專利以及軟件著作權(quán)。

2）AIGC沉浸式教培探索

主流的元宇宙教育內(nèi)容制作流程包括技術(shù)人員和教師共同編寫教案，形成可理解的課程腳本；在立項(xiàng)后進(jìn)行美術(shù)資源制作，包括圖片、視頻和3D模型等，并將其導(dǎo)入到相應(yīng)工具中進(jìn)行交互程序編寫，生成一門元宇宙教育課程。在初次交付用戶后，不斷迭代和反饋以優(yōu)化課程內(nèi)容。即使在項(xiàng)目驗(yàn)收并提交給終端用戶后，仍會(huì)跟蹤課程使用情況并進(jìn)行流程優(yōu)化和迭代。這是許多公司和機(jī)構(gòu)廣泛采用的元宇宙教育內(nèi)容制作流程。

但是在這個(gè)流程的背后，可以看到有很多的優(yōu)化空間，我們相信 AIGC技術(shù)同樣會(huì)發(fā)揮它極大的優(yōu)勢(shì)。比如元宇宙教培的教案編寫、課程腳本編寫等，我們是不是可以采用AIGC的方案來(lái)去自動(dòng)化生成；比如在美術(shù)資源的制作層面，我們可不可以利用AIGC來(lái)去產(chǎn)生多模態(tài)的美術(shù)資源，甚至我們是否可以利用AIGC技術(shù)去產(chǎn)生交互程序的代碼。

在元宇宙教培的制作流程中，AIGC技術(shù)完全可以發(fā)揮它的優(yōu)勢(shì)。我們結(jié)合前面所提到的AIG3D技術(shù)，和大家來(lái)分享下基于MET平臺(tái)沉浸式教培內(nèi)容制作的優(yōu)化流程。

在流程中，我們首先用AIG3D技術(shù)，即只需要拍攝單張照片，就可以快速、高效地去生成高質(zhì)量的3D模型。3D模型成型后，可以快速的導(dǎo)入到MetMaker里，并進(jìn)一步的利用MetMaker去零代碼或者低代碼快速制作相應(yīng)的元宇宙課程內(nèi)容，課程制作完成后一鍵發(fā)布到MetLab平臺(tái)，以便于教師和學(xué)生展開相應(yīng)的元宇宙教學(xué)內(nèi)容的學(xué)習(xí)。在學(xué)生側(cè)，整個(gè)教培內(nèi)容既支持網(wǎng)頁(yè)端的瀏覽，同時(shí)也支持在VR側(cè)的沉浸式體驗(yàn)。

縱觀整個(gè)流程，我們對(duì)前面的主流元宇宙教培內(nèi)容做了極大的優(yōu)化，讓沒有任何技術(shù)門檻的創(chuàng)作者可以在很短的時(shí)間內(nèi)，快速完成高質(zhì)量教培內(nèi)容的制作。

以上是我今天在量子位為各位伙伴所帶來(lái)的全部分享內(nèi)容，也再次感謝大家對(duì)我本人以及幻霄科技的關(guān)注，謝謝大家！

關(guān)于「量子位·視點(diǎn)」

量子位發(fā)起的CEO/CTO系列分享活動(dòng)，不定期邀請(qǐng)前沿科技領(lǐng)域創(chuàng)業(yè)公司CEO/CTO，分享企業(yè)最新戰(zhàn)略、最新技術(shù)、最新產(chǎn)品，與廣大從業(yè)者、愛好者探討前沿技術(shù)理論與產(chǎn)業(yè)實(shí)踐。歡迎大家多多關(guān)注 ～