幻霄科技CTO高天寒：創(chuàng)新教育體驗—探索AIGC在元宇宙教學實訓中的無限潛能｜量子位·視點分享回顧

量子位的朋友們 2023-06-12 15:21:44 來源：量子位

視點 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI

近年來，教育數(shù)字化轉型和泛虛擬現(xiàn)實技術在教育領域的應用越來越受到重視。

《中國教育現(xiàn)代2035》中明確指出加快信息化時代教育變革是教育現(xiàn)代化的重要戰(zhàn)略任務之一。

在這個充滿變革和創(chuàng)新的時代，教培領域正迎來前所未有的機遇與挑戰(zhàn)。其中，備受矚目的AIGC技術，正在元宇宙教培領域展現(xiàn)出巨大的潛力。

那么，傳統(tǒng)教育模式在信息時代遇到了怎樣的限制與挑戰(zhàn)？元宇宙、AIGC等新技術將如何開拓教培行業(yè)的新機遇？沉浸式學習體驗對于教育意味著什么？

圍繞AIGC技術和元宇宙技術在創(chuàng)新教育中的應用，幻霄科技聯(lián)合創(chuàng)始人兼CTO、首席科學家高天寒在「量子位·視點」直播中分享了他的從業(yè)經驗和觀點。

以下根據(jù)分享內容進行整理：

AIGC是元宇宙的“靈魂”

今天和小伙伴們來一起聊一下最近兩年在新一代信息技術領域最為熱門的兩個話題：元宇宙和AIGC。

什么是元宇宙？

1992年，尼爾·史蒂芬森在其所著的小說《雪崩》中提出了Metaverse(元宇宙)和Avatar(化身)兩個概念。Metaverse擁有現(xiàn)實世界的一切形態(tài)，用戶在Metaverse中均為第一人稱視角，并擁有一個專屬的可自定義形象的虛擬化身Avatar。

元宇宙強調生態(tài)的完整性和用戶的主觀能動性，電影《頭號玩家》中的虛擬世界Oasis被普遍認為是元宇宙的最終形態(tài)代表，電影《失控玩家》中的Free City也是元宇宙良好應用體現(xiàn)之一。

Facebook是互聯(lián)網巨頭中第一個宣布All in元宇宙的公司。扎克伯格稱Metaverse為“移動互聯(lián)網的繼承者”，并承諾將Facebook從一家社交媒體公司轉變?yōu)橐患襇etaverse公司。2021年7月26日，F(xiàn)acebook已經開始組建專門的“元宇宙”(Metaverse)產品團隊，加大推進在VR/AR及其他元宇宙相關領域進行產品服務研發(fā)。

Research and Markets發(fā)布的“全球元宇宙市場報告”顯示：元宇宙市場預計在預測期內（2022-2030年）復合年增長率將達到40%，到2030年市場收入將達到7000億美元。

在今年年初，國家《“十四五”數(shù)字經濟發(fā)展規(guī)劃》中，也重點提及了元宇宙對于數(shù)字經濟發(fā)展的重要支撐。

從去年年中開始，各個地方層面對元宇宙產業(yè)扶持和人才培養(yǎng)的相關政策更是層出不窮。據(jù)不完全統(tǒng)計，截至2023年4月底，全國已有23個省級（含直轄市，下同）單位及80余個市級單位發(fā)布了約500項明確支持元宇宙產業(yè)的相關政策。

元宇宙要素

元宇宙是一個迅速發(fā)展的領域，其構建必須具備5大要素。

第一要素是具身互動，即用戶可以進入虛擬世界并使用數(shù)字形象進行交互。這是元宇宙中最為落地的應用場景，類似于數(shù)字人或虛擬人。

第二要素是內容生成，第一代互聯(lián)網內容生成叫PGC模式，以移動互聯(lián)網為代表的第二代互聯(lián)網則由PGC轉向UGC模式，但隨著人工智能技術的快速發(fā)展，AIGC將成為新的趨勢。

第三要素是統(tǒng)一身份管理，必須有一種方法將不同的虛擬身份關聯(lián)到物理世界的實際用戶上，以確保元宇宙的穩(wěn)定性。

第四要素是虛擬經濟系統(tǒng)，區(qū)塊鏈技術的快速發(fā)展為其提供了支持。

第五要素是虛實融合，用戶可以在真實和虛擬世界之間無縫切換，這一點背后重要的技術支撐涉及到XR技術。

總體而言，元宇宙發(fā)展已經形成了三條比較清晰的主線，分別是與虛實融合有關的交互、有吸引力的內容生成、以及經濟和治理的發(fā)展。在過去的幾年中，幻霄團隊持續(xù)發(fā)力，突破了一系列核心技術，尤其是在虛實融合方面的XR技術，即包括VR、AR和MR，我們統(tǒng)稱定義為“泛虛擬現(xiàn)實”。

AIGC與元宇宙

XR現(xiàn)在已經被定義為未來人機交互的全新形態(tài)，將會取代移動互聯(lián)網，成為下一代的移動計算平臺。用一句話來定義XR和元宇宙的關系，我們認為XR是通向元宇宙的“蟲洞”。

用戶可以通過XR技術并配合相應的可穿戴設備進入到元宇宙中，期望在虛擬的元宇宙環(huán)境中進行全方位交互。

近年來，XR技術在位置感知、手勢識別等方面取得了突破，同時腦機接口技術也有了巨大的進步，意念控制技術也開始被逐漸打開。因此，XR技術作為元宇宙的入口非常清晰明確。

AIGC是今年信息技術領域最為熱點的概念，利用人工智能技術來自動生產內容，被認為是繼PGC、UGC之后的新型內容創(chuàng)作方式，已經可以自動生成文字、圖片、音頻、視頻，甚至3D模型和代碼。AIGC已被定義成為數(shù)字內容創(chuàng)發(fā)展的新引擎，將重塑甚至顛覆數(shù)字內容的生產及消費方式，并極大豐富人們的數(shù)字生活，是元宇宙的重要底層基礎設施之一。

據(jù)艾媒咨詢數(shù)據(jù)顯示：預計2023年，中國AIGC行業(yè)核心市場規(guī)模為79.3億元，2028年將達到2767.4億元，這是非常可觀的一個數(shù)字。

2018年之后AIGC開始快速發(fā)展，但是初期階段它并不能為我們生成比較理想的內容，更多的關注在內容增強方面，例如，我們拍攝了一張低分辨率的圖片，通過圖像超分增強圖像的細節(jié)信息，生成高清圖片。再比如，對于老照片中的像素缺失部分，可通過智能增強技術進行內容復原。

從去年開始，隨著人工智能的模型越來越成熟，已經開始能夠生成一些多模態(tài)形式內容，包含文本、圖片、聲音、視頻，甚至是3D模型、代碼等等。

在當今內容為王的時代，AIGC經歷了短期內的快速變化。幾年前，它處于核心技術突破的早期階段。但是近年來，一系列相關的AI模型和技術已經大幅提升，并進入批量生產狀態(tài)。未來，關鍵技術將持續(xù)優(yōu)化，最終目標是取代人類創(chuàng)建替代性內容。

在元宇宙中，如果XR技術為其入口，那么AIGC就是其靈魂，AIGC很快將成為元宇宙生產力的工具。雖然現(xiàn)在的元宇宙已經足夠精彩，但是當AIGC像我們之前描述的那樣，高效地生成高質量個性化內容時，它將變得更加輝煌。

總之，盡管元宇宙的概念只有兩年左右的時間，但已經迅速在教育、醫(yī)療、職業(yè)培訓、智能制造、工業(yè)等領域中形成了大量落地場景。

教培領域的痛點與機遇

教育培訓領域存在“三高三難”痛點問題，包括投入高、損耗高、風險高、實施難、觀摩難、再現(xiàn)難。

元宇宙教培可以有效解決這些問題，將教學過程完全轉移到虛擬空間中，消除了除前期制作和設備成本外的任何支出和風險。此外，元宇宙教培可以通過虛擬環(huán)境提供更好的實施、觀摩和再現(xiàn)能力。這是元宇宙教育快速發(fā)展的原因，當然這也離不開政策的引導和支持。

比如在2020年9月份，教育部《關于開展職業(yè)教育示范性虛擬仿真實訓基地建設工作的通知》里提到，遴選100個左右示范性虛擬仿真實訓基地，分級選5000門左右職業(yè)教育在線精品課。

在去年年底，教育部工信部聯(lián)合五部委進一步發(fā)布了《虛擬現(xiàn)實與行業(yè)應用融合發(fā)展行動計劃(2022-2026年)》，在這個計劃當中更是明確指出，要大力推動教學模式向自主體驗升級，打造支持自主探究、協(xié)作學習的沉浸式新課堂。

沉浸式新課堂，實際上就是元宇宙教培的另一種詮釋。

在相關政策的大力扶持之下，我們團隊在過去的2~3年內，針對不同的年齡段，像K12、職業(yè)教育、高等教育、通識教育等各個層面都做了大量的工作，完成了一系列探索以及項目落地。

在K12教育領域，元宇宙教育的優(yōu)勢主要體現(xiàn)在實驗和實操環(huán)節(jié)，尤其是理化生三個學科，因此我們制作了大量的VR和AR實驗課程。在職業(yè)教育方面，注重培養(yǎng)學生實際動手能力，需要更多針對不同專業(yè)的虛擬仿真課程來滿足需求。而在高等教育中，對元宇宙教育的需求更加個性化，深入到某一門課程或核心知識點。

目前元宇宙教育仍處于初級階段，面臨著一些挑戰(zhàn)和問題。

首先缺乏頂層設計和行業(yè)標準；其次，核心技術不夠成熟，過度依賴硬件實現(xiàn)；第三，缺乏高質量個性化的教育內容。為了應對這些挑戰(zhàn)，需要高層引領，進行統(tǒng)籌規(guī)劃，同時聚焦多通道自然交互等核心技術突破，注重元宇宙教育內容的創(chuàng)新和個性化程度提升，打造低門檻的個性化元宇宙內容制作平臺。此外，AIGC可能會給我們帶來新的思路。

基于元宇宙與AIGC的沉浸式教培探索

1）三大核心技術

針對元宇宙教育面臨的問題，我們團隊打造了MET平臺，包括三個核心產品：MetMaker虛擬課程制作平臺、MetAssets數(shù)字資產平臺和MetLab元宇宙教學平臺。

用戶可以使用MetMaker以低代碼或無代碼方式快速搭建元宇宙教育內容，正好在6月1日下午，MetMaker正式上線；MetAssets提供高質量的3D數(shù)字模型等專業(yè)素材；MetLab則提供便捷的教育內容和學習方式。我們的核心目標是為教培元宇宙領域賦能。在教育層面，MET平臺期望能夠無縫的去連接教、學、練、測教育領域當中的核心環(huán)節(jié)。

在職業(yè)培訓層面，我們提出了“五位一體”概念，包括學習、實訓、考試、認證以及最終的就業(yè)，形成一個完整的閉環(huán)。同時我們期待基于MET平臺能夠無限拉近企業(yè)、政府、院校、學生元宇宙教培領域當中的4個核心角色，最終去實現(xiàn)互利共贏和生態(tài)共建。

MET平臺實現(xiàn)需要核心技術的支撐，第一個核心技術是AIG3D，具有獨立自主知識產權，可集成到MET平臺中。在元宇宙教育內容中，3D數(shù)字資產是制作高質量教育內容的重要素材。目前，這些3D模型和場景的制作大多仍靠手工完成，投入了大量的人力物力。因此，AIG3D技術在元宇宙教育3D數(shù)字資產制作環(huán)節(jié)具有非常重要的意義。

去年年底，我們發(fā)布了基于多張圖片對實物進行自動重建的技術路線，在今年6月中旬或6月底的時候，我們會發(fā)布全新的 AIG3D技術，基于單張RGB圖像不需要任何的深度信息，就能夠快速完成實物3D模型重建。

而且整個的AIG3D方案，支持零樣本學習，在重建的過程當中，支持實時PBR材質渲染，能夠在保證效率的前提下獲得更好的畫面效果。創(chuàng)作者能夠基于AIG3D技術，去快速生成高質量3D模型。這個模型可以一鍵式集成到MET平臺中，輔助用戶完成相應的元宇宙教培內容制作。

當然，除了單張圖片三維重建技術之外，我們還提出了基于波函數(shù)坍縮的建筑集群自動生成方法和技術路線，以及基于OSM的城市交通網絡場景生成技術。這一系列的AI計算機技術極大程度助力了MET平臺的研發(fā)，為用戶提供了簡單便捷的創(chuàng)作工具。

第二個核心技術，我們要談及的是渲染優(yōu)化。為了保證用戶在瀏覽器端能夠對元宇宙教培內容的體驗有更好的表現(xiàn)效果，我們針對不同圖形接口做了大量的渲染優(yōu)化的工作，支持webgl2.0及WebGPU，并在此基礎上進行了優(yōu)化。

我們?yōu)閃ebgl2.0設計了一套針對Opengl es3.0的著色方案，采用Forward+渲染，支持實時PBR材質渲染。這種方案在保證效率的同時，能夠獲得更好的畫面效果。同時，我們針對于WebGPU提供了一套GPU蒙皮方案，進一步提升整個模型制作效率，并在MetMaker中提供了基于延時渲染管線的Voxel GI方案，能夠進一步提升視覺效果。

第三個核心技術是具有自主知識產權的自動LOD技術。這項技術主要是確保所產生的不同形式的高質量模型，能夠快捷、高效、高質量地上傳到MET平臺中。

為了確保模型的上傳，我們所研發(fā)的自動LOD技術，會根據(jù)模型的情況對面數(shù)較高的模型如三維重建、掃描模型、數(shù)字雕刻模型進行自動降面，并保持模型細節(jié)。

除此之外，MET平臺支持低門檻輕量化創(chuàng)作，采用無代碼或者低代碼的方式快速制作元宇宙教培內容。

在底層的核心技術層面，我們剛剛提到的包括AI三維重建技術，渲染優(yōu)化技術，還有自動LOD技術，這一系列技術的不斷的突破，為MET平臺打造了堅實的技術門檻。同時在這個過程中積累了大量的自主知識產權，包括發(fā)明專利以及軟件著作權。

2）AIGC沉浸式教培探索

主流的元宇宙教育內容制作流程包括技術人員和教師共同編寫教案，形成可理解的課程腳本；在立項后進行美術資源制作，包括圖片、視頻和3D模型等，并將其導入到相應工具中進行交互程序編寫，生成一門元宇宙教育課程。在初次交付用戶后，不斷迭代和反饋以優(yōu)化課程內容。即使在項目驗收并提交給終端用戶后，仍會跟蹤課程使用情況并進行流程優(yōu)化和迭代。這是許多公司和機構廣泛采用的元宇宙教育內容制作流程。

但是在這個流程的背后，可以看到有很多的優(yōu)化空間，我們相信 AIGC技術同樣會發(fā)揮它極大的優(yōu)勢。比如元宇宙教培的教案編寫、課程腳本編寫等，我們是不是可以采用AIGC的方案來去自動化生成；比如在美術資源的制作層面，我們可不可以利用AIGC來去產生多模態(tài)的美術資源，甚至我們是否可以利用AIGC技術去產生交互程序的代碼。

在元宇宙教培的制作流程中，AIGC技術完全可以發(fā)揮它的優(yōu)勢。我們結合前面所提到的AIG3D技術，和大家來分享下基于MET平臺沉浸式教培內容制作的優(yōu)化流程。

在流程中，我們首先用AIG3D技術，即只需要拍攝單張照片，就可以快速、高效地去生成高質量的3D模型。3D模型成型后，可以快速的導入到MetMaker里，并進一步的利用MetMaker去零代碼或者低代碼快速制作相應的元宇宙課程內容，課程制作完成后一鍵發(fā)布到MetLab平臺，以便于教師和學生展開相應的元宇宙教學內容的學習。在學生側，整個教培內容既支持網頁端的瀏覽，同時也支持在VR側的沉浸式體驗。

縱觀整個流程，我們對前面的主流元宇宙教培內容做了極大的優(yōu)化，讓沒有任何技術門檻的創(chuàng)作者可以在很短的時間內，快速完成高質量教培內容的制作。

以上是我今天在量子位為各位伙伴所帶來的全部分享內容，也再次感謝大家對我本人以及幻霄科技的關注，謝謝大家！

關于「量子位·視點」

量子位發(fā)起的CEO/CTO系列分享活動，不定期邀請前沿科技領域創(chuàng)業(yè)公司CEO/CTO，分享企業(yè)最新戰(zhàn)略、最新技術、最新產品，與廣大從業(yè)者、愛好者探討前沿技術理論與產業(yè)實踐。歡迎大家多多關注 ～