谷歌最新黑科技：裸眼3D視頻通話，宛如真人面對面！Jeff Dean：魔鏡啊魔鏡

夢晨 2021-05-19 13:32:44 來源：量子位

晨 明敏 發(fā)自 凹非寺
量子位 報道 | 公眾號 QbitAI

受疫情影響停辦一年的谷歌I/O大會回來了，這一次是全程線上舉辦。

在會上，谷歌公布了一個秘密開發(fā)5年多的黑科技：

這個名為Starline的3D視頻通話技術(shù)，讓屏幕另一邊的人看起來有體積、有深度和陰影，就像坐在你的面前一般真實(shí)。

而且是裸眼3D，不需要佩戴任何眼鏡或者頭盔。

連谷歌AI掌門人Jeff Dean都表示大受震撼，可以稱作“魔鏡”。

在疫情中，人與人的溝通方式受到挑戰(zhàn)，隔離使分散的家人無法團(tuán)聚，遠(yuǎn)程辦公、在線教育成為新的熱點(diǎn)。

Starline就是谷歌給出的答案。

已有大約100名谷歌員工在參與過內(nèi)部測試，與普通的視頻會議相比，這些員工表示使用Starline開會過后對細(xì)節(jié)能有更生動的回憶。

從會議中走出來時，感覺到確實(shí)與對方見過面。

光場顯示屏

Starline用到的設(shè)備是一個65英寸的光場顯示屏，以及在現(xiàn)場布置的十多個攝像頭和傳感器。

這些傳感器從不同角度捕捉人的形象，使用深度學(xué)習(xí)進(jìn)行實(shí)時壓縮，傳輸?shù)搅硪贿呍僦亟ǔ?D影像播放出來。

這一切都是實(shí)時完成，并非事后渲染。

配合上空間音效，屏幕兩端的人就可以即時交流。

數(shù)據(jù)傳輸與普通的視頻會議一樣基于WebRTC，獨(dú)特的壓縮算法使雙向?qū)崟r傳輸3D影像成為可能。

雖然演示用的兩個展臺網(wǎng)絡(luò)是直接光纖連接的，但谷歌工程師堅(jiān)稱標(biāo)準(zhǔn)的辦公環(huán)境網(wǎng)絡(luò)就可以勝任。

《連線》雜志的記者進(jìn)行了現(xiàn)場體驗(yàn)，他表示畫面會以真實(shí)比例呈現(xiàn)，里面的人像在一個透明的盒子里。

不過如果在沙發(fā)上挪動位置太大，體積的感覺就會消失，變成了看普通的大屏幕電視。

此外，體驗(yàn)過程中還有將網(wǎng)頁投放到光場顯示屏上，讓兩人進(jìn)行實(shí)時協(xié)作的環(huán)節(jié)。

開發(fā)歷程

過去幾年，谷歌在如何拉近人與人的距離上，下足了功夫。

谷歌眼鏡、獨(dú)立VR頭盔，雖然在一定程度上實(shí)現(xiàn)了把人像呈現(xiàn)在眼前，但是能達(dá)到的效果都十分有限。

Google Glass與Daydream VR頭盔在商業(yè)上都沒有獲得成功，目前都已停產(chǎn)。

Starline成了新的研究方向。

不用佩戴額外的裝備，可以使技術(shù)的成分隱藏起來，人們能夠把注意力集中到交流的對象上。

但是它什么時候能走入尋常百姓家，這還需要打一個大大的問號。

谷歌并沒有透露Starline的造價有多少，反正不會很便宜。

目前，Starline還只是在谷歌內(nèi)部小范圍測試應(yīng)用。

他們計劃今年內(nèi)在少數(shù)企業(yè)中進(jìn)行測試，主要涉及云服務(wù)、遠(yuǎn)程醫(yī)療、媒體領(lǐng)域，但拒絕透露這些企業(yè)的名字。

不過其中用到的技術(shù)會很快應(yīng)用到一般視頻會議中，比如增強(qiáng)光照和陰影。

I/O大會其他亮點(diǎn)

除了讓人眼前一亮的“魔鏡”，今年谷歌I/O大會還發(fā)布了哪些新內(nèi)容？

今年，谷歌正式發(fā)布了第四代TPU，并將在谷歌的數(shù)據(jù)中心運(yùn)行。

第四代TPU的算力是第三代的2倍，一個pod（芯片集合）可以超過1個exaflop的運(yùn)算能力，即每秒10的18次方次運(yùn)算，較上一代提升10倍。

AI無疑是今年大會的重頭戲，谷歌此次推出了兩個算法模型。

LaMDA是一個基于 Transformer架構(gòu)的對話模型，它能夠在“聽懂”人類指令的基礎(chǔ)上，對答如流并保證邏輯、事實(shí)正確。

目前LaMDA還在實(shí)驗(yàn)階段，不久的將來會提供給第三方進(jìn)行測試。谷歌表示，LaMDA最終會應(yīng)用在Google搜索、Google助手等功能中。

與此同時，谷歌還發(fā)布了一個全新的模型——MUM。

它是一個基于搜索結(jié)果的多任務(wù)統(tǒng)一模型，能同時處理文字、圖片、視頻等信息，最終得出一個具有參考價值的信息。

比如當(dāng)被問道：“我已經(jīng)成功登上了亞當(dāng)斯山，明年想去登富士山，應(yīng)該準(zhǔn)備些什么呢？”

MUM可以通過人們提供的照片、視頻、路線圖等信息，結(jié)合當(dāng)?shù)氐臍夂?、地質(zhì)情況，規(guī)劃出一個最合理的攀登計劃。不過現(xiàn)在它還處于實(shí)驗(yàn)階段。

此外，谷歌首次展示了他們位于加州圣巴巴拉的量子AI園區(qū)，這個園區(qū)中設(shè)有量子數(shù)據(jù)中心、量子硬件研究實(shí)驗(yàn)室，以及谷歌自己的量子處理器芯片制造設(shè)施。

他們表示正在推進(jìn)一個大計劃：用100 萬個物理量子比特建造一臺有糾錯能力的量子計算機(jī)。

這對于目前量子計算機(jī)的規(guī)模（少于100個量子比特）而言，是個巨大的突破。

最后當(dāng)然，也少不了保留項(xiàng)目Android 12。

這一次Android 12引入全新的設(shè)計語言——Material You，Google強(qiáng)調(diào)“你”才應(yīng)該是操作系統(tǒng)的創(chuàng)作者。

在全新的界面中，用戶可以自由定義系統(tǒng)的色彩組合，而不僅僅是單獨(dú)的顏色。

并且完全重寫了一些底層交互邏輯，在增加流暢性的同時延長續(xù)航。

Android12的另一個重點(diǎn)是隱私保護(hù)。增加統(tǒng)一的隱私面板，隱私設(shè)置一目了然。

另外在APP使用攝像頭或話筒時，用戶可以在通知欄獲得提示，并且增加全局權(quán)限開關(guān)。

同時還引入了一個“私有計算核心”的概念。手機(jī)中所有基于AI運(yùn)算得到的數(shù)據(jù)，都會被存儲在特定的空間內(nèi)，不會被外部竊取。

未來，Android 12還有計劃加入數(shù)字車鑰匙功能，已與寶馬展開合作。

此外，Google宣布他們將聯(lián)合三星和已經(jīng)被Google收購的Fitbit，重新打造Wear OS。

Google I/O 線上參與地址：
https://events.google.com/io

參考鏈接：
[1]https://www.wired.com/story/google-project-starline/
[2]https://blog.google/technology/developers/io21-helpful-google/