66篇論文入選CVPR 2021，商湯的秘籍竟是“大力出奇跡”

魚(yú)羊 2021-06-22 21:06:14 來(lái)源：量子位

魚(yú)羊 發(fā)自 凹非寺
量子位 報(bào)道 | 公眾號(hào) QbitAI

CVer翹首以盼的CVPR 2021，它來(lái)了它來(lái)了。

本屆CVPR論文錄用率，較去年略有回升，但競(jìng)爭(zhēng)依然激烈——在7039篇有效投稿中，最終有1661篇中選，錄用率為23.6%。

繼去年華人一作包攬最佳論文、最佳學(xué)生論文、經(jīng)典論文獎(jiǎng)之后，今年的CVPR又延續(xù)了“華人主場(chǎng)”的氣質(zhì)：

單看最佳論文獎(jiǎng)候選名單，32篇中就有18篇有華人學(xué)者參與，足可謂占據(jù)半壁江山。

又比如年年霸榜的商湯科技，此番共有66篇論文入選，并且還是學(xué)術(shù)、產(chǎn)業(yè)兩開(kāi)花的那種，其中還有一篇入選最佳論文候選名單。

入選最佳論文候選名單

照例，我們先來(lái)探究一下這份成績(jī)單的“質(zhì)量”。

就先從入選最佳論文候選名單的NeuralRecon: Real-Time Coherent 3D Reconstruction From Monocular看起。

這是一篇三維重建方向的研究。NeuralRecon是首個(gè)基于神經(jīng)網(wǎng)絡(luò)的單目實(shí)時(shí)場(chǎng)景三維重建系統(tǒng)。

具體的效果，就像這樣：

△實(shí)時(shí)重建

不同于以往基于深度圖估計(jì)與融合的方法，NeuralRecon直接基于圖像特征，預(yù)測(cè)用TSDF（截?cái)喾?hào)距離函數(shù)）表示的局部三維表面，并創(chuàng)新地提出了一個(gè)聯(lián)合TSDF重建與融合框架。

這樣做的好處是，可以讓網(wǎng)絡(luò)學(xué)習(xí)到三維表面在局部和全局上的平滑先驗(yàn)，使得最終的重建結(jié)果準(zhǔn)確且具有很好的一致性。

實(shí)際上，三維重建是實(shí)現(xiàn)沉浸式AR效果的基礎(chǔ)。而NeuralRecon這種基于單個(gè)攝像頭拍攝的視頻，實(shí)時(shí)進(jìn)行三維重建的方法，就為AR在普通智能手機(jī)上的落地應(yīng)用打下了理論基礎(chǔ)。

要知道，為了在手機(jī)、平板等設(shè)備上實(shí)現(xiàn)更好的AR效果，蘋(píng)果甚至用上了激光雷達(dá)這樣的傳感器?，F(xiàn)在有了NeuralRecon，即使是普通的智能手機(jī)，也能實(shí)現(xiàn)更強(qiáng)大的AR功能。

比如基于NeuralRecon重建的場(chǎng)景，實(shí)現(xiàn)這樣的效果：

論文鏈接：https://arxiv.org/abs/2104.00681

以上，還只是商湯這回在CVPR上展示的學(xué)術(shù)積累的一個(gè)方面。

比如，在與自動(dòng)駕駛息息相關(guān)的點(diǎn)云方面，商湯同樣有一篇論文中選Oral。

在Variational Relational Point Completion Network這篇論文中，研究人員提出了一個(gè)兩階段網(wǎng)絡(luò)，來(lái)從殘缺點(diǎn)云中學(xué)習(xí)關(guān)系型結(jié)構(gòu)屬性，從而恢復(fù)可信且高質(zhì)量的完整點(diǎn)云形狀。此外，論文還生成了一個(gè)豐富的殘缺點(diǎn)云數(shù)據(jù)集，可作為點(diǎn)云補(bǔ)全測(cè)試基準(zhǔn)。

論文鏈接：https://arxiv.org/abs/2104.10154

而在圖像視頻編碼方面，Checkerboard Context Model for Efficient Learned Image Compression這篇論文創(chuàng)新地提出了棋盤(pán)格上下文建模方式，實(shí)現(xiàn)了在常用模型上超過(guò)40倍的加速。

論文鏈接：https://arxiv.org/abs/2103.15306

除此之外，在同期舉辦的挑戰(zhàn)賽中，商湯-南洋理工聯(lián)合實(shí)驗(yàn)室（S-Lab）團(tuán)隊(duì)一舉斬獲CVPR 2021 NTIRE視頻理解挑戰(zhàn)賽三項(xiàng)冠軍，包括視頻超分辨率、重度壓縮視頻質(zhì)量增強(qiáng)（固定量化參數(shù)，保真度）和重度壓縮視頻質(zhì)量增強(qiáng)（固定比特率，保真度）賽道。商湯研究院團(tuán)隊(duì)摘得CVPR 2021 ActivityNet時(shí)序動(dòng)作檢測(cè)任務(wù)弱監(jiān)督學(xué)習(xí)賽道冠軍。

一窺商湯應(yīng)用布局

話至此處，可見(jiàn)在這屆CVPR上，商湯這個(gè)“算法工廠”仍然延續(xù)了全能的風(fēng)格。

并且在此次入選CVPR的論文中，不僅能看到商湯在各個(gè)學(xué)術(shù)領(lǐng)域的投入，還能一窺從自動(dòng)駕駛到智慧城市，乃至在手機(jī)等諸多應(yīng)用領(lǐng)域，商湯的技術(shù)布局。

比如提升屏下相機(jī)的成像質(zhì)量：

△畫(huà)質(zhì)恢復(fù)前后

論文地址：https://jnjaby.github.io/projects/UDC/

又比如在自動(dòng)駕駛技術(shù)上，針對(duì)軌跡預(yù)測(cè)問(wèn)題，商湯的研究人員引入Transformer，提出了一種基于堆疊式Transformer的端到端軌跡預(yù)測(cè)框架mmTransformer。既有效減輕了軌跡預(yù)測(cè)的復(fù)雜性，也確保了多模態(tài)的軌跡輸出。

論文地址：https://decisionforce.github.io/mmTransformer/

而在激光雷達(dá)的3D目標(biāo)檢測(cè)上，商湯提出了一種名為ST3D的自訓(xùn)練域適應(yīng)方法，讓檢測(cè)器在用高質(zhì)量偽標(biāo)簽訓(xùn)練的同時(shí)，避免對(duì)大量簡(jiǎn)單樣本過(guò)擬合。實(shí)驗(yàn)表明，ST3D在KITTI 3D目標(biāo)檢測(cè)榜上，甚至超過(guò)了全監(jiān)督方法。

論文地址：https://arxiv.org/abs/2103.05346

事實(shí)上，圍繞汽車(chē)智能化這個(gè)時(shí)下最熱的產(chǎn)業(yè)命題，商湯近來(lái)可謂落子頻繁。

在今年的上海國(guó)際車(chē)展上，商湯的SenseAuto智能汽車(chē)解決方案正式亮相，而結(jié)合SenseAuto展現(xiàn)的能力和商湯的CVPR論文，便可看出商湯布局自動(dòng)駕駛的獨(dú)特之處——

依靠長(zhǎng)期以來(lái)在感知技術(shù)上的沉淀和積累，一口氣打通車(chē)內(nèi)車(chē)外，從艙內(nèi)對(duì)駕駛員的感知，到艙外的自動(dòng)駕駛系統(tǒng)，形成一站式解決方案。

另外，說(shuō)到技術(shù)落地，就要提及商湯一直以來(lái)關(guān)注的另一個(gè)重點(diǎn)——長(zhǎng)尾問(wèn)題。

同樣，此番也有論文體現(xiàn)。如LVIS Challenge 2019&2020 冠軍團(tuán)隊(duì)的長(zhǎng)尾目標(biāo)檢測(cè)算法Equalization Loss v2，從梯度的角度提出了一種統(tǒng)一的視角來(lái)分析長(zhǎng)尾問(wèn)題，并已開(kāi)源。

論文地址：https://arxiv.org/abs/2012.08548

其實(shí)無(wú)論是在防火、防水這樣的智慧城市應(yīng)用場(chǎng)景中，還是在復(fù)雜道路行駛的自動(dòng)駕駛場(chǎng)景中，長(zhǎng)尾問(wèn)題一直是困擾著AI模型的一個(gè)技術(shù)難點(diǎn)。

畢竟再怎么精心調(diào)教，看似達(dá)到了高精度的模型們，總是會(huì)在現(xiàn)實(shí)場(chǎng)景中被訓(xùn)練時(shí)未曾遇見(jiàn)的情況困住。

商湯也在多年的實(shí)踐中認(rèn)識(shí)到，一對(duì)一精細(xì)打磨的模型難以應(yīng)對(duì)長(zhǎng)尾問(wèn)題，反而是簡(jiǎn)單粗暴地用上大數(shù)據(jù)+大模型+強(qiáng)算力，“眉毛頭發(fā)一把抓”，更能解決AI商業(yè)化落地中的這個(gè)老大難問(wèn)題。

而這，其實(shí)也就是商湯為什么能在CVPR這樣的頂會(huì)上多點(diǎn)開(kāi)花的技術(shù)秘籍。

商湯秘籍：AI大裝置

無(wú)論是SenseAuto還是解決長(zhǎng)尾問(wèn)題的“大力出奇跡”，據(jù)商湯聯(lián)合創(chuàng)始人林達(dá)華透露，幾乎都是在商湯AI大裝置的基礎(chǔ)上進(jìn)行的。

什么是AI大裝置？

其實(shí)就是商湯在過(guò)去幾年中，投資56億打造大數(shù)據(jù)+大模型+超強(qiáng)算力的人工智能基礎(chǔ)設(shè)施，包括AI算力中心（AIDC）、算法訓(xùn)練平臺(tái)SenseParrots和數(shù)據(jù)處理平臺(tái)，以及面向社區(qū)的開(kāi)源算法模型框架OpenMMLab、面向企業(yè)的開(kāi)放算法模型工廠SenseSpring。

至于AI大裝置給商湯帶來(lái)了什么，林達(dá)華也做了進(jìn)一步的解釋?zhuān)?/p>

從技術(shù)突破這個(gè)角度來(lái)說(shuō)，人工智能大裝置的一個(gè)重要意義就是，它為人工智能的技術(shù)研發(fā)提供了關(guān)鍵的算力支撐。

在這個(gè)基礎(chǔ)設(shè)施之上，人工智能大裝置還提供了豐富的工具和技術(shù)組件，能幫助研究員進(jìn)行快速的試錯(cuò)，他們能夠快速地實(shí)驗(yàn)很多新的想法。

這樣一來(lái)，很多有價(jià)值的新技術(shù)、創(chuàng)新想法就都出來(lái)了。

可以說(shuō)，商湯多年以來(lái)在CVPR等頂會(huì)上展現(xiàn)的研發(fā)、創(chuàng)新能力，在今天沉淀成為了AI大裝置的形態(tài)。而反過(guò)來(lái)，AI大裝置也進(jìn)一步加速了研發(fā)人員實(shí)現(xiàn)想法創(chuàng)意、凝結(jié)技術(shù)成果的過(guò)程。

林達(dá)華談到，在現(xiàn)在這個(gè)階段，人工智能的一些簡(jiǎn)單的基礎(chǔ)問(wèn)題都已經(jīng)解決了，AI的進(jìn)一步發(fā)展，就是要深入到更廣泛的行業(yè)里面。

但這也就意味著，成千上萬(wàn)的具體問(wèn)題正在浮出水面，人工智能如果沿著過(guò)去那種“具體問(wèn)題具體攻破”的路徑接著走，是很難真正更深化地實(shí)現(xiàn)落地的。

這個(gè)時(shí)候，整個(gè)行業(yè)需要通用性更強(qiáng)的模型。

而像GPT-3、AlphaFold這樣的代表性成果，就指出了一條可行的路徑：大參數(shù)模型，能夠帶來(lái)完全不一樣的革命性的變化。

這也就是商湯要重金押注AI大裝置的意義所在。

一方面，對(duì)于未來(lái)10年的人工智能發(fā)展，構(gòu)建起基礎(chǔ)設(shè)施。

另一方面，當(dāng)越來(lái)越多的人才投入到AI算法研發(fā)領(lǐng)域，AI大裝置這樣的基礎(chǔ)設(shè)施，將隨著技術(shù)的開(kāi)源開(kāi)放，逐漸從企業(yè)內(nèi)部平臺(tái)，演變成面向整個(gè)生態(tài)、整個(gè)社區(qū)的具有公共性質(zhì)的設(shè)施。

不僅僅是對(duì)商湯而言，對(duì)于整個(gè)AI產(chǎn)業(yè)而言，人才+生態(tài)+技術(shù)，或許正是推動(dòng)AI進(jìn)入工業(yè)化發(fā)展階段，真正高效率、低成本賦能百業(yè)的關(guān)鍵所在。

現(xiàn)在，商湯CVPR 2021的成績(jī)單，就是對(duì)AI大裝置路徑的一次有力驗(yàn)證。

“大力出奇跡”在未來(lái)還能給AI領(lǐng)域帶來(lái)怎樣的驚喜，由此看來(lái)值得持續(xù)期待。

你覺(jué)得呢？

— 完 —