66篇論文入選CVPR 2021，商湯的秘籍竟是“大力出奇跡”

魚羊 2021-06-22 21:06:14 來源：量子位

魚羊 發(fā)自 凹非寺
量子位 報道 | 公眾號 QbitAI

CVer翹首以盼的CVPR 2021，它來了它來了。

本屆CVPR論文錄用率，較去年略有回升，但競爭依然激烈——在7039篇有效投稿中，最終有1661篇中選，錄用率為23.6%。

繼去年華人一作包攬最佳論文、最佳學(xué)生論文、經(jīng)典論文獎之后，今年的CVPR又延續(xù)了“華人主場”的氣質(zhì)：

單看最佳論文獎候選名單，32篇中就有18篇有華人學(xué)者參與，足可謂占據(jù)半壁江山。

又比如年年霸榜的商湯科技，此番共有66篇論文入選，并且還是學(xué)術(shù)、產(chǎn)業(yè)兩開花的那種，其中還有一篇入選最佳論文候選名單。

入選最佳論文候選名單

照例，我們先來探究一下這份成績單的“質(zhì)量”。

就先從入選最佳論文候選名單的NeuralRecon: Real-Time Coherent 3D Reconstruction From Monocular看起。

這是一篇三維重建方向的研究。NeuralRecon是首個基于神經(jīng)網(wǎng)絡(luò)的單目實(shí)時場景三維重建系統(tǒng)。

具體的效果，就像這樣：

△實(shí)時重建

不同于以往基于深度圖估計(jì)與融合的方法，NeuralRecon直接基于圖像特征，預(yù)測用TSDF（截?cái)喾柧嚯x函數(shù)）表示的局部三維表面，并創(chuàng)新地提出了一個聯(lián)合TSDF重建與融合框架。

這樣做的好處是，可以讓網(wǎng)絡(luò)學(xué)習(xí)到三維表面在局部和全局上的平滑先驗(yàn)，使得最終的重建結(jié)果準(zhǔn)確且具有很好的一致性。

實(shí)際上，三維重建是實(shí)現(xiàn)沉浸式AR效果的基礎(chǔ)。而NeuralRecon這種基于單個攝像頭拍攝的視頻，實(shí)時進(jìn)行三維重建的方法，就為AR在普通智能手機(jī)上的落地應(yīng)用打下了理論基礎(chǔ)。

要知道，為了在手機(jī)、平板等設(shè)備上實(shí)現(xiàn)更好的AR效果，蘋果甚至用上了激光雷達(dá)這樣的傳感器?，F(xiàn)在有了NeuralRecon，即使是普通的智能手機(jī)，也能實(shí)現(xiàn)更強(qiáng)大的AR功能。

比如基于NeuralRecon重建的場景，實(shí)現(xiàn)這樣的效果：

論文鏈接：https://arxiv.org/abs/2104.00681

以上，還只是商湯這回在CVPR上展示的學(xué)術(shù)積累的一個方面。

比如，在與自動駕駛息息相關(guān)的點(diǎn)云方面，商湯同樣有一篇論文中選Oral。

在Variational Relational Point Completion Network這篇論文中，研究人員提出了一個兩階段網(wǎng)絡(luò)，來從殘缺點(diǎn)云中學(xué)習(xí)關(guān)系型結(jié)構(gòu)屬性，從而恢復(fù)可信且高質(zhì)量的完整點(diǎn)云形狀。此外，論文還生成了一個豐富的殘缺點(diǎn)云數(shù)據(jù)集，可作為點(diǎn)云補(bǔ)全測試基準(zhǔn)。

論文鏈接：https://arxiv.org/abs/2104.10154

而在圖像視頻編碼方面，Checkerboard Context Model for Efficient Learned Image Compression這篇論文創(chuàng)新地提出了棋盤格上下文建模方式，實(shí)現(xiàn)了在常用模型上超過40倍的加速。

論文鏈接：https://arxiv.org/abs/2103.15306

除此之外，在同期舉辦的挑戰(zhàn)賽中，商湯-南洋理工聯(lián)合實(shí)驗(yàn)室（S-Lab）團(tuán)隊(duì)一舉斬獲CVPR 2021 NTIRE視頻理解挑戰(zhàn)賽三項(xiàng)冠軍，包括視頻超分辨率、重度壓縮視頻質(zhì)量增強(qiáng)（固定量化參數(shù)，保真度）和重度壓縮視頻質(zhì)量增強(qiáng)（固定比特率，保真度）賽道。商湯研究院團(tuán)隊(duì)摘得CVPR 2021 ActivityNet時序動作檢測任務(wù)弱監(jiān)督學(xué)習(xí)賽道冠軍。

一窺商湯應(yīng)用布局

話至此處，可見在這屆CVPR上，商湯這個“算法工廠”仍然延續(xù)了全能的風(fēng)格。

并且在此次入選CVPR的論文中，不僅能看到商湯在各個學(xué)術(shù)領(lǐng)域的投入，還能一窺從自動駕駛到智慧城市，乃至在手機(jī)等諸多應(yīng)用領(lǐng)域，商湯的技術(shù)布局。

比如提升屏下相機(jī)的成像質(zhì)量：

△畫質(zhì)恢復(fù)前后

論文地址：https://jnjaby.github.io/projects/UDC/

又比如在自動駕駛技術(shù)上，針對軌跡預(yù)測問題，商湯的研究人員引入Transformer，提出了一種基于堆疊式Transformer的端到端軌跡預(yù)測框架mmTransformer。既有效減輕了軌跡預(yù)測的復(fù)雜性，也確保了多模態(tài)的軌跡輸出。

論文地址：https://decisionforce.github.io/mmTransformer/

而在激光雷達(dá)的3D目標(biāo)檢測上，商湯提出了一種名為ST3D的自訓(xùn)練域適應(yīng)方法，讓檢測器在用高質(zhì)量偽標(biāo)簽訓(xùn)練的同時，避免對大量簡單樣本過擬合。實(shí)驗(yàn)表明，ST3D在KITTI 3D目標(biāo)檢測榜上，甚至超過了全監(jiān)督方法。

論文地址：https://arxiv.org/abs/2103.05346

事實(shí)上，圍繞汽車智能化這個時下最熱的產(chǎn)業(yè)命題，商湯近來可謂落子頻繁。

在今年的上海國際車展上，商湯的SenseAuto智能汽車解決方案正式亮相，而結(jié)合SenseAuto展現(xiàn)的能力和商湯的CVPR論文，便可看出商湯布局自動駕駛的獨(dú)特之處——

依靠長期以來在感知技術(shù)上的沉淀和積累，一口氣打通車內(nèi)車外，從艙內(nèi)對駕駛員的感知，到艙外的自動駕駛系統(tǒng)，形成一站式解決方案。

另外，說到技術(shù)落地，就要提及商湯一直以來關(guān)注的另一個重點(diǎn)——長尾問題。

同樣，此番也有論文體現(xiàn)。如LVIS Challenge 2019&2020 冠軍團(tuán)隊(duì)的長尾目標(biāo)檢測算法Equalization Loss v2，從梯度的角度提出了一種統(tǒng)一的視角來分析長尾問題，并已開源。

論文地址：https://arxiv.org/abs/2012.08548

其實(shí)無論是在防火、防水這樣的智慧城市應(yīng)用場景中，還是在復(fù)雜道路行駛的自動駕駛場景中，長尾問題一直是困擾著AI模型的一個技術(shù)難點(diǎn)。

畢竟再怎么精心調(diào)教，看似達(dá)到了高精度的模型們，總是會在現(xiàn)實(shí)場景中被訓(xùn)練時未曾遇見的情況困住。

商湯也在多年的實(shí)踐中認(rèn)識到，一對一精細(xì)打磨的模型難以應(yīng)對長尾問題，反而是簡單粗暴地用上大數(shù)據(jù)+大模型+強(qiáng)算力，“眉毛頭發(fā)一把抓”，更能解決AI商業(yè)化落地中的這個老大難問題。

而這，其實(shí)也就是商湯為什么能在CVPR這樣的頂會上多點(diǎn)開花的技術(shù)秘籍。

商湯秘籍：AI大裝置

無論是SenseAuto還是解決長尾問題的“大力出奇跡”，據(jù)商湯聯(lián)合創(chuàng)始人林達(dá)華透露，幾乎都是在商湯AI大裝置的基礎(chǔ)上進(jìn)行的。

什么是AI大裝置？

其實(shí)就是商湯在過去幾年中，投資56億打造大數(shù)據(jù)+大模型+超強(qiáng)算力的人工智能基礎(chǔ)設(shè)施，包括AI算力中心（AIDC）、算法訓(xùn)練平臺SenseParrots和數(shù)據(jù)處理平臺，以及面向社區(qū)的開源算法模型框架OpenMMLab、面向企業(yè)的開放算法模型工廠SenseSpring。

至于AI大裝置給商湯帶來了什么，林達(dá)華也做了進(jìn)一步的解釋：

從技術(shù)突破這個角度來說，人工智能大裝置的一個重要意義就是，它為人工智能的技術(shù)研發(fā)提供了關(guān)鍵的算力支撐。

在這個基礎(chǔ)設(shè)施之上，人工智能大裝置還提供了豐富的工具和技術(shù)組件，能幫助研究員進(jìn)行快速的試錯，他們能夠快速地實(shí)驗(yàn)很多新的想法。

這樣一來，很多有價值的新技術(shù)、創(chuàng)新想法就都出來了。

可以說，商湯多年以來在CVPR等頂會上展現(xiàn)的研發(fā)、創(chuàng)新能力，在今天沉淀成為了AI大裝置的形態(tài)。而反過來，AI大裝置也進(jìn)一步加速了研發(fā)人員實(shí)現(xiàn)想法創(chuàng)意、凝結(jié)技術(shù)成果的過程。

林達(dá)華談到，在現(xiàn)在這個階段，人工智能的一些簡單的基礎(chǔ)問題都已經(jīng)解決了，AI的進(jìn)一步發(fā)展，就是要深入到更廣泛的行業(yè)里面。

但這也就意味著，成千上萬的具體問題正在浮出水面，人工智能如果沿著過去那種“具體問題具體攻破”的路徑接著走，是很難真正更深化地實(shí)現(xiàn)落地的。

這個時候，整個行業(yè)需要通用性更強(qiáng)的模型。

而像GPT-3、AlphaFold這樣的代表性成果，就指出了一條可行的路徑：大參數(shù)模型，能夠帶來完全不一樣的革命性的變化。

這也就是商湯要重金押注AI大裝置的意義所在。

一方面，對于未來10年的人工智能發(fā)展，構(gòu)建起基礎(chǔ)設(shè)施。

另一方面，當(dāng)越來越多的人才投入到AI算法研發(fā)領(lǐng)域，AI大裝置這樣的基礎(chǔ)設(shè)施，將隨著技術(shù)的開源開放，逐漸從企業(yè)內(nèi)部平臺，演變成面向整個生態(tài)、整個社區(qū)的具有公共性質(zhì)的設(shè)施。

不僅僅是對商湯而言，對于整個AI產(chǎn)業(yè)而言，人才+生態(tài)+技術(shù)，或許正是推動AI進(jìn)入工業(yè)化發(fā)展階段，真正高效率、低成本賦能百業(yè)的關(guān)鍵所在。

現(xiàn)在，商湯CVPR 2021的成績單，就是對AI大裝置路徑的一次有力驗(yàn)證。

“大力出奇跡”在未來還能給AI領(lǐng)域帶來怎樣的驚喜，由此看來值得持續(xù)期待。

你覺得呢？

— 完 —