墻面變鏡子，畫面很清晰：斯坦福新算法高清還原死角里的障礙物，可達亞毫米級分辨率
魚羊 發(fā)自 凹非寺
量子位 報道 | 公眾號 QbitAI
在視覺盲區(qū)里潛藏的障礙物，傳感器能“看”得到嗎？
答案是，不僅可以，分辨率甚至能達到亞毫米級別。
這項來自斯坦福、萊斯大學、普林斯頓和南衛(wèi)理公會大學等高校的最新研究，僅采用商用相機和標準指示器中的激光光源，就隔著1米遠，利用AI看穿了拐角里1厘米字母的模樣。
并且，只需要兩張 1/8s 曝光長度的圖像，就能達到300μm的分辨率。
作者之一的Prasanna Rangarajan解釋說，能以較短的實時成像曝光時間識別對象，這一點對于應用而言是至關重要的。
而另一位作者，普林斯頓大學計算機科學助理教授Felix Heide指出：
非視距成像在醫(yī)學成像、導航、機器人技術，以及國防領域都有重要的應用價值。
我們的工作推動該技術在各種應用領域更進一步。
分辨率達到亞毫米級別
實驗裝置是這樣設置的：
激光從光源射出，經過反射形成虛擬光源打到隱藏對象上，而后，隱藏對象反射的光會在粗糙墻壁上形成散射光（稱為虛擬探測器），研究人員會利用這些斑點圖案來重構被遮擋的對象。
虛擬探測器和視覺盲區(qū)里的隱藏對象，距離約為1米。
激光光源為500mW，532nm的CW激光源（Azur Light Systems ALS-532）。鏡頭則采用了焦距180mm的佳能長焦微距鏡頭。
實驗中，研究人員移除了相機的保護玻璃，以減少內部反射。
結果表明，在CNN的“解謎”下，僅使用兩張 1/8s 曝光長度的圖像，就可以以300μm的分辨率，重建1m外的識別對象。
△「7」和「F」高度均為1cm
用CNN解決嘈雜相位復原問題
此前，阻礙非視距（non-line-of-sight，NLoS）成像技術分辨率提升的，是相位復原（PR）的局限性，PR方法通常對噪聲非常敏感。
為了充分利用低信噪比的測量數(shù)據(jù)，從漫反射斑點圖案中重建對象，研究人員開發(fā)了針對特征噪聲合成數(shù)據(jù)進行訓練的AI算法。
具體改進如下：
- 使用頻譜密度估計的結果，分析與NLoS相關的噪聲分布。
- 提出了一種生成PR訓練數(shù)據(jù)的新方法，無需實驗、建模場景語義。
- 為PR問題提出了一種新的映射，并為基于學習的PR提出并分析了新的平移不變損失函數(shù)。
- 證明CNN比傳統(tǒng)方法更快且更可靠。
研究人員使用稀疏的“非結構化”圖像數(shù)據(jù)集訓練CNN。數(shù)據(jù)集來自Berkeley Segmentation Dataset 500。
△上為邊緣探測器成像，下為其對應的自相關
相比于傳統(tǒng)PR算法，這一基于CNN的方法對噪聲更加魯棒。也就是說，新方法可以在更弱的光線下工作，幀速更高。
還原看不見的死角
利用傳感器消除視覺死角的研究，其實早已展開。
比如MIT人工智能實驗室的圖像重建算法：根據(jù)影子，還原看不見的死角。
去年，英特爾實驗室和斯坦福大學的科學家則受地震成像啟發(fā)，利用揚聲器和麥克風來捕獲聲波反射時間，還原隱藏對象的圖像。
而提高系統(tǒng)的分辨率，讓這項技術更早應用到自動駕駛等領域之中，解決實際問題，則是研究人員們持續(xù)努力的方向。
傳送門
論文：https://www.osapublishing.org/optica/fulltext.cfm?uri=optica-7-1-63&id=425998
GitHub：https://github.com/ricedsp/Deep_Inverse_Correlography
相關報道：https://venturebeat.com/2020/01/16/researchers-propose-system-that-taps-ai-to-see-hidden-objects-around-corners/
— 完 —
相關閱讀
把大核卷積拆成三步，清華胡事民團隊新視覺Backbone刷榜了，集CNN與ViT優(yōu)點于一身
超越SwinTransformer與ConvNeXT
