「過擬合」也能廢物利用了：有人用它高清重建3D物體表面，參數(shù)減少99%
多倫多大學(xué)和麥吉爾大學(xué)的一項(xiàng)最新研究表明，過擬合也并非一無是處，在重建3D物體外觀上，過擬合神經(jīng)網(wǎng)絡(luò)就有奇效。
魚羊 發(fā)自 凹非寺
量子位 報(bào)道 | 公眾號(hào) QbitAI
聽到過擬合三個(gè)字，大部分機(jī)器學(xué)習(xí)研究者都會(huì)如臨大敵。
畢竟沒有人會(huì)希望自家模型崽崽，脫離了題集范圍就不會(huì)考試了。
但現(xiàn)在，多倫多大學(xué)和麥吉爾大學(xué)的一項(xiàng)最新研究表明，過擬合也并非一無是處。
比如在重建3D物體外觀上，過擬合神經(jīng)網(wǎng)絡(luò)就有奇效。
用過擬合神經(jīng)網(wǎng)絡(luò)重塑物體形狀
有向距離場SDF（signed distance field）是計(jì)算機(jī)圖形學(xué)中，常見的一種隱式曲面表示方法。
可以無損放大渲染字體：
還能實(shí)現(xiàn)極具真實(shí)感的的著色和光照效果：
不過，如果要用SDF來存儲(chǔ)具有復(fù)雜細(xì)節(jié)的物體外觀，則將面臨無法進(jìn)行擴(kuò)展的問題。
此前已有研究證明，神經(jīng)網(wǎng)絡(luò)是3D物體SDF的有效近似。于是，多倫多大學(xué)和麥吉爾大學(xué)的研究人員們開了個(gè)腦洞：
能不能帶有目的性地去過擬合一個(gè)單一3D物體表面的SDF表示？
換句話說，就是能否讓過擬合神經(jīng)網(wǎng)絡(luò)，作為一種隱式形狀表示，來高精度重建3D物體的外觀？
這個(gè)可以有。
網(wǎng)絡(luò)結(jié)構(gòu)
研究人員們首先打造了一個(gè)N層前饋全連接網(wǎng)絡(luò)，其隱藏層大小為H，隱藏層激活函數(shù)為ReLU，而輸出層則由TanH激活。
需要注意的是，雖然增大網(wǎng)絡(luò)深度和寬度會(huì)得到更好的結(jié)果，但也會(huì)使得內(nèi)存占用和渲染時(shí)間倍增。
經(jīng)過測試，研究人員發(fā)現(xiàn)當(dāng)N為8，H為32時(shí)，網(wǎng)絡(luò)能在重建精度、渲染速度和內(nèi)存占用之間取得良好的平衡。
這一架構(gòu)與前輩方法DeepSDF的默認(rèn)架構(gòu)相比，參數(shù)數(shù)量減少了99%，渲染第一幀的速度加快了93%，僅需要64kB內(nèi)存，同時(shí)重建質(zhì)量的損失仍在可接受范圍之內(nèi)。
網(wǎng)絡(luò)的輸入為給定對(duì)象的SDF點(diǎn)樣本，輸出則為網(wǎng)絡(luò)預(yù)測的每個(gè)輸入點(diǎn)的有向距離。
研究人員將這一網(wǎng)絡(luò)結(jié)構(gòu)命名為OVERFITSDF。
采樣策略和損失函數(shù)
為了讓過擬合神經(jīng)網(wǎng)絡(luò)能在相同的存儲(chǔ)成本下，實(shí)現(xiàn)更高的精度。研究人員還精心設(shè)計(jì)了采樣策略和損失函數(shù)。
在采樣策略上，研究人員沒有采用隨機(jī)采樣的方案，而是集中關(guān)注對(duì)邊界轉(zhuǎn)換更具「信息量」的點(diǎn)。
具體而言，就是根據(jù)點(diǎn)到輸入形狀表面的距離，來進(jìn)行采樣。
而在損失函數(shù)方面，研究人員采用簡單的最小絕對(duì)偏差（L1）作為損失函數(shù)。他們發(fā)現(xiàn)，與平方誤差（L2）相比，其表面重建效果會(huì)更好。
該方法根據(jù)重要性度量w(x)，對(duì)損失函數(shù)進(jìn)行縮放，這樣重要性小的訓(xùn)練樣本對(duì)損失的影響也就較小。
如此，就可以賦予指定區(qū)域（如更接近表面的樣本點(diǎn)）更高的影響權(quán)重。也能夠根據(jù)需求提高局部區(qū)域的重建精度。
有向距離
另外，研究人員采用廣義纏繞數(shù)而非法線來標(biāo)記距離方向，這樣就能夠處理帶有自交點(diǎn)、開放邊界、非流形的網(wǎng)格，在補(bǔ)習(xí)生網(wǎng)格真實(shí)拓?fù)浣Y(jié)構(gòu)的情況下，大大降低了模型的復(fù)雜性。
實(shí)驗(yàn)結(jié)果
那么，用OVERFITSDF替代真實(shí)的SDF，效果究竟如何呢？
實(shí)驗(yàn)證明，此前的SOTA方法DeepSDF的重建質(zhì)量，會(huì)因?yàn)閹缀谓Y(jié)構(gòu)沒有對(duì)齊到默認(rèn)方向而受到明顯影響。
但OVERFITSDF無論方向如何，都會(huì)收斂到相同的精度。
而在同樣的內(nèi)存預(yù)算下，無論是和原始三角形網(wǎng)格（下圖左）相比，還是和統(tǒng)一有向距離網(wǎng)格（下圖中）相比，該方法（下圖右）都具有更強(qiáng)的表現(xiàn)力。
傳送門
論文地址：
https://arxiv.org/abs/2009.09808
相關(guān)閱讀
墻面也能變鏡子，只看影子就能還原視頻，MIT新算法讓攝像頭無死角
只用一張圖+相機(jī)走位，AI就能腦補(bǔ)周圍環(huán)境，來自華人團(tuán)隊(duì) | CVPR2022
AI看一眼門口，就能腦補(bǔ)出房間內(nèi)部畫面
