14.7倍推理加速、18.9倍存儲(chǔ)節(jié)省！北航、商湯、UCSD提出首個(gè)點(diǎn)云二值網(wǎng)絡(luò) | ICLR 2021

允中 2021-02-02 13:09:58 來(lái)源：量子位

允中?編輯整理
量子位 報(bào)道 | 公眾號(hào) QbitAI

編者按：

無(wú)論是在自動(dòng)駕駛場(chǎng)景中，還是在手持移動(dòng)設(shè)備上，基于點(diǎn)云的深度學(xué)習(xí)模型應(yīng)用越來(lái)越廣泛。

但這些離線邊緣場(chǎng)景自身的限制，給模型的推理、存儲(chǔ)、傳輸?shù)拳h(huán)節(jié)都帶來(lái)了巨大的挑戰(zhàn)。如何讓點(diǎn)云模型在邊緣設(shè)備上“又輕又快”，是工業(yè)界和學(xué)術(shù)界共同關(guān)注的重要問(wèn)題。

現(xiàn)在，為了解決邊緣設(shè)備上運(yùn)行點(diǎn)云應(yīng)用時(shí)的資源限制問(wèn)題，來(lái)自北航、商湯和 UCSD的研究團(tuán)隊(duì)，基于神經(jīng)網(wǎng)絡(luò)量化這樣的模型壓縮和加速手段，提出了首個(gè)點(diǎn)云深度學(xué)習(xí)二值化模型 BiPointNet。

這一方法不僅在邊緣設(shè)備上帶來(lái)了?14.7倍?的加速比和?18.9倍?的存儲(chǔ)節(jié)省，準(zhǔn)確率損失也不大（ 相差1-2%以內(nèi)），甚至可以媲美全精度網(wǎng)絡(luò)。

目前，這一研究成果已經(jīng)被 ICLR 2021接收。

不妨一起來(lái)看看研究團(tuán)隊(duì)關(guān)于這篇論文的解讀。

首個(gè)點(diǎn)云二值網(wǎng)絡(luò)

在自動(dòng)駕駛、AR 等實(shí)際應(yīng)用場(chǎng)景下，用于點(diǎn)云的深度神經(jīng)網(wǎng)絡(luò)模型非常需要實(shí)時(shí)交互和快速響應(yīng)。但是，它們的部署環(huán)境通常是一些資源受限的邊緣設(shè)備。

盡管研究者們已經(jīng)提出了諸如 Grid-GCN，RandLA-Net 和 PointVoxel 之類的新穎的算法來(lái)加速點(diǎn)云網(wǎng)絡(luò)的處理，但是它們還是依賴于昂貴的浮點(diǎn)運(yùn)算。

模型二值化方法受益于輕量的二值化參數(shù)和高效的按位操作，已成為最有前景的模型壓縮加速方法之一，但是由于 2D 圖像和 3D 點(diǎn)云之間的根本性差異，現(xiàn)有的二值化方法無(wú)法被直接遷移到 3D 點(diǎn)云網(wǎng)絡(luò)中。

在本文中，我們提出了 BiPointNet，將全精度的點(diǎn)云網(wǎng)絡(luò)轉(zhuǎn)換成高效且準(zhǔn)確的二值化模型 (整體框架圖見(jiàn)圖 1)。我們研究了二值化特征的信息熵和點(diǎn)云聚合函數(shù)的表現(xiàn)之間的關(guān)系：為了解決聚合后的二值化特征存在同質(zhì)化的問(wèn)題，提出了熵最大化聚合函數(shù) (Entropy-Maximizing Aggregation，EMA)；提出了逐層尺度恢復(fù) (Layer-wise Scale Recovery，LSR) 以有效地恢復(fù)輸出的尺度，并使得尺度敏感的結(jié)構(gòu)可以正常運(yùn)作。

△圖 1: BiPointNet 的整體框架圖

我們的 BiPointNet 首次實(shí)現(xiàn)利用二值化點(diǎn)云網(wǎng)絡(luò)進(jìn)行深度學(xué)習(xí)，并極大地超越了現(xiàn)有的基于 2D 視覺(jué)的二值化算法。BiPointNet 的性能表現(xiàn)甚至可以媲美全精度的網(wǎng)絡(luò) (準(zhǔn)確率相差在 1-2% 以內(nèi))，它可以被輕易地?cái)U(kuò)展到其他主流的點(diǎn)云特征提取器上，比如 PointNet++, PointCNN, DGCNN, 和PointConv。BiPointNet 在多種任務(wù)上(例如分類、零件分割、語(yǔ)義分割)相較于基線算法都可以取得明顯的性能提升。

此外，我們?cè)谡鎸?shí)設(shè)備上對(duì) BiPointNet 進(jìn)行了實(shí)際測(cè)試，實(shí)現(xiàn)了 14.7 倍的加速和 18.9 倍存儲(chǔ)節(jié)省。

方法

點(diǎn)云非結(jié)構(gòu)化（unstructured）的特征導(dǎo)致多層感知機(jī)是網(wǎng)絡(luò)中最常見(jiàn)的結(jié)構(gòu)，而二值化模型包含的是二值化的多層感知機(jī)，能夠?qū)p量級(jí)的二值化權(quán)重和激活執(zhí)行高效的位運(yùn)算操作 (XNOR 和 Bitcount) ：

其中，Ba 和 Bw 代表二值化激活與權(quán)重，⊙ 表示基于位運(yùn)算的向量?jī)?nèi)積。

EMA：熵最大化聚合函數(shù)

我們的研究表明，由于嚴(yán)重的同質(zhì)化現(xiàn)象，聚合函數(shù)是二值化的一個(gè)性能瓶頸。

理想情況下，二值化張量 B 應(yīng)該盡可能多地保留原始張量 Y 所包含的信息。而當(dāng)最大池化層的輸入呈隨機(jī)分布時(shí)，二值化輸出的信息熵隨著聚合元素?cái)?shù)量 n 趨近于無(wú)窮大而趨向于 0。

由于點(diǎn)的數(shù)量通常較大 (如 ModelNet40 的分類任務(wù)的 n 為 1024 )，這導(dǎo)致不論輸入池化層的特征如何，其輸出特征總是高度相似的，如圖 2 所示。2D 視覺(jué)中聚合函數(shù)通常用較小的核(ResNet 和 VGG-Net 中使用 2×2 的池化核)，問(wèn)題并不嚴(yán)重。因此，我們需要一類能夠使 B 的信息熵最大化的聚合函數(shù)，以避免聚合引起的特征同質(zhì)化問(wèn)題。

△圖 2: 聚合引起的特征同質(zhì)化問(wèn)題

我們證明，理論上存在一個(gè)分布 Y，通過(guò)最大化二值張量 B 的信息熵，能夠使得 Y 和 B 的互信息最大化，以盡可能地把 Y 中的信息保留在 B 中?；诖宋覀兲岢鯡MA，一類二值化友好的聚合層，它基于全精度神經(jīng)網(wǎng)絡(luò)中的聚合函數(shù)，并進(jìn)一步保留了輸入經(jīng)過(guò)變換后的熵。

EMA 的定義是：

其中 φ 表示聚合函數(shù) (例如最大池化和平均池化)，τ 表示變換單元，可以有多種形式，我們發(fā)現(xiàn)最簡(jiǎn)單的常數(shù)偏移已經(jīng)十分有效。這個(gè)偏移將輸入進(jìn)行移位運(yùn)算以最大化二值化特征 B 的信息熵。

BiPointNet 中的變換單元 τ 可以被定義為：

當(dāng) φ 表示最大池化時(shí)，目標(biāo)函數(shù)的解與 n 無(wú)關(guān)，從而規(guī)避了在點(diǎn)云應(yīng)用中聚合元素?cái)?shù)量 n 過(guò)大造成的特征同質(zhì)化問(wèn)題。

One-Scale-Fits-All: 逐層尺度恢復(fù)

在本節(jié)，我們闡述并解決了二值化會(huì)導(dǎo)致特征尺度失真的問(wèn)題。

我們發(fā)現(xiàn)，當(dāng)信息熵取到最大值時(shí)，輸出特征的尺度與特征通道數(shù)直接相關(guān)，因此造成尺度的不合理放大，即尺度失真。尺度失真使得一些為 3D 深度學(xué)習(xí)設(shè)計(jì)的對(duì)尺度較為敏感的結(jié)構(gòu)失效（見(jiàn)圖 3），還導(dǎo)致前向傳播時(shí)的激活和后向傳播時(shí)的梯度趨于飽和。

△圖 3: 尺度失真

為了恢復(fù)輸出的尺度和調(diào)整能力，我們提出在 BiPointNet 的二值線性層中應(yīng)用 LSR。我們?cè)O(shè)計(jì)了一個(gè)可學(xué)習(xí)的逐層尺度恢復(fù)因子 α，并通過(guò)二值線性層和全精度的輸出之間的標(biāo)準(zhǔn)差來(lái)初始化：

其中，σ 表示標(biāo)準(zhǔn)差。而且 α 在訓(xùn)練過(guò)程中是可學(xué)習(xí)的。具有 LSR 的二值線性層的計(jì)算步驟如下：

其中， gα 和 gZ 分別表示 a 和 z 的梯度。通過(guò)在 BiPointNet 中應(yīng)用 LSR，我們緩解了由于二值化導(dǎo)致輸出尺度失真的問(wèn)題。

實(shí)驗(yàn)

我們的實(shí)驗(yàn)表明了 BiPointNet 在點(diǎn)云學(xué)習(xí)上的強(qiáng)大性能，部分設(shè)置下甚至媲美全精度模型。
表 1 中結(jié)果表明，同時(shí)使用EMA和LSR可以顯著縮小二值化模型和全精度模型之間的性能差距。

△表1: BiPointNet在ModelNet40 (分類)、ShapeNet Parts (零件分割)、S3DIS (語(yǔ)義分割) 上的消融實(shí)驗(yàn)

在表 2 中，我們展示了 BiPointNet 優(yōu)于其他二值化方法。

△表2: 基于 PointNet 的二值化方法對(duì)比

表 3 展示了在幾種主流的點(diǎn)云深度學(xué)習(xí)模型中取得的提升。

△表3: 在主流骨干網(wǎng)絡(luò)上應(yīng)用我們的方法

為了驗(yàn)證 BiPointNet 在真實(shí)世界的邊緣設(shè)備上的高效性，我們還將其部署在ARM CPU Cortex-A72 和Cortex-A53 的樹(shù)莓派上。盡管PointNet 已經(jīng)是現(xiàn)有模型中公認(rèn)的快速、輕量模型，BiPointNet依然帶來(lái)了14.7倍的推理加速和18.9倍的存儲(chǔ)節(jié)省。

△圖 5: (a) 耗時(shí)對(duì)比；(b) 存儲(chǔ)使用對(duì)比；(c) 不同二值化方案速度和準(zhǔn)確率的關(guān)系散點(diǎn)圖

總結(jié)

我們提出 BiPointNet 作為第一個(gè)在點(diǎn)云上實(shí)現(xiàn)高效學(xué)習(xí)的二值化方法。我們?yōu)檠芯慷祷瘜?duì)點(diǎn)云學(xué)習(xí)模型的影響建立理論基礎(chǔ)，并提出了 EMA 和 LSR 方法，提升了模型的性能表現(xiàn)。

BiPointNet 超過(guò)了現(xiàn)有的二值化方法，并且能夠輕松地?cái)U(kuò)展到各種任務(wù)和骨干模型上。同時(shí)，它在資源受限的真實(shí)設(shè)備上實(shí)現(xiàn)了 14.7 倍的加速和 18.9 倍的存儲(chǔ)節(jié)省。我們的工作證實(shí)了模型二值化的巨大潛力，希望這個(gè)工作能夠?yàn)槲磥?lái)的研究打下堅(jiān)實(shí)的基礎(chǔ)。

作者介紹

這項(xiàng)研究工作由北京航空航天大學(xué)劉祥龍教授團(tuán)隊(duì)、商湯新加坡研究團(tuán)隊(duì)和加州大學(xué)圣迭戈分校共同完成。

北航劉祥龍教授團(tuán)隊(duì)近年來(lái)圍繞模型低比特量化、二值量化、量化訓(xùn)練等方向做出了一系列具有創(chuàng)新性和實(shí)用性的研究成果，包括國(guó)際首個(gè)二值化點(diǎn)云模型BiPointNet、可微分軟量化DSQ、量化訓(xùn)練、信息保留二值網(wǎng)絡(luò)IR-Net等，研究論文發(fā)表在ICLR、CVPR、ICCV等國(guó)際頂級(jí)會(huì)議和期刊上。

商湯新加坡研究團(tuán)隊(duì)是商湯算法研究能力出海的前哨站，自2020年成立以來(lái)，服務(wù)國(guó)內(nèi)外智慧城市、智慧文旅等多個(gè)新興行業(yè)。產(chǎn)品研發(fā)與前沿研究并重，專注感知、重建與生成，技術(shù)方向包括場(chǎng)景理解、3D點(diǎn)云、虛擬數(shù)字人等。

論文共同第一作者秦浩桐，目前在北京航空航天大學(xué)攻讀博士，主要研究方向?yàn)槟Ｐ土炕瘔嚎s與加速、硬件友好的深度學(xué)習(xí)。

論文共同第一作者蔡中昂，目前在新加坡商湯任算法研究員、南洋理工大學(xué)博士一年級(jí)，主要研究方向?yàn)辄c(diǎn)云深度學(xué)習(xí)、虛擬數(shù)字人。

論文共同第一作者張明遠(yuǎn)，目前在新加坡商湯任算法研究員，主要研究方向?yàn)槎嗄B(tài)場(chǎng)景理解、復(fù)雜場(chǎng)景生成。

論文第四作者丁一芙，北京航空航天大學(xué)大四學(xué)生，目前保送北航軟件國(guó)家開(kāi)發(fā)環(huán)境國(guó)家重點(diǎn)實(shí)驗(yàn)室直博。

傳送門(mén)

會(huì)議論文：
https://openreview.net/forum?id=9QLRCVysdlO

項(xiàng)目網(wǎng)址：
https://htqin.github.io/Projects/BiPointNet.html

代碼地址：
https://github.com/htqin/BiPointNet

北航劉祥龍教授團(tuán)隊(duì)主頁(yè)：
http://sites.nlsde.buaa.edu.cn/~xlliu/

— 完 —