精度45.9%，推理速度72.9FPS，百度飛槳推出工業(yè)級(jí)目標(biāo)檢測模型 PP-YOLO

智能車參考 2020-08-13 15:35:12 來源：量子位

允中 發(fā)自 凹非寺
量子位 編輯 | 公眾號(hào) QbitAI

工業(yè)視覺、自動(dòng)駕駛、安防、新零售等我們身邊熟知的各行各業(yè)都需要目標(biāo)檢測技術(shù)，由于其很好的平衡了標(biāo)注成本、檢測精度和速度等，成為當(dāng)前智能制造產(chǎn)業(yè)升級(jí)浪潮中被商業(yè)化應(yīng)用最為廣泛的AI技術(shù)之一。

而實(shí)際生產(chǎn)環(huán)境對檢測算法的精度、速度、體積等要求往往十分苛刻。

例如工業(yè)質(zhì)檢，生產(chǎn)線上往往需要毫秒級(jí)別的圖片檢測速度，而為了確保使用廠商收益最大化，還需要盡量平衡硬件成本和性能。因此，如何在保持高檢測精度的前提下，盡量提高檢測速度、減小模型體積，成為這項(xiàng)技術(shù)真正深入工業(yè)實(shí)際應(yīng)用的關(guān)鍵。

而目標(biāo)檢測的王牌家族——YOLO系列模型，作為單階段目標(biāo)檢測算法的代表之一，一經(jīng)出世，便以快速精準(zhǔn)的檢測效果而迅速躥紅。其不僅在速度上做到真正實(shí)時(shí)，精度上也可以達(dá)到很多非實(shí)時(shí)兩階段模型才有的水平。

△?來自論文《YOLOv3: An Incremental Improvement》

而學(xué)術(shù)界和開源社區(qū)中的YOLO擁躉、大神們，并未止步于此， YOLO v4、”YOLO v5”也在今年被相繼推出，它們大量整合了計(jì)算機(jī)視覺的state-of-the-art技巧，例如在數(shù)據(jù)增強(qiáng)、錨定框、骨架網(wǎng)絡(luò)、訓(xùn)練方式等維度進(jìn)行優(yōu)化，從而達(dá)到大幅提升YOLO目標(biāo)檢測性能的效果。

飛槳目標(biāo)檢測套件PaddleDetection的研發(fā)團(tuán)隊(duì)也為了讓YOLOv3模型在工業(yè)實(shí)際應(yīng)用場景擁有更優(yōu)異的精度與推理速度，以盡量不增加模型計(jì)算量和推理開銷為前提，探索出了一整套更深度的算法優(yōu)化秘籍，將原先YOLOv3模型的精度（在COCO test-dev2017數(shù)據(jù)集）從33.0%提升了12.9個(gè)絕對百分點(diǎn)，達(dá)到45.9%，處于業(yè)界領(lǐng)先行列！而在該精度下，其推理速度在V100上達(dá)到了72.9 FPS。

也就是說，它在精度和預(yù)測速度都超越原生的YOLOv4，并且體積更小，實(shí)打?qū)嵉某蔀楣I(yè)應(yīng)用場景最實(shí)用目標(biāo)檢測模型。而這次華麗變身后的YOLOv3，也被正式命名為——PP-YOLO！

如下表所示，在不同輸入尺度下PP-YOLO模型與YOLOv4模型在COCO數(shù)據(jù)集精度和V100推理速度的交手結(jié)果。

△?注：上表中數(shù)據(jù)均為在單卡Tesla V100上batch size=1測試結(jié)果，TRT-FP16為使用TensorRT且在FP16上的測試結(jié)果，TensorRT版本為5.1.2.2

而PP-YOLO所應(yīng)用的這套優(yōu)化策略，也可以被嘗試應(yīng)用到該系列的其它模型上，產(chǎn)業(yè)開發(fā)者或者科研人員可借鑒這套優(yōu)化算法展開進(jìn)一步的探索。

而這整套PP-YOLO的優(yōu)化秘籍也被飛槳同學(xué)總結(jié)梳理成了論文，感興趣的開發(fā)者可以參見下面的鏈接閱讀原文。

PP-YOLO論文：

https://arxiv.org/abs/2007.12099

PP-YOLO文檔：

https://github.com/PaddlePaddle/PaddleDetection/tree/release/0.4/configs/ppyolo

飛槳團(tuán)隊(duì)也在AIStudio為大家創(chuàng)建了 PP-YOLO實(shí)戰(zhàn)項(xiàng)目，以供開發(fā)者快速體驗(yàn)?zāi)Ｐ托Ч?

https://aistudio.baidu.com/aistudio/projectdetail/708923

PP-YOLO的高精度和高推理速度對多快速運(yùn)動(dòng)目標(biāo)檢測的視頻也可以達(dá)到很好的效果。

那PP-YOLO到底采用了哪些優(yōu)化策略呢？下面咱們帶領(lǐng)大家一起來深入剖析一下飛槳團(tuán)隊(duì)算法優(yōu)化的 “內(nèi)功心法”。

1. 基于YOLOv3-DarkNet53的初步優(yōu)化

原始的YOLOv3模型在COCO minival數(shù)據(jù)集上精度為33.0%，PaddleDetection首先加入了Bag of Freebies for Training Object Detection Neural Networks論文中提及的優(yōu)化策略，在不引入額外計(jì)算量的情況下，精度提升了3.9個(gè)百分點(diǎn)，達(dá)到38.9%。具體策略如下：

• Image Mixup（圖像混合）：以隨機(jī)權(quán)重將兩張圖片混合起來，提高網(wǎng)絡(luò)在空間上的抗干擾能力。以下圖為例，將任意兩張圖片加權(quán)疊加作為輸入，訓(xùn)練過程中使用的損失為兩張圖片的損失乘以各自權(quán)重的加和。

△?來自論文《Bag of Freebies for Training Object Detection Neural Networks》

• Label Smooth（標(biāo)簽平滑）：通過在真實(shí)的分類標(biāo)簽one-hot編碼中真實(shí)類別的1上減去一個(gè)小量，非真實(shí)標(biāo)簽的0上加上一個(gè)小量，將硬標(biāo)簽變成一個(gè)軟的標(biāo)簽，起到正則化的作用，防止過擬合，提升模型泛化能力。
• Synchronize Batch Normalization（同步批歸一化）：多卡訓(xùn)練時(shí)，一般實(shí)現(xiàn)的批歸一化只統(tǒng)計(jì)單卡上均值和方差，而檢測任務(wù)中，受顯存的限制，batch size比較小，多卡同步，會(huì)使得均值和方差統(tǒng)計(jì)的更加準(zhǔn)確。

2. 更優(yōu)的骨干網(wǎng)絡(luò): ResNet50vd-DCN

骨干網(wǎng)絡(luò)可以說是一個(gè)模型的基礎(chǔ)，一個(gè)優(yōu)秀的骨干網(wǎng)絡(luò)會(huì)給模型的性能帶來極大的提升。針對YOLOv3，飛槳研發(fā)人員使用更加優(yōu)異的ResNet50vd-DCN 作為模型的骨干網(wǎng)絡(luò)。它可以被分為ResNet50vd和DCN兩部分來看。

ResNet50vd是指擁有50個(gè)卷積層的ResNet-D網(wǎng)絡(luò)。ResNet系列模型是在2015年提出后，在學(xué)術(shù)界和工業(yè)界得到了廣泛的應(yīng)用，其模型結(jié)構(gòu)也在被業(yè)界開發(fā)者持續(xù)改進(jìn)，在經(jīng)過了B、C、D三個(gè)版本的改進(jìn)后，最新的ResNet-D結(jié)構(gòu)能在基本不增加計(jì)算量的情況下先住提高模型精度。經(jīng)飛槳團(tuán)隊(duì)的多重實(shí)驗(yàn)發(fā)現(xiàn)，使用ResNet50vd結(jié)構(gòu)作為骨干網(wǎng)絡(luò)，相比于原始的ResNet，可以提高1%-2%的目標(biāo)檢測精度，且推理速度基本保持不變。

而DCN（Deformable Convolution）可變形卷積的特點(diǎn)在于：其卷積核在每一個(gè)元素上額外增加了一個(gè)可學(xué)習(xí)的偏移參數(shù)。這樣的卷積核在學(xué)習(xí)過程中可以調(diào)整卷積的感受野，從而能夠更好的提取圖像特征，以達(dá)到提升目標(biāo)檢測精度的目的。但它會(huì)在一定程度上引入額外的計(jì)算開銷。經(jīng)過多翻嘗試，PaddleDetection團(tuán)隊(duì)發(fā)現(xiàn)只在ResNet的最后一個(gè)stage（C5）增加可變形卷積，是實(shí)現(xiàn)引入極少計(jì)算量并提升模型精度的最佳策略。

在使用ResNet50vd-DCN作為骨干網(wǎng)絡(luò)后，YOLOv3模型的檢測精度從原先的38.9% 達(dá)到39.1%，而推理速度得到了36%的大幅提高（58.2FPS -> 79.2FPS）。

3. 更穩(wěn)定的訓(xùn)練方式：EMA、DropBlock和更大的batch size

為了使PP-YOLO的訓(xùn)練過程有更好的收斂效果，飛槳團(tuán)隊(duì)通過API paddle.optimizer.ExponentialMovingAverage調(diào)用了EMA（Exponential Moving Average）滑動(dòng)平均功能?；瑒?dòng)平均是指將參數(shù)過去一段時(shí)間的均值作為新的參數(shù)。相比直接對參數(shù)進(jìn)行更新，采用滑動(dòng)平均的方式能讓參數(shù)學(xué)習(xí)過程中變得更加平緩，能有效避免異常值對參數(shù)更新的影響，提升模型訓(xùn)練的收斂效果。

PP-YOLO的優(yōu)化過程中使用了DropBlock算法來減少過擬合。如下圖所示，相比于Dropout算法，DropBlock算法在Drop特征的時(shí)候不是以特征點(diǎn)的形式來Drop的，而是會(huì)集中Drop掉某一塊區(qū)域，從而更適合被應(yīng)用到目標(biāo)檢測任務(wù)中來提高網(wǎng)絡(luò)的泛化能力。

△?來自論文《DropBlock: A regularization method for convolutional networks》）

通過訓(xùn)練過程中的指數(shù)滑動(dòng)平均和DropBlock策略，結(jié)合適當(dāng)增大訓(xùn)練的batch size（將單卡的batch size調(diào)整到24，8卡總batch size為192，使訓(xùn)練更加穩(wěn)定，獲取更優(yōu)的結(jié)果），YOLOv3此時(shí)在COCO minival數(shù)據(jù)集精度提升了2.5%（39.1%->41.4%）。

4. IoU學(xué)習(xí)

對于目標(biāo)檢測任務(wù)，IoU是我們常用的評(píng)估指標(biāo)，即預(yù)測框與真實(shí)框的IoU越大，檢測效果越好?；凇八娂此谩钡乃枷?，PP-YOLO使用了業(yè)界提出的一種新的Loss——IoU Loss，即在訓(xùn)練過程中使用模型產(chǎn)生的預(yù)測框和真實(shí)框求IoU，對其取反并加入到損失計(jì)算中，這樣相當(dāng)于在優(yōu)化損失的時(shí)候就是在提升IoU。

注：在PP-YOLO中，飛槳采用了最基礎(chǔ)的IoU損失計(jì)算方法，即IoU Loss = 1 – IoU * IoU 。

另一方面，我們知道YOLOv3模型里的預(yù)測框評(píng)分score = objectness score * classification score，即該預(yù)測框處存在目標(biāo)的概率和對應(yīng)目標(biāo)類別的概率的乘積，而此種評(píng)分方式并沒有考慮預(yù)測框的定位精度。而目標(biāo)檢測模型都需要對最后的預(yù)測框進(jìn)行非極大值抑制（NMS），即按照預(yù)測框評(píng)分進(jìn)行排序，然后刪除得分低的框。因此很容易出現(xiàn)如下圖的情況，即IoU低的預(yù)測框因?yàn)樵u(píng)分高而在NMS過程中將IoU高的預(yù)測框擠掉了。

而使用IoU Aware可以很好的避免這種情況，即在訓(xùn)練過程中增加一個(gè)通道來學(xué)習(xí)預(yù)測框和真實(shí)框之間的IoU，在推理過程中，將這個(gè)通道學(xué)習(xí)的IoU預(yù)測值也作為評(píng)分的因子之一，這樣就能一定程度上避免高IoU預(yù)測框被擠掉的情況，從而提升模型的精度。同時(shí)，由于只是輸出層的每個(gè)anchor上增加了一個(gè)通道，對于推理計(jì)算量的增加也基本可以忽略不計(jì)。

△?來自論文《IoU-aware Single-stage Object Detector for Accurate Localization》

通過使用上述優(yōu)化方法，模型精度又提升了1.1%（41.4%->42.5%），而對推理速度的影響比較?。?9.2FPS -> 74.9FPS）。

5. Grid Sensitive

YOLOv3的檢測原理是將圖片劃分成多個(gè)網(wǎng)格，真實(shí)框的中心點(diǎn)落在哪個(gè)網(wǎng)格上就由哪個(gè)網(wǎng)格負(fù)責(zé)檢測這個(gè)真實(shí)框，而推理輸出特征圖中包含預(yù)測框中心坐標(biāo)的logits值，這個(gè)值經(jīng)Sigmoid激活后，即表示預(yù)測框中心坐標(biāo)在網(wǎng)格中的相對位置。如下圖所示，預(yù)測框的Px和Py經(jīng)Sigmoid激活后，即表示預(yù)測框中心坐標(biāo)相對真實(shí)框中心坐標(biāo)gx和gy的偏移。那么如果這個(gè)真實(shí)框的中心點(diǎn)剛好落在網(wǎng)格邊緣，則訓(xùn)練過程中趨向于把輸出logit值向正負(fù)無窮去學(xué)習(xí)，容易導(dǎo)致過擬合。

Grid Sensitive是YOLOv4模型引入的一種優(yōu)化方法，即在計(jì)算預(yù)測框中心點(diǎn)在網(wǎng)格內(nèi)的坐標(biāo)時(shí)，對輸出logit取sigmoid激活后，再加上一個(gè)縮放和偏移，可以保證預(yù)測框中心點(diǎn)能夠有效的擬合真實(shí)框剛好落在網(wǎng)格邊線上的情況。

通過加入Grid Sensitive，此輪精度又提升了0.3%（42.5%->42.8%），推理過程中只需要對預(yù)測框解碼時(shí)在中心點(diǎn)坐標(biāo)上乘上縮放，再加上偏移即可，因此推理速度幾乎沒有影響（74.9FPS -> 74.8FPS）。

6. 后處理優(yōu)化: Matrix NMS

在推理過程中，NMS還會(huì)刪除與得分高的框的重合度大于一定閾值的其它預(yù)測框，這樣對于存在兩個(gè)同類別物體重疊的的圖像檢測任務(wù)來說，就會(huì)出現(xiàn)一個(gè)物體的預(yù)測框把另一個(gè)物體的預(yù)測框抑制掉的情況，導(dǎo)致漏檢。

因此又引入了Soft NMS這個(gè)概念，其解決思路并不是粗暴的將與得分高的預(yù)測框重合度大于閾值的框直接濾除，而是降低這個(gè)預(yù)測框的評(píng)分，對預(yù)測框評(píng)分的懲罰系數(shù)與這兩個(gè)框的重合度，也就是IoU正相關(guān)，采用這種軟化的濾除方式就能有效的避免重疊的同類物體預(yù)測框互相沖突的情況，提高檢測的精度。

但引入Soft NMS會(huì)使推理速度變慢。因此此輪模型優(yōu)化采用了更優(yōu)的Matrix NMS：一種并行化進(jìn)行Soft NMS的實(shí)現(xiàn)思路。Matrix NMS通過一個(gè)矩陣并行運(yùn)算的方式計(jì)算出任意兩個(gè)框之間的IoU，例如對某一個(gè)預(yù)測框B計(jì)算抑制系數(shù)時(shí)，Matrix NMS通過矩陣并行方式計(jì)算出所有得分高于B的預(yù)測框與預(yù)測框B的IoU，然后根據(jù)這些IOU和得分高于B的預(yù)測框的被抑制概率做近似估算，估算出B的抑制系數(shù)，從而實(shí)現(xiàn)并行化的計(jì)算Soft NMS，在提高檢測精度的同時(shí)，避免了推理速度的降低。

使用Matrix NMS后，模型在推理速度幾乎不變的情況下提升0.7%的精度（42.8% -> 43.5%）。

7. 特征提取優(yōu)化: CoordConv, 空間金字塔池化

另外PP-YOLO還引入了兩種幾乎不增加計(jì)算量但是能優(yōu)化特征提取的方法。我們知道深度學(xué)習(xí)里的卷積運(yùn)算是具有平移等變性的，這樣可以在圖像的不同位置共享統(tǒng)一的卷積核參數(shù)，但是這樣卷積學(xué)習(xí)過程中是不能感知當(dāng)前特征在圖像中的坐標(biāo)的。CoordConv就是通過在卷積的輸入特征圖中新增對應(yīng)的通道來表征特征圖像素點(diǎn)的坐標(biāo)，讓卷積學(xué)習(xí)過程中能夠一定程度感知坐標(biāo)來提升檢測精度。

△?來自論文《An Intriguing Failing of Convolutional Neural Networks and the CoordConv Solution》

空間金字塔池化是SPPNet提出的，如下圖所示通過多個(gè)不同尺度的池化窗口提取不同尺度的池化特征，把特征組合在一起作為輸出特征，在骨干網(wǎng)絡(luò)提取特征后加入空間金字塔池化，能有效的增加特征的感受野，是一種廣泛應(yīng)用的特征提取優(yōu)化方法。

使用CoordConv和SPP兩種特征提取優(yōu)化方法后，精度進(jìn)一步提升了0.8%（43.5%->44.3%）， 這兩種方式新增的推理計(jì)算量并不大，所以推理速度僅有少量下降（74.1FPS -> 72.9FPS）。

8. 更優(yōu)的預(yù)訓(xùn)練模型: SSLD

通過上述優(yōu)化方法，PP-YOLO模型在COCO minival數(shù)據(jù)集上的精度優(yōu)化到了44.3%，V100上預(yù)測速度為72.9FPS。另外飛槳推出的圖像分類端到端套件PaddleClas還提供了ResNet50vd的SSLD知識(shí)蒸餾模型及權(quán)重，使ResNet50vd模型在ImageNet上的Top-1分類精度從79.1%優(yōu)化到82.4%，感興趣的同學(xué)可以通過下面的地址了解PaddleClas SSLD蒸餾方案。PP-YOLO模型在使用了SSLD知識(shí)蒸餾之后更優(yōu)的預(yù)訓(xùn)練權(quán)重進(jìn)行訓(xùn)練后，COCO minival數(shù)據(jù)集的精度又提升了0.5%（44.3%->44.8%）。

PaddleClas SSLD的文檔地址：

https://paddleclas.readthedocs.io/zh_CN/latest/advanced_tutorials/distillation/distillation.html#ssld

經(jīng)過上述優(yōu)化方法，飛槳的研發(fā)人員又將訓(xùn)練迭代次數(shù)和學(xué)習(xí)率衰減的迭代次數(shù)調(diào)整至和原始YOLOv3模型的迭代次數(shù)一致，也就是訓(xùn)練迭代次數(shù)從25萬次增加到50萬次，對應(yīng)學(xué)習(xí)率衰減的迭代次數(shù)調(diào)整至40萬和45萬，使PP-YOLO模型（如表中的K模型所示）在COCO minival數(shù)據(jù)集精度再次提升0.5% ，達(dá)到45.3%，單卡V100上batch size=1時(shí)的預(yù)測速度為72.9 FPS。如果使用COCO test_dev2017數(shù)據(jù)集測試，精度將達(dá)到45.9%。

后續(xù)工作

考慮到現(xiàn)在工業(yè)、互聯(lián)網(wǎng)等各行各業(yè)需要使用輕量化的模型在移動(dòng)端、邊緣端部署目標(biāo)檢測模型，PaddleDetection團(tuán)隊(duì)正在進(jìn)一步優(yōu)化適用于輕量化部署的PP-YOLO，很快也將以開源項(xiàng)目、詳細(xì)的使用文檔及快速體驗(yàn)Demo的組合形式為大家呈現(xiàn)。

課程預(yù)告

百度飛槳為了幫助大家能快速、深入、全面的了解目標(biāo)檢測技術(shù)，將于九月中旬特地開設(shè)“目標(biāo)檢測7日打卡營”。資深研發(fā)工程師傾囊相授多年“煉丹”經(jīng)驗(yàn)，配套真實(shí)工業(yè)落地場景案例，最先進(jìn)的調(diào)優(yōu)方式、訓(xùn)練技巧、優(yōu)化技巧和工業(yè)部署方案，7天帶您一網(wǎng)打盡，千萬不要錯(cuò)過！

感興趣的同學(xué)歡迎掃碼加入PP-YOLO微信群，與更多深度學(xué)習(xí)開發(fā)者交流與探討技術(shù)。

更多飛槳的相關(guān)內(nèi)容，請參閱以下內(nèi)容。

官網(wǎng)地址：https://www.paddlepaddle.org.cn

飛槳PaddleDetection項(xiàng)目地址：

GitHub: https://github.com/PaddlePaddle/PaddleDetection

Gitee: https://gitee.com/paddlepaddle/PaddleDetection

如果您覺得PP-YOLO對您帶來了一些啟發(fā)或者確實(shí)實(shí)用的話，也歡迎您可以給PaddleDetection項(xiàng)目點(diǎn)亮Star。

飛槳開源框架項(xiàng)目地址：

GitHub: https://github.com/PaddlePaddle/Paddle

Gitee: https://gitee.com/paddlepaddle/Paddle

— 完 —