百度EasyDL AI開(kāi)發(fā)公開(kāi)課第2期：15分鐘實(shí)現(xiàn)AI端計(jì)算模型訓(xùn)練、加速與部署

liming 2020-11-03 11:21:49 來(lái)源：量子位

主講人 | 阿達(dá) 百度高級(jí)研發(fā)工程師
量子位 整理編輯 | 公眾號(hào) QbitAI

端計(jì)算模型目前已應(yīng)用到各行業(yè)的AI落地實(shí)踐中，如部署在野外氣象觀測(cè)點(diǎn)用于環(huán)境監(jiān)測(cè)，以及響應(yīng)垃圾分類政策用來(lái)打造智能垃圾桶等等。

「EasyDL AI開(kāi)發(fā)系列公開(kāi)課」第二期直播中，百度高級(jí)工程師深入解析了如何優(yōu)化端模型識(shí)別速度、如何解決端模型部署問(wèn)題，并直播演示了如何使用EasyDL-EasyEdge AI開(kāi)發(fā)平臺(tái)，快速、高效實(shí)現(xiàn)模型訓(xùn)練和端模型部署。

講解分為3個(gè)部分：

• EasyDL端計(jì)算模型的應(yīng)用
• 端計(jì)算技術(shù)解析：圖優(yōu)化(量化剪裁)和基于芯片的優(yōu)化提升模型識(shí)別速度
• 實(shí)戰(zhàn)演示：借助EasyDL-EasyEdge部署端計(jì)算模型實(shí)現(xiàn)辦公室垃圾檢測(cè)識(shí)別

直播回放：

以下為直播文字實(shí)錄：

EasyDL端計(jì)算模型的應(yīng)用

在和某咨詢公司的聯(lián)合調(diào)研中，我們發(fā)現(xiàn)約86%的市場(chǎng)需求需要定制開(kāi)發(fā)業(yè)務(wù)場(chǎng)景下的AI模型，其中有35%以上的有離線計(jì)算的需求。

端計(jì)算應(yīng)用場(chǎng)景

比如工業(yè)場(chǎng)景中統(tǒng)計(jì)原材料的數(shù)量，食品安全場(chǎng)景監(jiān)測(cè)廚房廚師是否佩戴廚師帽，這么多形形色色的場(chǎng)景，很難通過(guò)一個(gè)統(tǒng)一的AI模型或者方案來(lái)滿足所有的需求。這時(shí)用戶往往需要自己來(lái)開(kāi)發(fā)定制，這是一個(gè)很巨大的工程，涉及到采集數(shù)據(jù)、訓(xùn)練優(yōu)化模型，最后還要使模型成功地部署落地。

為此，百度提供了零門檻AI開(kāi)發(fā)平臺(tái)—EasyDL，幫助有模型定制需求的用戶。用戶可以在平臺(tái)上標(biāo)注數(shù)據(jù)、擴(kuò)充數(shù)據(jù)，準(zhǔn)備好訓(xùn)練所需要的數(shù)據(jù)集；然后通過(guò)EasyDL訓(xùn)練優(yōu)化模型；最后通過(guò)EasyDL提供的多種部署方案，實(shí)現(xiàn)模型落地應(yīng)用。

那么，為什么需要應(yīng)用端計(jì)算模型呢？

定制化AI模型部署的需求與難點(diǎn)

工業(yè)應(yīng)用中的模型推理通常需要本地計(jì)算、實(shí)時(shí)響應(yīng)、解除對(duì)網(wǎng)絡(luò)的依賴；需要滿足對(duì)閉路電視數(shù)據(jù)隱私的保密，需要降低手機(jī)上APP對(duì)能耗的要求，復(fù)雜業(yè)務(wù)場(chǎng)景下又需要多樣的芯片架構(gòu)和傳感器來(lái)實(shí)現(xiàn)部署……種種需求恰好都可以通過(guò)端計(jì)算來(lái)滿足，這就是為什么大家需要端計(jì)算。

有過(guò)自己部署AI模型經(jīng)歷的也會(huì)發(fā)現(xiàn)很多部署模型的難點(diǎn)：

• 部署維護(hù)成本高，難落地；
• 模型適配、遷移難，往往需要重復(fù)性開(kāi)發(fā)；
• 預(yù)測(cè)性能差，硬件成本高。

EasyDL-EasyEdge端計(jì)算

針對(duì)這些難點(diǎn)，EasyDL-EasyEdge提供了端計(jì)算服務(wù)來(lái)幫助大家解決這些問(wèn)題，用戶不需要有特別多的芯片硬件知識(shí)和開(kāi)發(fā)經(jīng)驗(yàn)，只需要3步、最快2分鐘就可以生成端計(jì)算模型：

第一步：準(zhǔn)備一個(gè)訓(xùn)練好的模型（如果沒(méi)有合適的模型，可先在EasyDL平臺(tái)訓(xùn)練）；EasyEdge兼容市面主流的深度學(xué)習(xí)框架，比如PaddlePaddle、TensorFlow、PyTorch等；

第二步：通過(guò)EasyEdge做轉(zhuǎn)換→面向設(shè)備的兼容與加速→封裝；EasyEdge自動(dòng)完成端計(jì)算服務(wù)產(chǎn)物；

第三步：下載后利用簡(jiǎn)單可操作的接口部署應(yīng)用模型即可。

框架&網(wǎng)絡(luò)支持

如圖，EasyEdge支持主流的深度學(xué)習(xí)框架、部分網(wǎng)絡(luò)，后續(xù)大家可以在EasyDL官網(wǎng)上了解更多信息。

服務(wù)部署形態(tài)

EasyDL-EasyEdge也提供豐富的服務(wù)部署形態(tài)，包含公有云部署、私有服務(wù)器部署、通用設(shè)備端SDK、軟硬一體產(chǎn)品等，端云協(xié)同即將上線：

軟硬件支持

EasyDL-EasyEdge已支持10余類芯片、4大操作系統(tǒng)：

端計(jì)算組件

端設(shè)備SDK不僅能適配市面上常見(jiàn)的手機(jī)（APP掃碼安裝、即裝即用），也能適配各類微型主機(jī)開(kāi)發(fā)板（PC組件自帶HTTP服務(wù)和H5體驗(yàn)，可執(zhí)行exe文件）。

SDK接口是統(tǒng)一的，在不同設(shè)備的調(diào)用方式方法類似。通過(guò)EasyEdge獲得端設(shè)備SDK之后，無(wú)需再關(guān)注硬件細(xì)節(jié)，使用SDK統(tǒng)一接口來(lái)調(diào)用模型即可。

上圖是ResNet50深度學(xué)習(xí)模型部署在不同的芯片上得到的單次推理時(shí)間，芯片架構(gòu)層面可以做更廣泛的適配，同時(shí)也為用戶選型提供參考。

軟硬一體方案

為了讓大家選型更簡(jiǎn)單，百度也推出了軟硬一體的方案，可以在百度AI市場(chǎng)購(gòu)買。

上圖數(shù)據(jù)是EasyDL支持的分類檢測(cè)模型以及在不同開(kāi)發(fā)套件上單張圖片的推理時(shí)間，大家可以根據(jù)這些數(shù)據(jù)挑選合適的軟硬件。

EasyDL-EasyEdge應(yīng)用案例

杭州氣象局：使用EasyDL圖像分類和物體檢測(cè)，訓(xùn)練出云狀、云量、結(jié)冰等識(shí)別模型，并通過(guò)EasyEdge將模型部署到野外觀察站，提升了觀測(cè)效率和及時(shí)性。

柳州源創(chuàng)使用EasyDL物體檢測(cè)，訓(xùn)練出噴油嘴瑕疵檢測(cè)模型；并通過(guò)EasyEdge部署到工廠的生產(chǎn)線上，每年可節(jié)約60萬(wàn)人工檢測(cè)成本，并能夠提升檢測(cè)效率與精度。

寧波蔚瀾通過(guò)EasyDL使用了僅217張廚余垃圾圖片、迭代了兩版，就訓(xùn)練出準(zhǔn)確率91.57%的廚余垃圾識(shí)別模型，結(jié)合百度EasyEdge軟硬一體方案靈巧部署在垃圾箱內(nèi)，已經(jīng)在寧波的小區(qū)內(nèi)落地使用。

EasyDL-EasyEdge已經(jīng)在20多個(gè)行業(yè)場(chǎng)景中落地，累計(jì)有2500以上個(gè)模型，部署了超過(guò)26萬(wàn)臺(tái)終端設(shè)備。

EasyDL-EasyEdge端計(jì)算技術(shù)解析

為了使模型順利部署到端上，還可以保持預(yù)測(cè)性能的快速推理，百度EasyDL-EasyEdge做了哪些優(yōu)化？

技術(shù)核心

拿到用戶的模型后，首先進(jìn)行圖優(yōu)化，針對(duì)深度學(xué)習(xí)模型的算子進(jìn)行優(yōu)化，以及面向目標(biāo)硬件做定向適配，然后轉(zhuǎn)化為目標(biāo)框架。

對(duì)于目前支持量化的目標(biāo)框架（比如PaddlePaddle），采用了量化來(lái)產(chǎn)出加速版本。

目前EasyEdge支持10余類芯片，不同的芯片還會(huì)有一些特定支持的優(yōu)化。

接下來(lái)把上述優(yōu)化好的模型，進(jìn)行打包生成SDK。

對(duì)于生成的端模型，還可以發(fā)起自動(dòng)評(píng)測(cè)，獲得評(píng)測(cè)指標(biāo)和性能。

EasyEdge給用戶提供了云端服務(wù), 用戶在得到的sdk里可以進(jìn)行模型升級(jí)更新，運(yùn)行demo。用戶還可以有h5體驗(yàn)，在windows系統(tǒng)里有可執(zhí)行文件可以直接運(yùn)行等。

實(shí)操演示：辦公室垃圾檢測(cè)識(shí)別

本部分講解中，阿達(dá)老師以「辦公室垃圾分類檢測(cè)識(shí)別」為例，演示了如何使用EasyDL-EasyEdge AI開(kāi)發(fā)平臺(tái)，快速、高效地進(jìn)行模型訓(xùn)練和端模型部署。

感興趣的小伙伴可以參考直播回放，視頻觀看更清晰~：https://www.bilibili.com/video/BV1KZ4y1V7mn/

此外，關(guān)于EasyDL-EasyEdge使用指南，可參考官網(wǎng)相關(guān)介紹。

—完—