英偉達(dá)CV公開課第2期：利用TensorRT部署遷移式學(xué)習(xí)工具包構(gòu)建的引擎
主講人 | 何琨 英偉達(dá)
量子位編輯 | 公眾號(hào) QbitAI
3月12日，英偉達(dá)圖像處理系列公開課第二期線上開播，跟數(shù)百位開發(fā)者同學(xué)共同探討了如何利用TensorRT部署遷移式學(xué)習(xí)工具包構(gòu)建的引擎。
應(yīng)讀者要求，將分享內(nèi)容整理出來，與大家分享。直播中主要的live coding環(huán)節(jié)，還請(qǐng)大家觀看文末的直播回放鏈接~
我每次分享都會(huì)給大家展示這張圖。
它很好的詮釋了深度學(xué)習(xí)的框架，從應(yīng)用角度來說，視覺、語音識(shí)別、NLP、情感與推薦系統(tǒng)等是目前發(fā)展較快的領(lǐng)域。市面上有很多框架支持這些深度學(xué)習(xí)的應(yīng)用，如Caffe、TensorFlow、PyTorch等，而支撐起這些框架的基礎(chǔ)是強(qiáng)大的計(jì)算能力。
NVIDIA提供了大量的GPU、邊緣設(shè)備等，為深度學(xué)習(xí)框架、推理訓(xùn)練提供了強(qiáng)大的支撐能力。在英偉達(dá)CUDA生態(tài)系統(tǒng)上，建立了cuDNN、TensorRT、DeepStream SDK、cuBLAS等一系列工具，都是中層的框架應(yīng)用的基礎(chǔ)的內(nèi)容。
今天要介紹的兩個(gè)工具是TensorRT和遷移式學(xué)習(xí)工具包（Transfer Learning Toolkit，簡稱TLT）。
遷移式學(xué)習(xí)工具包
TLT是一個(gè)基于Python的工具包，它提供了大量預(yù)先訓(xùn)練的模型，并提供一系列的工具，使流行的網(wǎng)絡(luò)架構(gòu)適應(yīng)開發(fā)者自己的數(shù)據(jù)，并且能夠訓(xùn)練、調(diào)整、修剪和導(dǎo)出模型，以進(jìn)行部署。
相當(dāng)于站在巨人的肩膀，大大提高深度學(xué)習(xí)工作流的效率和精度。
在TLT之后還有兩個(gè)工具，一個(gè)是DeepStream，一個(gè)是TensorRT。TensorRT是DeepStream的一部分。
DeepStream是為AI視覺領(lǐng)域的應(yīng)用和解決方案而設(shè)計(jì)的。涵蓋了視頻處理部署階段的所有模塊，它提供了完整的框架和所有基本構(gòu)建模塊?？梢宰岄_發(fā)者專注于自己的核心深度學(xué)習(xí)網(wǎng)絡(luò)和IP，而不是從頭開始設(shè)計(jì)端到端解決方案。
其中的Gstreamer可幫助大家處理視頻中的編解碼，TensorRT可處理數(shù)據(jù)推理等過程。
TLT、TensorRT、DeepStream這三個(gè)工具的應(yīng)用，在計(jì)算機(jī)視覺領(lǐng)域形成一個(gè)完整的流水線，幫助大家處理從訓(xùn)練、推理、部署，到產(chǎn)品端的一系列工作。
TLT提供了很多訓(xùn)練好的模型，（上圖）列舉了30多種常用預(yù)訓(xùn)練模型，大家可以在NGC（https://www.nvidia.cn/gpu-cloud/）上下載。
然后通過TLT對(duì)其進(jìn)行訓(xùn)練、剪枝、再訓(xùn)練等。輸出后的模型可以直接進(jìn)行部署，也可以部署在移動(dòng)端或嵌入式產(chǎn)品上，比如自動(dòng)駕駛汽車、無人機(jī)上。
TensorRT
TensorRT的本質(zhì)是GPU推理引擎，是英偉達(dá)GPU深度學(xué)習(xí)模型推理加速的工具。目前已經(jīng)發(fā)展到第7個(gè)版本，支持超過20個(gè)新的ONNX操作，適用性很廣。
TensorRT的工作模式是，先輸入訓(xùn)練好的模型和網(wǎng)絡(luò)結(jié)構(gòu)，TensorRT會(huì)優(yōu)化網(wǎng)絡(luò)計(jì)算模式，生成一個(gè)中間文件（代碼環(huán)節(jié)中將詳細(xì)展示），直接生成可執(zhí)行引擎，從而實(shí)現(xiàn)加速。
大家如果對(duì)TensorRT的原理、邏輯感興趣，可以在優(yōu)酷上搜索更多視頻（英偉達(dá)頻道鏈接：https://acz.youku.com/wow/ykpage/act/miniappshare?uid=UMTA3MjYwNA==&sharekey=851467b71094c1d6c612d7bcaef255455）。
接下來何琨老師詳解了TensorRT的實(shí)際操作。受限于文字描述，我們將操作流程、代碼、PPT等上傳至網(wǎng)盤，正在學(xué)習(xí)的小伙伴可以直接下載查看：
提取鏈接: https://pan.baidu.com/s/1HJYTwIMIOBcuvRl1wKHOTA，提取碼: p7wx
本期課程直播回放：https://info.nvidia.com/291730-ondemand.html
第一期課程直播回放：https://info.nvidia.com/272903-ondemand.html
—完—
- 天云數(shù)據(jù)CEO雷濤：從軟件到數(shù)件，AI生態(tài)如何建立自己的“Android”？| 量子位·視點(diǎn)分享回顧2022-03-23
- 火熱報(bào)名中丨2022實(shí)景三維創(chuàng)新峰會(huì)成都站將于4月13日召開！2022-03-21
- 從軟件到數(shù)件，AI生態(tài)如何建立自己的“Android”？天云數(shù)據(jù)CEO直播詳解，可預(yù)約 | 量子位·視點(diǎn)2022-03-11
- 什么樣的AI制藥創(chuàng)企才能走得更遠(yuǎn)？來聽聽業(yè)內(nèi)怎么說｜直播報(bào)名2022-03-03
相關(guān)閱讀
高清重制版阿波羅11號(hào)錄像，英偉達(dá)RTX還原50年前登月細(xì)節(jié)
英偉達(dá)團(tuán)隊(duì)對(duì)NASA阿波羅11號(hào)著陸圖像進(jìn)行了細(xì)致地研究，沒放過任何一個(gè)細(xì)節(jié)。
“英偉達(dá)顯卡就是一坨*”！博主6000字檄文怒批：燒接口、缺單元、驅(qū)動(dòng)變磚還威脅媒體
“質(zhì)量不過關(guān)，價(jià)格卻不菲”
克10-EM-P-150x150.jpg)