英偉達(dá)CV公開課第3期：快速搭建手勢識別系統(tǒng)

liming 2021-06-21 13:10:37 來源：量子位

在計(jì)算機(jī)視覺領(lǐng)域，手勢識別是機(jī)器讀懂人類手勢、高效實(shí)現(xiàn)人機(jī)交互的重要方式，廣泛應(yīng)用于物聯(lián)網(wǎng)、文娛、智能汽車等領(lǐng)域。

那么，0基礎(chǔ)的小白、AI開發(fā)者們，如何快速搭建和部署一個(gè)高精度的手勢識別系統(tǒng)？

近期，英偉達(dá)x量子位發(fā)起了系列CV公開課，在第三期課程中，NVIDIA開發(fā)者社區(qū)的老師通過代碼演示、分享了如何利用TLT 3.0、Triton等工具低門檻、快速搭建和部署手勢識別系統(tǒng)。

分享大綱如下：

· 手勢識別任務(wù)介紹

· 工具介紹：NVIDIA TLT 3.0 & Triton

· 實(shí)戰(zhàn)演示：利用TLT和Triton快速搭建和部署手勢識別系統(tǒng)

以下為分享內(nèi)容整理：

大家好，我是來自NVIDIA開發(fā)者社區(qū)的何琨，很高興與大家參與今天的直播。我主要負(fù)責(zé)與各位開發(fā)者朋友交流溝通，如果大家對我們的產(chǎn)品有什么建議、或者有哪些需求，也期待反饋給我們。

手勢識別任務(wù)

今天分享的內(nèi)容是“快速搭建手勢識別系統(tǒng)”，即通過搭建和部署AI模型、對人物的手勢動(dòng)作進(jìn)行識別。

今天我將通過這個(gè)案例，向大家分享如何利用NVIDIA的工具包快速、高效率地實(shí)現(xiàn)AI開發(fā)。大家可以通過這一案例、入門AI開發(fā)，實(shí)現(xiàn)更多CV項(xiàng)目。

今天的任務(wù)將會(huì)用到兩個(gè)工具包：Transfer Learning Toolkit 3.0和 Triton。

分享過程中，首先會(huì)為新來的朋友介紹下這兩個(gè)工具，然后通過代碼實(shí)例，向大家展示如何利用這兩個(gè)工具，簡單、高效地實(shí)現(xiàn)AI模型的訓(xùn)練與部署。

課程后大家可以利用我們提供的代碼、親手操作一遍。（課程中所需的代碼見本文末）

Transfer Learning Toolkit

Transfer Learning Toolkit（TLT）是一個(gè)簡單的、集成化的工具，可以幫助大家簡化深度學(xué)習(xí)模型的開發(fā)流程。Develop like a pro with zero coding，利用TLT不需要太多編程的內(nèi)容就可以實(shí)現(xiàn)AI模型訓(xùn)練、優(yōu)化與導(dǎo)出。

Transfer Learning Toolkit強(qiáng)調(diào)的Transfer Learning，即遷移式學(xué)習(xí)，它的主要特點(diǎn)是為開發(fā)者提供了大量預(yù)訓(xùn)練模型。開發(fā)者可以結(jié)合自己的數(shù)據(jù)集，根據(jù)不同的使用場景和需求，在這些預(yù)訓(xùn)練模型的基礎(chǔ)上進(jìn)行模型訓(xùn)練、調(diào)整、剪枝，以及導(dǎo)出模型進(jìn)行部署等。而且大家可以通過簡單的幾行代碼來實(shí)現(xiàn)上述功能。

TLT有幾個(gè)主要的特點(diǎn)：

第一，在異構(gòu)的多GPU環(huán)境下進(jìn)行模型調(diào)整與重新訓(xùn)練。只通過一兩個(gè)命令，就能夠?qū)Χ郍PU進(jìn)行合理的利用和分配。

第二，豐富的預(yù)訓(xùn)練模型庫。包含大量的常見任務(wù)模型，在視覺、語音等方面都有很多可以實(shí)際應(yīng)用的模型。大家可以在NGC上免費(fèi)下載（ngc.nvidia.com），進(jìn)而應(yīng)用到實(shí)際的項(xiàng)目中。

第三，優(yōu)化模型。一方面可以利用TLT修剪、縮小模型尺寸，應(yīng)用起來非常便捷、只需要非常簡單的代碼即可實(shí)現(xiàn)；另一方面，可以將模型轉(zhuǎn)化成TensorRT、DeepStream、Triton等可以直接使用的深度學(xué)習(xí)推理引擎，可以方便的部署到幾乎所有的NVIDIA產(chǎn)品上。

Triton工具簡介

Triton是我們今天完成課程任務(wù)需要的另一個(gè)工具。

Triton的前身是TensorRT Inference Server平臺，是一個(gè)基于TensorRT的推理服務(wù)引擎。TensorRT是NVIDIA專門為GPU在深度學(xué)習(xí)推理階段的加速而開發(fā)的引擎，能夠讓GPU發(fā)揮出更強(qiáng)大計(jì)算能力。

TensorRT主要通過5個(gè)步驟實(shí)現(xiàn)對GPU推理過程的優(yōu)化：精度校正、動(dòng)態(tài)Memory管理、多流的執(zhí)行、Kernel參數(shù)的調(diào)優(yōu)、網(wǎng)絡(luò)層融合計(jì)算。通過這一系列步驟，在速度和吞吐量上對推理模型進(jìn)行優(yōu)化。

而Triton推理服務(wù)器能夠簡化AI模型的大規(guī)模部署流程，開發(fā)者可以從本地存儲或云平臺的任何框架部署訓(xùn)練好的AI模型，或基于GPU、CPU的基礎(chǔ)設(shè)施。

Triton更像是一個(gè)即時(shí)響應(yīng)的、Web Request的工具。它的應(yīng)用場景主要是網(wǎng)頁端、遠(yuǎn)程的數(shù)據(jù)中心，當(dāng)然也支持嵌入式平臺。能夠大幅簡化模型部署流程，搭建好之后只需調(diào)用其中的接口，不需要再操心模型的訓(xùn)練及優(yōu)化。

特點(diǎn)一：支持多種框架。Triton支持市面上幾乎所有的框架，比如常見的TensorFlow、Pytorch、ONNX等，也支持一些自定義的框架。

特點(diǎn)二：高性能的推理能力。Triton的推理能力不僅速度快，吞吐量也很高。可以極大加快集群的運(yùn)行效率和執(zhí)行效率。

特點(diǎn)三：簡化模型部署流程。上圖是 Triton的架構(gòu)，可以看到，Triton將深度學(xué)習(xí)處理的流程封裝在一起了，部署在我們的服務(wù)器上。開發(fā)者只需幾步即可完成部署：

第一，準(zhǔn)備模型庫。

第二，調(diào)用接口加載模型。啟動(dòng)Triton Inference Server時(shí)，模型的序列、參數(shù)、執(zhí)行方案等一系列內(nèi)容即可直接加載完成。

它的優(yōu)點(diǎn)是，能夠?qū)⒛Ｐ蛶旌褪褂眠@個(gè)模型的流程區(qū)分開。對于一些項(xiàng)目團(tuán)隊(duì)來說，有人擅長做算法，有人擅長做前端，但只要算法工程師將模型訓(xùn)練好，前端不需要懂得如何優(yōu)化模型算法，只需要通過Triton調(diào)用接口就可以。

其次，在多線程執(zhí)行時(shí)，Triton Server也能夠自動(dòng)分配好GPU的內(nèi)存，減少安全隱患、降低能耗。

特點(diǎn)四：動(dòng)態(tài)可擴(kuò)展性。假設(shè)我們搭建好的兩臺服務(wù)器可以服務(wù)現(xiàn)有的10萬用戶，但是當(dāng)用戶量快速增加到100萬時(shí)，我們只需要再增加幾臺服務(wù)器，直接通過Docker等方式擴(kuò)展到新的服務(wù)器上。

實(shí)戰(zhàn)演示：搭建手勢識別系統(tǒng)

下面，我們將通過一份簡單的代碼，調(diào)用TLT和Triton工具來實(shí)現(xiàn)手勢識別模型的訓(xùn)練與部署。

代碼&課程PPT下載鏈接：https://pan.baidu.com/s/1OXyLeF7qU-bcA3UPAY2K_A

提取碼: 81ik（百度網(wǎng)盤）

接下來，何琨老師通過代碼講解，向大家展示了如何借助TLT和Triton完成手勢識別系統(tǒng)的訓(xùn)練與部署。大家可觀看視頻、繼續(xù)學(xué)習(xí)：

直播回放：

p.s.代碼演示部分從第30分鐘開始~

往期CV公開課

本次CV公開課共3期，點(diǎn)擊鏈接可查看往期課程內(nèi)容整理、下載課程PPT、源代碼等~

第1期：NVIDIA專家實(shí)戰(zhàn)演示，教你快速搭建基于Python的車輛信息識別系統(tǒng)

第2期：NVIDIA專家實(shí)戰(zhàn)演示，教你快速搭建情感識別系統(tǒng)

—?完?—