不用GPU，稀疏化也能加速你的YOLOv3深度學習模型
水木番 發自 凹非寺
量子位 報道 | 公眾號 QbitAI
你還在為神經網絡模型里的冗余信息煩惱嗎？
或者手上只有CPU，對一些只能用昂貴的GPU建立的深度學習模型“望眼欲穿”嗎？
最近，創業公司Neural Magic帶來了一種名叫新的稀疏化方法，可以幫你解決煩惱，讓你的深度學習模型效率“一節更比七節強”！
Neural Magic是專門研究深度學習的稀疏方法的公司，這次他們發布了教程：用recipe稀疏化YOLOv3。
聽起來有點意思啊，讓我們來看看是怎么實現的~
稀疏化的YOLOv3
稀疏化的YOLOv3使用剪枝（prune）和量化（quantize）等算法，可以刪除神經網絡中的冗余信息。
這種稀疏化方法的好處可不少。
它的推斷速度更快，文件更小。
但是因為過程太復雜，涉及的超參數又太多，很多人都不太關心這種方法。
Neural Magic的ML團隊針對必要的超參數和指令，創建了可以自主編碼的recipe。
各種不同條件下的recipe構成了一種可以滿足客戶各類需求的框架。
這樣就可以建立高度精確的pruned或pruned quantized的YOLOv3模型，從而簡化流程。
那這種稀疏化方法的靈感來源是什么呢？
其實，Neural Magic 的?Deep Sparse（深度稀疏）架構的主要靈感，是在產品硬件上模仿大腦的計算方式。
它通過利用 CPU 的大型快速緩存和大型內存，將神經網絡稀疏性與通信局部性相結合，實現效率提升。
教程概況
本教程目錄主要包括三大模塊：
- 創建一個預訓練的模型
- 應用Recipe
- 導出推理
教程的這些recipe可以幫助用戶在Ultralytics強大的訓練平臺上，使用稀疏深度學習的recipe驅動的方法插入數據。
教程中列出的示例均在VOC數據集上執行，所有結果也可通過“權重和偏差”項目公開獲得（地址見參考鏈接4）。
調試結果展示
研究團隊給出了稀疏YOLOv3目標檢測模型在Deep Sparse引擎和PyTorch上的運行情況。
這段視頻以波士頓著名地標為特色，在Neural Magic的誕生地——MIT的校園取景。
同樣的條件下，在Deep Sparse引擎上比PyTorch上效率會更高。
遇到的常見問題
如果用戶的硬件不支持量化網絡來推理加速，或者對完全恢復的要求非常高，官方建議使用pruned或pruned short 的recipe。
如果用戶的硬件可以支持量化網絡，如CPU 上的 VNNI 指令集，官方建議使用pruned quantized或pruned quantized short的recipe。
所以使用哪一種recipe，取決于用戶愿意花多長時間訓練數據，以及對完全恢復的要求。
具體要比較這幾種recipe的話，可以參考下表。
網友：這個框架會比傳統的機器學習框架pytorch好嗎？
既然給出了和pytorch的比較視頻，就有網友發問了：
Neural Magic也使用python嗎？為什么一個比另一個快10倍以上？我不相信像pytorch這樣傳統的機器學習框架不會得到優化。兩種模型的實現是否相同？
公司官方人員也下場解釋了：
我們擁有專利技術，可以通過減少計算和內存移動來使稀疏網絡在CPU上更高效的運行。
雖然傳統的ML框架也能很好地實現簡單而高效的訓練過程。
但是，多加入一些優化的推理，可以實現更多的性能，尤其是在CPU上更明顯。
看來，有了以上強大的YOLOv3 模型工具和教程，用戶就可以在CPU上，以最小化的占用空間和GPU的速度來運行深度學習模型。
這樣有用的教程，你還在等什么？
希望教程能對大家有所幫助，歡迎在評論區分享交流訓練模型經驗~
最后介紹一下Neural Magic，有興趣的朋友可以去了解一下。
Neural Magic是一家什么樣的公司？
Neural Magic成立在馬薩諸塞州的劍橋。
創始人Nir Shavit和Alexander Matveev在MIT繪制大腦中的神經連接圖時，一直覺得GPU有許多限制。
因此他們停下來問自己兩個簡單的問題：
為什么深度學習需要GPU等專用硬件？
有什么更好的方法嗎？
畢竟，人腦可以通過廣泛使用稀疏性來減少神經網絡，而不是添加FLOPS來匹配神經網絡，從而滿足神經網絡的計算需求。
基于這種觀察和多年的多核計算經驗，他們采用了稀疏和量化深度學習網絡的技術，并使其能夠以GPU的速度或更高的速度在商用CPU上運行。
這樣，數據科學家在模型設計和輸入大小上就不需要再做妥協，也沒必要用稀缺且昂貴的GPU資源。
Brian Stevens
Neural Magic的CEO，Red Hat和Google Cloud的前CTO。
Nir Shavit
Neural Magic聯合創始人。
麻省理工學院教授，他目前的研究涉及為多處理器設計可伸縮軟件的技術，尤其是多核計算機的并發數據結構。
Alexander Matveev
Neural Magic首席技術官兼聯合創始人。
麻省理工學院前研究科學家，專門研究AI多核算法和系統。
參考鏈接：
[1]https://github.com/neuralmagic/sparseml/blob/main/integrations/ultralytics-yolov3/t2.utorials/sparsifying_yolov3_using_recipes.md
[2]https://neuralmagic.com/blog/sparsifying-yolov3-using-recipes-tutorial/
[3]https://arxiv.org/pdf/1804.02767.pdf
[4]https://wandb.ai/neuralmagic/yolov3-spp-lrelu-voc
- 3行代碼就能可視化Transformer的奧義 | 開源2021-06-20
- “接著奏樂接著舞”，大腦也是這么想的2021-06-20
- 新型內存攻擊，專治制程提高的芯片2021-06-08
- 臺大喊你來上課，深度學習優化，免費的喲2021-05-31
相關閱讀
