量子位x華為諾亞實驗室：端側(cè)AI模型的技術(shù)進展與未來

主講人 | 王云鶴 華為諾亞實驗室
量子位編輯 | 公眾號 QbitAI

近兩年來，端側(cè)AI在技術(shù)和應(yīng)用方面都取得了快速發(fā)展。相較于云側(cè)AI，端側(cè)AI具有低時延、保護數(shù)據(jù)隱私與安全、減少云端能耗、不依賴網(wǎng)絡(luò)穩(wěn)定等顯著優(yōu)勢。

但端側(cè)AI也面臨巨大的挑戰(zhàn)，比如計算需求量大、對實時性要求高，受限于運行環(huán)境、內(nèi)存、存儲空間等。面對這些挑戰(zhàn)，端側(cè)AI取得了哪些技術(shù)進展？未來將如何落地應(yīng)用？

5月13日，量子位·吃瓜社第9期線上活動中，華為諾亞方舟實驗室技術(shù)專家王云鶴直播分享了端側(cè)AI模型的最新技術(shù)進展。

主要分享內(nèi)容包括：

• 端側(cè)AI模型的背景介紹
• 如何對神經(jīng)網(wǎng)絡(luò)模型進行壓縮加速
• 如何對神經(jīng)網(wǎng)絡(luò)進行架構(gòu)搜索
• 如何保護用戶隱私等

直播回放：

文末附有PPT獲取方式；以下為量子位·吃瓜社整理的云鶴老師分享的內(nèi)容：

大家好，我是王云鶴，2018年博士畢業(yè)于北京大學，現(xiàn)在在華為諾亞方舟實驗室，我主要研究的方向是關(guān)于端側(cè)AI模型的優(yōu)化和加速等。

今天晚上很榮幸參加量子位·吃瓜社的線上活動，有機會給大家做一些相關(guān)工作的分享。我今天講的內(nèi)容主要是關(guān)于端側(cè)AI模型，包括我所在公司和學術(shù)界的一些新的進展。

今天的分享，我將首先介紹端側(cè)AI模型的相關(guān)背景；然后分三個框架介紹最新取得的一些技術(shù)進展，包括如何進行模型的壓縮和加速、如何進行架構(gòu)的搜索、如何保護用戶的隱私數(shù)據(jù)；然后給大家展示一個案例，是華為在端側(cè)AI的算法與昇騰芯片的結(jié)合；最后是一點總結(jié)，包括我們用到的算法、未來的計劃。

端側(cè)AI模型背景介紹

提到端側(cè)AI，我們主要做的是深度神經(jīng)網(wǎng)絡(luò)模型的架構(gòu)優(yōu)化，以使它可以在端側(cè)取得更好的表現(xiàn)。先來看一下深度神經(jīng)網(wǎng)絡(luò)架構(gòu)的發(fā)展情況。

上圖是LeCun在1998年提出的LeNet，是一個五六層的神經(jīng)網(wǎng)絡(luò)，搭建出一系列手寫字體的數(shù)字識別。這是第一個可商用的神經(jīng)網(wǎng)絡(luò)，僅有5個卷積層，51K參數(shù)量，速度也非常快，被用于很多手寫字體的識別場景。

上圖是深度神經(jīng)網(wǎng)絡(luò)框架的演變。從1998年開始LeNet手寫字體識別之后，到現(xiàn)在大家討論的深度神經(jīng)網(wǎng)絡(luò)，中間經(jīng)過了非常漫長的沉寂期。

2012年， AlexNet在ImageNet大規(guī)模物體識別的競賽上得到冠軍。它當時的實驗結(jié)果遠超其他基于傳統(tǒng)的手工設(shè)計特征的精度，雖然AlexNet在我們現(xiàn)在看來是一個比較小的模型，但當時是在兩塊NVIDIA GPU上面訓了6天才訓完。

2014年提出了更多不同的模型，包括GoogleNet，VGG等非常深非常大的神經(jīng)網(wǎng)絡(luò)。大家也逐漸把深度神經(jīng)網(wǎng)絡(luò)應(yīng)用到更廣泛的領(lǐng)域，如SR-CNN圖像超分辨率神經(jīng)網(wǎng)絡(luò)，GAN圖像生成對抗模型等。

2015年進一步把這些深度神經(jīng)網(wǎng)絡(luò)做了更深遠的高層語義的推廣。如Fast R-CNN目標檢測網(wǎng)絡(luò)，ResNet深度殘差神經(jīng)網(wǎng)絡(luò)，都是在這個時間段集中的提出的。

2017年取得了突破性的進展。如AlphaGo利用強化學習深度神經(jīng)網(wǎng)絡(luò)，超越了人類圍棋選手冠軍；MobileNet，NAS也是在這個時間提出的。

到2018年，更大規(guī)模的BERT預訓練模型在NLP任務(wù)上表現(xiàn)出非常好的性能，Capsule Net等相繼被提出。

現(xiàn)在大家仍在探索，到底什么樣的神經(jīng)網(wǎng)絡(luò)是比較優(yōu)的架構(gòu)，產(chǎn)生更好的性能的同時，還能帶來更好的用戶體驗。

前面提到了多個深度神經(jīng)網(wǎng)絡(luò)，雖然不斷取得了更好的表現(xiàn)，但是把模型從云端遷移到端側(cè)時，會面臨很多問題。

首先是隱私和安全的問題，對于訓練好的模型，用戶數(shù)據(jù)不可公開時，我們就無法使用這些AI模型。

第二是備受關(guān)注的時延問題，云上的AI模型都具有非常好的性質(zhì)，但是它的計算量相應(yīng)的也非常龐大。當把它遷移到計算能力較小的端側(cè)AI設(shè)備上面，時延是一個急需優(yōu)化的問題。

第三點是可靠性，雖然端測設(shè)備可以把我們所需要的任務(wù)和數(shù)據(jù)傳到云上做推理，但有時候與云端互聯(lián)的網(wǎng)絡(luò)可能并不穩(wěn)定。比如自動駕駛，在一些無人區(qū)或者地下車庫時，由于網(wǎng)絡(luò)不可靠，我們就需要在本地推理AI模型。

最后是能耗的問題，近兩年受到的關(guān)注也非常大。AI模型在推理過程中產(chǎn)生的計算量非常大，如果放到端側(cè)移動設(shè)備上面，將產(chǎn)生非常大的能耗。尤其是在AIoT應(yīng)用下，很多端側(cè)處理器的電池容量比較小，這種大量的深度神經(jīng)網(wǎng)絡(luò)的計算就會導致設(shè)備的使用周期打折扣。

如何對神經(jīng)網(wǎng)絡(luò)模型進行壓縮加速

MIT的韓松老師在2015年提出了一些觀測：預先訓練好的AlexNet、VGGNet模型中，去掉大約90%的參數(shù)，它的精度還是無損的。因此韓松老師開始提出一些模型壓縮的技術(shù)。

如上圖，一個預先訓練好的神經(jīng)網(wǎng)絡(luò)的模型，先識別出其中一些不重要的權(quán)值，然后對它進行FineTune以保證它的精度。接下來通過權(quán)重的量化、熵編碼，得到一個非常小的壓縮文件。當時最好的結(jié)果可以達到40倍以上的模型壓縮比例。

這種方法唯一的缺點是，雖然可以構(gòu)建出非常稀疏的神經(jīng)網(wǎng)絡(luò)，但它的計算是非結(jié)構(gòu)化的，它的稀疏是需要我們一些特殊的技術(shù)去幫助實現(xiàn)的，很難在大規(guī)模的GPU運算單元上去做加速。接下來介紹下針對這個問題華為做了哪些工作。

CNNpack：在頻域上的模型壓縮技術(shù)（NIPS 2016）

第一個工作是我們在NIPS 2016上發(fā)表的，是在頻域上做模型壓縮的技術(shù)。如下圖，第一行是算法對模型的神經(jīng)元參數(shù)做壓縮的過程。這個圖是對當時的卷積神經(jīng)網(wǎng)絡(luò)的可視化。這些卷積核本質(zhì)上還是要提取自然圖像里的一些重要信息，如斑點，條紋等。

所以我們提出利用DCT做模型壓縮。首先把卷積核通過DCT的變換產(chǎn)生頻域系數(shù)，然后在頻域上做K-Means聚類，挖掘卷積核與卷積核之間的冗余信息，最后利用如L1做通過權(quán)值最小的剪枝、量化、差分編碼，得到壓縮模型的文件。

第二行是模型加速。壓縮完成之后，我們不希望壓縮后的模型在線上推理的時候還要解壓縮。所以同時把輸入的數(shù)據(jù)，利用DCT的變化去產(chǎn)生一系列的在頻域上的DCT的積，這里面的每一個特征圖就可以理解成左側(cè)的輸入數(shù)據(jù)跟具體的相應(yīng)的DCT的積去做卷積計算，產(chǎn)生中間的特征圖。然后跟上面我們在頻域做過稀疏的這些卷積核的系數(shù)，做一個加權(quán)的線性組合，就可以產(chǎn)生壓縮后的這一層的特征圖。

這里有一個有意思的現(xiàn)象，由于DCT變換是正交變換，所以我們在空域上用原來的卷積核跟原來的圖像去做卷積計算生成的特征圖，等價于在DCT頻域上做卷積計算，這樣就可以保證我們在頻域上也能實現(xiàn)模型壓縮和加速的技術(shù)。

上圖下方是當時的一些實驗結(jié)果。從容量上來看，這種模型壓縮的技術(shù)效果很顯著，包括AlexNet,VGGNet,ResNet都具有非常好的壓縮比和加速比。但是也有缺陷。雖然呈現(xiàn)出了內(nèi)存的下降和理論上計算復雜度的下降，但是在實際使用過程中，很難把加速比換成線上推理速度的加速。

基于對抗學習的知識蒸餾方案（AAAI 2018）

除了上述對預訓練好的卷積神經(jīng)網(wǎng)絡(luò)的卷積核做剪枝的技術(shù)，另外一個技術(shù)路線是用較大的教師神經(jīng)網(wǎng)絡(luò)幫助較小的學生神經(jīng)網(wǎng)絡(luò)去學習，希望小的學生神經(jīng)網(wǎng)絡(luò)可以達到跟大的教師神經(jīng)網(wǎng)絡(luò)同樣精度。

通常我們都會把學生神經(jīng)網(wǎng)絡(luò)設(shè)計的比較小，所以如果它的精度可以跟教師神經(jīng)網(wǎng)絡(luò)保持一致的話，學生神經(jīng)網(wǎng)絡(luò)的推理速度就可以達到較好的水平。這種模型壓縮的思路最早是Hinton提出的，幫助我們更好的學習一些更小的、精度還有所保持的神經(jīng)網(wǎng)絡(luò)。

華為提出了一種基于對抗學習的知識蒸餾方法，顧名思義，就是在上述教師和學生神經(jīng)網(wǎng)絡(luò)知識蒸餾的過程中，引入了GAN技術(shù)。具體來說，在整個PipeLine里面，我們把需要做訓練的數(shù)據(jù)集同時輸入給教師和學生這兩個神經(jīng)網(wǎng)絡(luò)，在得到他們的特征時，加了一個判別器。目的是同時把教師和學生神經(jīng)網(wǎng)絡(luò)的特征喂到判別器里面，希望判別器學到最后分不出教師和學生的特征，就會把同一類的特征混到一起，幫助提升學生神經(jīng)網(wǎng)絡(luò)的精度。

進行自動剪枝和量化（SIGKDD 2018）

第三個工作是對模型的冗余神經(jīng)元做篩檢。我們提出了一種進化的自動剪枝和量化的策略，發(fā)表在SIGKDD 2018上面。前面講的都是通過人為的先驗知識去識別卷積神經(jīng)網(wǎng)絡(luò)中有哪些是冗余信息，比如有一個神經(jīng)元比較小，認為它對輸出的特征圖影響比較小，我們就把它去掉，這樣它的精度一般也不會有損失。這種方法的缺陷是，我們需要逐層去做神經(jīng)網(wǎng)絡(luò)剪枝。

因此，我們提出了一個新的概念，把神經(jīng)網(wǎng)絡(luò)的剪枝問題，當做成全局01規(guī)劃的問題。我們把預先訓練好的深度神經(jīng)網(wǎng)絡(luò)的每一層每一個卷積核都做01編碼，得到一個長的01編碼字符串。在進化算法的過程中，就會產(chǎn)生一系列的種群。下圖展示了進化算法的實驗過程：

左側(cè)每一個紅點都代表了我們在搜索過程中所產(chǎn)生的一個神經(jīng)網(wǎng)絡(luò)；橫坐標代表算法執(zhí)行過程中所需要的迭代次數(shù)；縱坐標是適應(yīng)值的函數(shù)，在這里面我們用到了個體網(wǎng)絡(luò)在評價過程中精度的值和剩余的神經(jīng)網(wǎng)絡(luò)參數(shù)量的衡量指標。我們希望它的精度越高越好，希望網(wǎng)絡(luò)稀疏度越高越好。指標越高，我們就會得到一個更小、精度更高的網(wǎng)絡(luò)。

從可視化的結(jié)果看迭代過程，在前幾個迭代過程中，網(wǎng)絡(luò)的精度非常低，但是它的冗余度比較高。通過進化算法的逐漸迭代，中間的一些網(wǎng)絡(luò)會產(chǎn)生更好的表現(xiàn)，但是模型相對還是比較大。在最后的一個優(yōu)化截止之后，我們得到了一個非常小的網(wǎng)絡(luò)模型，只有103kb，且最終的精度是99.2。這是一個在MNIST上的非常小的網(wǎng)絡(luò)，它的BaseLine是1.5G的模型，通過進化算法的優(yōu)化，差不多可以達到15倍的壓縮比。

這種卷積核剪枝跟剛才講的那種權(quán)值剪枝又不一樣。由于我們在卷積核剪枝做完之后，有一些神經(jīng)元直接被剪掉了，就可以直接梳理出比較好的緊致的神經(jīng)網(wǎng)絡(luò)架構(gòu)，我們用這種方式做出來的神經(jīng)網(wǎng)絡(luò)可以直接拿到實際過程中，產(chǎn)生很好的加速效果。

實際應(yīng)用中做一些項目和產(chǎn)品時會有更多的需求，比如說我們需要對神經(jīng)網(wǎng)絡(luò)的權(quán)重和激活函數(shù)做一些量化操作，然后這里面我們也會引入一些遺傳算法做搜索。好處是我們可以把這種帕累托前沿在搜索過程中同時去輸出。用戶就可以根據(jù)自己的傾向，比如說模型體量更小但是精度略低，或者中等體量但是精度更高。

上圖是卷積核剪枝的結(jié)果，同時可以輸出帕累托前沿。這是一種比較簡單、好用的技術(shù)，在實際項目中我們經(jīng)常用到。

針對生成模型的協(xié)同進化壓縮算法（ICCV 2019）

這個工作是自動剪枝和量化的延續(xù)。在此之前，大量深度神經(jīng)網(wǎng)絡(luò)的模型壓縮算法都是在討論如何在ImageNet、圖像識別等任務(wù)上做壓縮和加速，很少討論到如何對生成模型做壓縮。

因此我們就提出了協(xié)同進化壓縮算法，幫助我們把預先訓練好的模型做優(yōu)化，比如CycleGAN。我們把預先訓練好的生成器里的卷積核做01編碼，0是要保留的，1是要被去掉的。同時由于CycleGAN的原生結(jié)構(gòu)同時要維護兩個生成器，所以我們的算法里同時維護了兩套種群。兩套種群的好處是，我們在整個CycleGAN的結(jié)構(gòu)優(yōu)化過程中，下一次迭代的生成器A就可以用到上一次迭代里面，找到最優(yōu)的生成器B的結(jié)構(gòu)，幫助我們做迭代和交互。經(jīng)過不斷迭代直到算法收斂時，就會同時得到A、B兩個生成器，同時具有原來的網(wǎng)絡(luò)性質(zhì)，并且整個網(wǎng)絡(luò)的計算量、計算代價都下降了。

在這個工作中，我們提出了用于壓縮GAN的一些指標。比如說這里會有一個關(guān)于判別器的 loss，就是我們期望壓縮后的GAN生成的一些圖像，放到原來的判別器里，跟原來的真實圖像還是不能區(qū)分的，就是說我們還是希望盡可能多的保持圖像生成能力。

右上角是一些可視化的結(jié)果，第一個是完成的馬到斑馬的結(jié)果，左側(cè)是輸入的圖像，右側(cè)是原生的CycleGAN輸出的斑馬圖像。如果我們用傳統(tǒng)的模型壓縮技術(shù)，去對這個生成器做剪枝的話，可以看到馬到斑馬的任務(wù)沒有辦法保持好的效果了，生成的圖像質(zhì)量非常差。

右下角是CycleGAN在六個數(shù)據(jù)集上的壓縮和驗證結(jié)果。可以看到在實際上我們都可以獲得6.8s到2.1s的實測推理速度。這里大家要注意一個問題， CycleGAN的模型并不大，算上壓縮比之前的模型大小只有40G，但是FLOPs會非常大，而 FLOPs的計算跟輸入圖像和每一層的特征圖的尺寸是強相關(guān)的。這種圖像生成模型的特點是輸入的圖像是多大，輸出的圖像一般也是那么大，甚至會更大。中間特征圖的一些密集的計算就會把FLOPs帶的非常高。因此這樣的模型加速算法可以把CycleGAN的模型大小、FLOPs計算量都提升4-5倍。

我們還發(fā)現(xiàn)一些有意思的規(guī)律。由于CycleGAN的設(shè)計是兩個生成器具有同樣的結(jié)構(gòu)、同樣的參數(shù)量，但是通過這種協(xié)同進化壓縮會產(chǎn)生不一樣的地方。最后一行的數(shù)據(jù)集是街景圖與語義分割圖的轉(zhuǎn)化，可以看到在A2B的任務(wù)上獲得了更大的壓縮比，但是在B2A上就達不到如此高的壓縮比。原因可能是從真實的街景圖到像素圖的任務(wù)是相對簡單的，所以它所需要的參數(shù)量和計算量都會相應(yīng)減少。通過這個發(fā)現(xiàn)，希望對未來GAN的設(shè)計有一些啟發(fā)的意義。

高效的單元和結(jié)構(gòu)設(shè)計

前面講的都是關(guān)于如何對預先訓練好的模型做優(yōu)化裁剪、線上加速推理。除了怎樣去除原來的冗余信息，另外一個技術(shù)路線是如何設(shè)計高效的單元結(jié)構(gòu)，我們做了很多嘗試。

華為在2018年提出了多用卷積核，發(fā)表在NeurlPS上。我們發(fā)現(xiàn)卷積核的參數(shù)量非常多，但是它產(chǎn)生的特征并不多，所以我們的思路是，如何利用預先設(shè)定好的卷積核參數(shù)產(chǎn)生盡可能多的特征。

在這個工作里，以5×5的卷積核為例，我們會做三次卷積計算，即5×5做一次，3×3做一次，1×1再做一次，那原來的5×5卷積核就可以產(chǎn)生三個特征。原來一個神經(jīng)網(wǎng)絡(luò)需要三個特征，也就是說需要三個卷積核，現(xiàn)在只需要一個卷積核。通過這樣的參數(shù)共享，就可以減少原來神經(jīng)網(wǎng)絡(luò)架構(gòu)設(shè)計時所需的參數(shù)量和大量的神經(jīng)計算。

同時我們再把空間上多用的卷積核做擴展，在通道上引入步長的概念，產(chǎn)生更多的特征。通過卷積核的復用，產(chǎn)生更高效的神經(jīng)網(wǎng)絡(luò)設(shè)計。右側(cè)是多用卷積核的擴展。我們把全精度的神經(jīng)網(wǎng)絡(luò)卷積核，通過邊界Mask產(chǎn)生子卷積核，然后復用原來的全精度的參數(shù)。但是它是用更簡單的一比特的參數(shù)量產(chǎn)生的，它的計算也可以通過這樣的方式做一個篩檢。

這是華為在ICML2019上提出的樂高卷積核。具體做的事情跟樂高很像，如上圖，正常的卷積核就是上方這些不同顏色的長方體，通常都是通道數(shù)很長的卷積核。而在樂高卷積核里，我們會生成一些更小的卷積核，其通道數(shù)都遠遠小于原來構(gòu)建時所需要的通道數(shù)。我們在深度神經(jīng)網(wǎng)絡(luò)的學習的過程中，不學原來的那些較長的卷積核，而是學習比較小的卷積核和小卷積核在相應(yīng)位置的排列組合。如圖所示，通過學習小卷積核的排序和權(quán)值，整個網(wǎng)絡(luò)的計算量和所需要的參數(shù)量就能得到一個非常大的優(yōu)化。

下方是在實際計算中如何使用樂高卷積核，以幫助我們在線上做一些推理。根據(jù)樂高卷積核，我們把輸入數(shù)據(jù)x做一個拆分，逐一做出它的特征圖，最后我們再根據(jù)上面學到的排列組合以及拼接方式，把它們合到一起產(chǎn)生輸出。

這一部分我想分享的是，除了現(xiàn)有的一些神經(jīng)網(wǎng)絡(luò)架構(gòu)，其實還有更多的算子值得我們?nèi)ヌ剿鳌９雀枰苍诓粩嗟奶岢鲆恍┬碌牟僮鳎热缯fDepthWise等。雖然這些工作在現(xiàn)有的一些推理平臺上面很難達到實際的壓縮和加速，但是我認為這些探索對未來的神經(jīng)網(wǎng)絡(luò)架構(gòu)設(shè)計也有重要意義。

GhostNet：業(yè)界性能最好的端側(cè)AI架構(gòu)（CVPR 2020）

沿著剛才講的路線，我們在不斷嘗試產(chǎn)生更好的神經(jīng)網(wǎng)絡(luò)架構(gòu)。在今年的CVPR上，華為提出了GhostNet。在沒有任何額外的訓練技巧，包括學習率、數(shù)據(jù)擴充等情況下，GhostNet的性能是比較不錯的。

我們前期通過對ResNet、VGG以及常見的神經(jīng)網(wǎng)絡(luò)架構(gòu)等大量的觀測發(fā)現(xiàn)，同一個數(shù)據(jù)輸進去，特征和特征之間的冗余度非常高，經(jīng)常會出現(xiàn)一些很相似的特征。那么這些很相似的特征能否不通過如此大量的卷積計算去產(chǎn)生，而是通過更簡單的變化去產(chǎn)生？

GhostNet的思路是，假如輸入的通道是c，正常的神經(jīng)網(wǎng)絡(luò)它需要的輸出通道數(shù)是n，但我們把卷積核的通道數(shù)通過一個更小的m表示，在具體的實現(xiàn)里面m=n/2。這里產(chǎn)生的特征圖直接喂到輸出層之后，剩下的這些特征也是通過這m個通道通過一些簡單的變換產(chǎn)生。具體實現(xiàn)時，由于我們主要的目標還是在CPU上產(chǎn)生更好的結(jié)果，所以這里用到了DepthWise來代替大量的計算，就構(gòu)建出了這樣的架構(gòu)。

左下角是一個具體的實驗結(jié)果，當時GhostNet高于MoblieNetv3。在同樣的FLPOS的情況下，精度提高差不多0.5-1個點。實驗中我們把這些模型放到端側(cè)設(shè)備上，這里我們?nèi)×艘粋€Kirin980CPU的測速，可以看到雖然增加了很多DepthWise的操作，但是這個操作在CPU上是非常友好的，在堆積了一些GhostNet模塊之后，取得了非常好的加速效果。藍線也是我們自己復現(xiàn)和測試的MobileNet，可以看到在同樣精度下，GhostNet加快10-15%的實測效果。右側(cè)是把GhostNet用于目標檢測上，也產(chǎn)生了更好的結(jié)果。

AdderNet：用加法替代乘法的深度神經(jīng)網(wǎng)絡(luò)（CVPR 2020）

大量的模型壓縮算法中，壓縮的都是卷積神經(jīng)網(wǎng)絡(luò)里所必須的乘法計算。我們的想法是，如果能把乘法替換成加法，它所帶來的意義以及能耗下降的指標，是我們現(xiàn)在所想不到的。

在這個paper里，我們提出卷積的本質(zhì)也是一種度量的函數(shù)，它度量的是特征與卷積核之間的余弦相似度。通過把最后的神經(jīng)元約束到兩個的時候，可以做出很好的特征可視化，左側(cè)的是加法的，右側(cè)的是乘法的。可以看到乘法的特征都是成放射狀的，分類器就會根據(jù)不同特征的角度做對比，做出每一類的區(qū)分。加法的分類器會根據(jù)輸入數(shù)據(jù)的類別中心來做區(qū)分。

用公式表示這個觀測，原來是輸入的數(shù)據(jù)x跟卷積核數(shù)據(jù)逐位做點乘，然后求和；而在加法神經(jīng)網(wǎng)絡(luò)里它就變成另外一種形式，是輸入數(shù)據(jù)x跟卷積核的數(shù)據(jù)逐位相減，取絕對值，然后再取負數(shù)（取負數(shù)的目的是為了跟卷積一樣，卷積時當x完全等于f的時候，這樣的東西是最相似的）。同時我們也配套給這些特征做了BN、ReLU等操作，來保證整個神經(jīng)網(wǎng)絡(luò)的訓練，另外還運用了學習率調(diào)整、梯度clip等訓練技巧。

右側(cè)是在圖像分類上的驗證，性能基本上跟原來的神經(jīng)網(wǎng)絡(luò)一致。在ImageNet上面，結(jié)果是我們在ResNet50上跟Baseline的乘法神經(jīng)網(wǎng)絡(luò)相比，它的精度損失Top5有1.2左右的差距。在我們最新的結(jié)果里，我們通過一些額外的訓練技巧優(yōu)化，這種加法神經(jīng)網(wǎng)絡(luò)的精度是要比乘法神經(jīng)網(wǎng)絡(luò)的精度高一些的。

這里也跟BN做過對比，因為這樣的加法計算，其實等價于權(quán)重是1比特，激活函數(shù)是32比特的計算。這時就會產(chǎn)生另外一個問題，32比特的加法的能耗會比較高。我們最近在做的工作是，把這里面所有的加法的參數(shù)、激活函數(shù)都換成8比特，得到的精度基本上跟之前保持一致，而且降低了能耗。

我們希望通過加法替代乘法的思路和結(jié)果，去改變現(xiàn)有的AI體系框架，實現(xiàn)能耗更低、性能更好的目標。彈幕有同學問開源，我們已經(jīng)把一些推理的代碼、簡單的訓練技巧公開了，整個的訓練技巧我們爭取兩個月內(nèi)把開源都做好。

如何對模型架構(gòu)進行搜索

接下來要分享的是近兩年比較熱的模型架構(gòu)搜索。神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索（NAS）概念是谷歌在2016年提出來的，也是用進化算法做種群的概念。把大量的神經(jīng)網(wǎng)絡(luò)block和常用單元做了一個堆疊，然后通過進化算法的概念做種群的繁衍和演進。

前面是一些非常簡單的網(wǎng)絡(luò)，精度也比較低。通過進化算法，針對精度很高的大的網(wǎng)絡(luò)做出搜索。由于谷歌的計算資源還有相關(guān)的人力投入，現(xiàn)在我們看來谷歌的NAS技術(shù)、AutoML技術(shù)是比較領(lǐng)先的，以及谷歌EfficientNet、EfficientDet等在不同任務(wù)上搜索出來的神經(jīng)網(wǎng)絡(luò)框架都比較好。

基于連續(xù)進化的神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索算法（CVPR 2020）

先分享一個不一樣的概念，在大多數(shù)的論文里大家report主要還是以FLOPs、mAP為主，但是這種理論的計算復雜度跟在公司實際應(yīng)用中模型的實測速度相差甚遠。舉個簡單的例子，如果我們搞了一個DenseNet，把DenseNet所有的卷積核都去掉，但是把Concat，Short-cut等保留，然后測試它的實際的速度還是很慢的。

因此我們提出了這個概念，第一步先做一個硬件在環(huán)，作為壓縮的模型搜索的工具，搜索指標不再是用理論上的計算復雜度，而是實際的模型下發(fā)到手機上的推理速度，然后把這個指標返回來，去做模型優(yōu)化的指標。通過這樣的端云協(xié)同，就可以把最適合我們當下硬件的模型搜出來。這里面也有一些技術(shù)細節(jié)，這個算法可以繼承我們在上一次搜索中得到的架構(gòu)的一些參數(shù)，每次都更新帕累托前沿上的一些架構(gòu)和參數(shù)，通過這個方式可以在一個GPU上都搜索出來。

跟其他的模型相比，這個結(jié)果還是不錯的。同樣的搜索空間下，我們搜索得到的模型會比相同精度用DARTS算法搜索出來的模型快上一倍（這里不是指訓練的速度，而是搜出的模型的推理速度）。通過硬件在環(huán)的思路，我們就可以把搜索得到這個模型部署到具體的設(shè)備里面，從而達到一個更好的效果。這也反映了,理論上的算法都跟實際的推理速度相差較大。所以在實際的工程項目里，我們都會把AI模型的實測速度當成一個比較重要的指標去做。

輕量的超分辨模型架構(gòu)搜索（AAAI 2020）

現(xiàn)有的大量NAS算法都是在分類的任務(wù)上去跑的，關(guān)注底層視覺的模型并不多。

因此提到用AutoML的思路來產(chǎn)生一些更好的模型，這里面對比的CARN算法是當前比較好的超分模型。這里面我們提出了幾個比較適用于SR模型的block，然后通過block的組合、連接、設(shè)計等做算法的搜索，產(chǎn)生了更好的適用于超分網(wǎng)絡(luò)的模型。

在標準數(shù)據(jù)集上的驗證結(jié)果是，比SOTA超分模型的PSNR高0.5個db左右，推理速度快0.2秒。這200毫秒在用戶實際拍照時是能感知到的，推理時間越長，用戶的體驗就會越差。

底下是一些具體的可視化結(jié)果，原圖是一張標準的高清圖，在同樣FLOPs、模型大小等約束下，通過上述算法搜索得到的效果可視化要好于其他的算法。這個論文發(fā)表在今年的AAAI上，大家可以去看里面的細節(jié)，我們也會在5月底開源。

二值神經(jīng)網(wǎng)絡(luò)的等價性問題（ICCVw 2019 Neural Architects）

我們對AutoML還做了更多探索。這個工作是對二值神經(jīng)網(wǎng)絡(luò)的等價性做了一個搜索。

大家都知道，1比特神經(jīng)網(wǎng)絡(luò)的精度不是很好，但是具有非常好的能耗、速度、模型大小。我們可以把大量的全精度神經(jīng)網(wǎng)絡(luò)的密集計算轉(zhuǎn)化成一種1比特的比較簡單的計算。那如何開發(fā)具有很高精度的1比特神經(jīng)網(wǎng)絡(luò)，是大家一直很關(guān)注的問題，在這個方向的論文也比較多。

這個工作前置的觀測就是，如果我們把1比特神經(jīng)網(wǎng)絡(luò)的寬度做出調(diào)整，從1倍調(diào)整到2倍、4倍、8倍，發(fā)現(xiàn)到4倍的時候，1比特神經(jīng)網(wǎng)絡(luò)精度，也就是它在ImageNet上的accuracy可以逼近甚至超越原來的全精度32比特的神經(jīng)網(wǎng)絡(luò)。繼續(xù)擴展，它還會產(chǎn)生更好的結(jié)果。

我們在這個方向上做了一個嘗試，把1比特神經(jīng)網(wǎng)絡(luò)的寬度作為一個編碼信息，然后用進化算法做搜索，右上角是搜索得到的結(jié)果。我們可以調(diào)整1比特神經(jīng)網(wǎng)絡(luò)的寬度，去產(chǎn)生精度更高、計算復雜度可控的實驗的結(jié)果和現(xiàn)象。這個工作的實用性和意義還蠻大的，現(xiàn)在也有一些人關(guān)注，也在華為的一些實際項目中用到了。

如何保護用戶隱私

接下來要分享的是，我們在做這些模型壓縮、加速、搜索的時候，如何去保護用戶的隱私。學術(shù)界可能不是很關(guān)心這個問題，因為很多訓好的神經(jīng)網(wǎng)絡(luò)都是采用了一些公開的數(shù)據(jù)集。但在實際應(yīng)用中，涉及到隱私的端側(cè)App就會非常多，包括人臉解鎖、語音助手、指紋識別、一些娛樂APP的應(yīng)用，基本上都需要用戶實時的采集一些自己的隱私數(shù)據(jù)去完成訓練。如果我們想要獲取這些隱私數(shù)據(jù)，用戶很可能會感到焦慮。比如之前比較火的一鍵換臉的軟件，面臨的隱私問題也受到很大的關(guān)注度。

但是如果用戶在本地訓出的模型，比如人臉識別解鎖，體驗不好、或者人臉解鎖比較慢，想讓我們把他的AI模型做一個速度優(yōu)化的時候，但他不想給我們?nèi)四槪幌氚阉约旱挠柡玫腁I應(yīng)用給我們，這種情況下怎么去做一些模型壓縮和加速？我們提出兩個解決方案。

第一個方案是左下角的Data-Free方案，是不需要任何訓練數(shù)據(jù)集的模型壓縮技術(shù)。我們把用戶給到的網(wǎng)絡(luò)放在這里，網(wǎng)絡(luò)的結(jié)構(gòu)、權(quán)值信息是未知的，我們只知道網(wǎng)絡(luò)的輸入接口和輸出特征是什么。在這個方案里，我們有了這樣的一個Teacher Network模型，就會有一個想要的Student Network模型，可以根據(jù)我們預先需求的速度、大小、能耗等設(shè)計好。然后在前面接上一個生成器，把輸入的隨機信號喂到生成器里面，把生成的圖像給到Teacher Network做出信息的提取，并且希望生成的數(shù)據(jù)在Teacher Network里表示出非常好的性質(zhì)，這樣的話我們就認為它是比較符合原始的Teacher Network所需要的訓練數(shù)據(jù)集的樣子。

有了這個生成器和生成的圖像，它的label就是Teacher Network所標記出來的，這樣的話就可以構(gòu)建出一個我們想要的數(shù)據(jù)集。通過這樣的方式，再結(jié)合Teacher-Student的蒸餾方式，去幫助我們學習小的學生神經(jīng)網(wǎng)絡(luò)，就可以產(chǎn)生很好的壓縮結(jié)果。

第二個方案是上圖右下角的PU方案。如果用戶只愿意給我們一點點數(shù)據(jù)，比如說5%的數(shù)據(jù)，這時我們怎么更好的完成壓縮任務(wù)呢？這里提出了PU Learning的方式，幫助我們在云上找到我們想要的數(shù)據(jù)。因為云上通常都有大量的未標注數(shù)據(jù)，在云上加上一個PU分類器，結(jié)合用戶給到的一小部分數(shù)據(jù)，我們就可以獲取到對這個任務(wù)有用的一些數(shù)據(jù)。再用原來的Pre-trained Network在這些數(shù)據(jù)集上做模型的壓縮和加速，結(jié)合知識蒸餾等，就可以獲得一個很好的壓縮結(jié)果。

無需訓練數(shù)據(jù)的壓縮方（ICCV 2019）

首先我們來看無訓練數(shù)據(jù)壓縮方法的可視化結(jié)果。右上角是手寫字體數(shù)據(jù)集，我們有一個訓好的神經(jīng)網(wǎng)絡(luò)，通過Data-Free learning就可以把它每一類的數(shù)據(jù)做一個模擬。由于這個數(shù)據(jù)集其實比較簡單，所以會產(chǎn)生一些圖像的紋理信息。右下角是我們在一些人臉數(shù)據(jù)集上的結(jié)果，由于機器識別時關(guān)注的不是整張圖，而是人的眉毛、眼睛等特征，所以生成時就產(chǎn)生了一些不一樣的紋理。

實驗結(jié)果說明，用這種方案去學習Student Network在CIFAR-10和CIFAR-100上都達到了比較好的結(jié)果。比如原來的Teacher Network在CIFAR-10是94.85，但是如果我們用正態(tài)分布的噪聲作為原來數(shù)據(jù)的替代，它的精度是非常差的，因為它可能就會直接被陷入到某一類的識別，Student只能學不好了。

我們這里提到了alternative，把CIFAR-10和CIFAR-100做交換，用CIFAR-100的去代替原來CIFAR-10的數(shù)據(jù)，然后學出來的精度是90.65。雖然這兩個數(shù)據(jù)集基本上是同源的，并且很像，但由于沒有原來的標注信息還是學得不夠好。Data-Free的思路可以把Student Network學到92.2的精度，它跟Baseline神經(jīng)網(wǎng)絡(luò)精度差兩個點左右，差距也是比較大的。這個工作也是希望給做模型壓縮、加速的同學提了一個新的思路，如何在做一個端側(cè)AI框架時更好的保護用戶隱私。

在云上的PU壓縮方案（NeurlPS）

PU是指根據(jù)給定的數(shù)據(jù)，去識別無標簽的數(shù)據(jù)集里哪些是正樣本，哪些是負樣本，在大量的未標注的數(shù)據(jù)集里挑出我們想要的、對我們?nèi)蝿?wù)有用的數(shù)據(jù)。

云上PU壓縮大概的算法執(zhí)行過程是：首先通過PU的方法挑選出與用戶給定的數(shù)據(jù)集相關(guān)的圖像，同時也會排除一些不重要、看起來不相關(guān)的數(shù)據(jù)，由于這里利用了一小部分數(shù)據(jù)和大量的未標注的數(shù)據(jù)，得到的結(jié)果是非常好的。比如說在CIFAR-10上面，我們只用了原來的2%的數(shù)據(jù)集，就可以達到93.75的效果。如果我們只有10%的ImageNet訓練數(shù)據(jù)集，然后在更大的數(shù)據(jù)集上做一些挑選的話，也可以把Student Network的精度訓練得很好。這是用一個ResNet50教ResNet18的任務(wù)，Teacher是91.26，如果用全量的數(shù)據(jù)集，Student是88.76；然后用PU的方法，Student可以達到86.0。

這個思路也是很有意義的，我們也在持續(xù)不斷的投入研究，從完全無訓練數(shù)據(jù)集到有一點訓練數(shù)據(jù)集，兩種方向都給出了相應(yīng)的解決方案，也都獲得了比較好的結(jié)果。

端側(cè)AI與華為昇騰芯片

上述分享的都是算法層面的論文之類的研究工作，這部分講一個實際的應(yīng)用。

這是今年在華為的開發(fā)者大會上，做的一個實時的視頻風格遷移。比如我們輸入一個電影的圖像，通過GAN的技術(shù)，可以實時產(chǎn)生一些電影。

但這些模型的計算代價其實是比較大的。在華為Atlas200上，它原來的推理速度是630ms，遠遠超過視頻攝像頭對實時數(shù)據(jù)的抓取所需要的速度。我們通過一系列的模型優(yōu)化技術(shù)，最后把模型的推理速度優(yōu)化到40ms，15倍以上的差距。如果我一秒想抓20幀圖像的話，那40毫秒就足夠去完成這樣的實時推理的要求了。

在這個項目里面，我們用到了這些技術(shù)：

• 模型蒸餾：去掉原始模型中的光流模塊，幫助我們解決穩(wěn)定性的問題
• 神經(jīng)元剪枝：降低視頻生成器的計算復雜度
• 算子優(yōu)化：在不同的硬件上會有不同的最優(yōu)算子和最優(yōu)架構(gòu)，我們用了AutoML的技術(shù)自動地選擇最適合Atlas200的AI算子
• 模型適配：包括多種風格遷移，例如梵高、畢加索等

由于今年疫情的原因，華為的開發(fā)者大會也將轉(zhuǎn)為線上。這里是一個風格遷移的現(xiàn)場展示，感興趣的同學也可以看一看，（鏈接：https://developer.huaweicloud.com/exhibition/Atlas_neural_style.html）

未來的展望

從數(shù)據(jù)高效的角度來講，我們會用到GAN、PU learning、遷移學習、小樣本學習等，來幫助我們收集更好的數(shù)據(jù)。

往上一層，端側(cè)AI模型的優(yōu)化涉及到一些技術(shù)算法，也是上面講到的權(quán)值修剪、模型量化、知識蒸餾等。

計算機視覺里需要做端側(cè)AI模型優(yōu)化的地方非常多，主要是高層視覺和底層視覺兩個方向，這里面有大量的研究、工程的空間都是可以做的。

最后，這些東西在華為內(nèi)部應(yīng)用場景也比較低，包括自動駕駛、智能終端、平安城市、華為云等。

我今天分享的所有內(nèi)容，在Github的開源連接（https://github.com/huawei-noah）都能獲取。我們近期還會開源諾亞實驗室的一個AutoML的平臺—Pipeline，里面會集成我們更多同事的一些更好的東西，以及很多成功的案例，來幫助大家做AutoML的技術(shù)，謝謝大家。

傳送門

本期直播回放鏈接：https://www.bilibili.com/video/BV1xT4y1u7Re

PPT獲取鏈接：https://pan.baidu.com/s/18x2kJWZeYltu2WSMgi9NVg

提取碼: x49q

最后，云鶴老師經(jīng)常會在知乎上分享他們的研究成果，包括最新的Paper、開源鏈接等，歡迎大家關(guān)注云鶴老師的知乎專欄：深度模型壓縮領(lǐng)域論文