谷歌開源縮放模型EfficientNets：ImageNet準確率創紀錄，效率提高10倍
文章已經被ICML 2019收錄。
曉查 發自 凹非寺
量子位 出品 | 公眾號 QbitAI
最近，谷歌基于AutoML開發了EfficientNets，這是一種新的模型縮放方法。它在ImageNet測試中實現了84.1%的準確率，再次刷新了紀錄。
雖然準確率只比之前最好的Gpipe提高了0.1%，但是模型更小更快，參數的數量和FLOPS都大大減少，效率提升了10倍！
開發EfficientNets是來自谷歌大腦的工程師Mingxing Tan和首席科學家Quoc V. Le，他們的文章《EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks》已經被ICML 2019收錄，并在GitHub上開源了模型。
實現方法
傳統提高CNN準確率的方法有：增加網絡的深度或寬度，例如通過增加層數將ResNet-18可擴展到ResNet-200，或者是提高輸入圖片分辨率來訓練和評估網絡。
雖然這些方法確實提高了準確率，但是通常需要繁瑣的手動調整，而且經常不能獲得最優的性能。
最近谷歌提出了一種復合縮放（compound scaling）的方法，與縮放神經網絡的傳統方法不同，谷歌的方法使用一組固定的縮放系數統一縮放每個維度。
實現復合縮放的首先是執行網格搜索，以在固定資源約束下找到基線網絡（baseline model）的不同縮放維度之間的關系，確定每個維度的縮放比例系數。然后將這些系數將應用于基線網絡，擴展到所需的目標模型大小或計算力。
模型縮放的有效性也在很大程度上依賴于基線網絡。因此，為了進一步提高性能，谷歌還使用AutoML MNAS框架優化了模型的準確率和效率，執行神經架構搜索來開發新的基線網絡。
性能表現
EfficientNet模型實現了比現有CNN更高的精度和更高的效率，將參數數量和FLOPS降低了一個數量級。
特別需要指出的是，EfficientNet-B7在ImageNet上實現了目前最先進的測試結果，準確度為84.4％（top-1）和97.1％（top-5），同時比現有最好的Gpipe小了8.4倍，推理速度快6.1倍。
在同等算力的條件下，EfficientNet也有更好的表現。與ResNet-50相比，EfficientNet-B4的準確率為82.6%，比ResNet-50的76.3%高出6.3個百分點。
EfficientNets不僅在ImageNet上表現良好，遷移到其他數據集上也有優秀的表現。為了評估這一點，谷歌在8個廣泛使用的遷移學習數據集上測試了EfficientNets，其中5個實現了最先進的準確度。它在CIFAR-100上準確度為91.7％，在Flowers上為98.8％，同時參數減少了21倍。
傳送門
博客地址：
https://ai.googleblog.com/2019/05/efficientnet-improving-accuracy-and.html
開源地址：
https://arxiv.org/abs/1905.11946
- 腦機接口走向現實，11張PPT看懂中國腦機接口產業現狀｜量子位智庫2021-08-10
- 張朝陽開課手推E=mc2，李永樂現場狂做筆記2022-03-11
- 阿里數學競賽可以報名了！獎金增加到400萬元，題目面向大眾公開征集2022-03-14
- 英偉達遭黑客最后通牒：今天必須開源GPU驅動，否則公布1TB機密數據2022-03-05
相關閱讀
