讓神經網絡變快變小變高效：Google AI出品的神經網絡模型優化技術MorphNet
想要調整你的神經網絡來完成特定任務？Google AI出新招
魚羊 編譯整理
量子位 報道 | 公眾號 QbitAI
想要調整你的神經網絡來完成特定任務？這件事并沒有想象中那么簡單。
深度神經網絡（DNN）是塊好磚，不過想要搬動它，需要耗費的計算資源和時間成本可能非常昂貴。
現在，Google AI放出了MorphNet。他們用流行的圖像分類神經網絡Inception V2對其進行測試之后發現，在不犧牲精度的情況下，神經網絡變得更快更小，算力消耗還減少了！
MorphNet是什么
MorphNet是一種神經網絡模型優化（ refinement）技術，走的是利用現有架構，針對特定任務優化的路線。
也就是說這是一個遷移學習問題。遷移學習的難點在于找出不變量，模型需要處理許多與此前訓練的任務目標相近，但又不完全一樣的任務，這會使模型性能大打折扣甚至崩潰。
而MorphNet的成功之處在于，只要將針對類似問題構建的神經網絡作為輸入，就能為新任務創造更小、更快、更合身的新架構。
MorphNet通過循環收縮和擴展兩個階段來優化神經網絡。
收縮階段
在收縮階段，MorphNet會識別出低效神經元，并運用稀疏正則化器來修剪它們。
需要說明的是MorphNet會在考慮目標資源的情況下來計算一個神經元的損失，因此在訓練過程之中，優化器能夠意識到資源損失，從而認識到哪些神經元是高效的，哪些又是可以被移除的。
有些不明白？那么來看看下面這個例子，看MorphNet是如何計算神經網絡的計算成本（如FLOPs，即每秒浮點運算次數）的：
假設一個表示為矩陣乘法的神經網絡層，該層具有 2 個輸入（Xn），6 個權重（a, b, …, f）以及 3 個輸出（Yn；神經元）。也就是說評估這一層需要 6 次乘法。
MorphNet將乘法數視作輸入數和輸出數的乘積。在左側的示例當中，雖然有兩個權重為0，進行評估時仍然需要執行所有的乘法。但中間的示例顯示了結構的稀疏性，MorphNet能夠識別它的輸出數為 2，并且該層的乘法數從 6 減少到了4。按照這個想法，MorphNet可以確定網絡中每一個神經元的增量成本，以產生右側這樣更為有效的模型。
擴展階段
在擴展階段，MorphNet使用寬度乘數來均勻地擴展所有層的大小。
舉個例子，如果擴展50%，那么對于低效層來說，神經元從 100 個收縮到 10 個之后，只會重新擴展到15個；而對于重要層來說，神經元只會從 100 個收縮到 80 個，重新擴展后則可能達到 120 個，并且獲得更多可支配的資源。
也就是說，MorphNet的最終效果是將計算資源從網絡中效率低的部分重新分配到效率高的部分。
△?MorphNet優化AI模型
效果怎么樣
Google AI團隊用MorphNet對Inception V2網絡模型進行了訓練。
△?圖片截自論文MorphNet論文
基線方法是使用寬度乘數，通過均勻縮小每個卷積的輸出數量來權衡精度和算力消耗（紅色）。
MorphNet方法則直接以算力消耗為目標，在收縮模型時生成更好的權衡曲線（藍色）。
在同等精度之下，MorphNet方法將算力消耗降低了11%到15%。
在對Inception V2的優化上MorphNet表現出色，對于其他的網絡模型，MorphNet也同樣好用。
△?圖片截自論文MorphNet論文
既成功壓縮了模型尺寸/ FLOPs，在質量上又幾乎沒有損失，果然Google出品，必屬精品。
這么好用的東西，Google已經自己用起來了。Google AI團隊表示，MorphNet已應用于Google多個生產規模的圖像處理模型。
傳送門
MorphNet現已開源。
GitHub地址：
https://github.com/google-research/morph-net
論文地址：
https://arxiv.org/pdf/1711.06798.pdf
— 完 —
- 蘋果芯片主管也要跑路！庫克被曝出現健康問題2025-12-07
- 世界模型和具身大腦最新突破：90%生成數據，VLA性能暴漲300%｜開源2025-12-02
- 谷歌新架構突破Transformer超長上下文瓶頸！Hinton靈魂拷問：后悔Open嗎？2025-12-05
- 90后華人副教授突破30年數學猜想！結論與生成式AI直接相關2025-11-26
