ICLR2019最佳論文！神經網絡子網絡壓縮10倍，精確度保持不變 | MIT出品
讀懂最新風向
銅靈 發自 凹非寺
量子位 出品 | 公眾號 QbitAI
在大洋彼岸的新奧爾良，正在舉行一年一度的機器學習頂會：ICLR 2019。
今年，ICLR19共收到了1578篇投稿，較去年增長60%。在這1600篇論文中，MIT的“彩票假設”理論從中脫穎而出，其論文斬獲今年的最佳論文。
這是項什么研究？
研究人員證明，將神經網絡包含的子網絡縮小至原來的十分之一，依舊不會影響訓練精度，甚至于，壓縮后的模型可能比原神經網絡更快！
來看看今年的研究新風向。
彩票假設
這篇獲獎論文名為The Lottery Ticket Hypothesis: Finding Sparse, Trainable Neural Networks，提出了一種叫作“彩票假設”（lottery ticket hypothesis）的縮小方法。
此前，神經網絡的剪枝技術能將網絡的參數減少到90%，但此方法的弊端也很明顯，即剪枝架構一開始的訓練就相當困難。
MIT計算機科學與人工智能實驗室（CSAIL）的研究人員表示，與其在后期修修剪剪，何必不在一開始就創建一個尺寸合適的網絡呢？
他們將傳統的深度學習方法比作樂透，訓練大型神經網絡就像在通過盲目隨機選號中獎，而這種新的方法不采用這種大海撈針的方式，想在一開始就拿到最后中獎的號碼。
于是乎，“彩票假設”問世。
他們發現，傳統的剪枝技術會在神經網絡子網絡處動刀，讓初始化后的子網絡能夠進行有效訓練。
密集、隨機初始化的前饋神經網絡包含一些子網絡，也就是中獎號碼，當對其單獨進行訓練時，這些子網絡能夠在相似迭代次數中達到與原始網絡比肩的準確率。
問題來了，如何找到這個中獎號碼呢？總共分為四步：
- 隨機初始化一個神經網絡f(x; θ0)
- 訓練這個網絡j次，得到網格參數θj
- 修剪θj中p%的參數，創建mask m
- 用θ0重新設置剩余網絡，創建中獎號碼f(x; m⊙θ0)
在MNIST和CIFAR10數據集上，“中獎彩票”的大小是很多全連接和卷積前饋架構的10%~20%。
△?上圖為當迭代剪枝和再次隨機初始化時，Conv-2/4/6 架構的早停迭代、測試和訓練準確率
并且，比原始網絡的學習速度更快：甚至準確度更高：
論文地址：
https://arxiv.org/abs/1803.03635
作者團隊
這篇論文背后的研究人員只有兩位。
一作為MIT的在讀博士生Jonathan Frankle，在普林斯頓大學完成計算機科學的本科和研究生學習時，Frankle小哥曾去谷歌、微軟、喬治城大學實習，主要研究人工智能、應用密碼學和技術政策。
二作Michael Carbin為MIT電子工程和計算機科學的助理教授，此前在微軟雷德蒙研究院的研究員，從事大規模深度學習系統的研究，包括優化和應用。
此前，Carbin的數篇論文被ICML19、OOPSLA18、LICS18等機器學習大會接收。
最佳論文×2
今年的ICLR最佳論文共有兩篇，除了彩票假設外，還有一篇蒙特利爾大學 MILA 研究所和微軟研究院的作品：
Ordered Neurons: Integrating Tree Structures into Recurrent Neural Networks，翻譯過來就是《有序神經元：將樹結構集成到循環神經網絡》。
自然語言是一種有層次的結構：小的單元會嵌套在大單元里，比如短語會嵌套在句子中。當較大的單元關閉時，其中的小單元也必須關閉。
雖然標準的LSTM架構可以將不同的神經元在不同的時間階段追蹤信息，但在模型構成層次上差別不大。
在這篇論文中，研究人員提出，通過對神經元進行排序，增加這種歸納偏差，用一個控制輸入和遺忘門的向量來確保當給定神經元更新時，跟隨它的所有神經元也將按照順序被更新。
這種全新的循環結構稱為有序神經元?LSTM (ON-LSTM)，在語言建模、無監督語法分析、目標語法評估和邏輯推理這四個不同的任務上取得了不錯的性能。
論文地址：
https://openreview.net/forum?id=B1l6qiR5F7
傳送門
最后，附上ICLR 2019官網地址：
https://iclr.cc/
— 完 —
誠摯招聘
量子位正在招募編輯/記者，工作地點在北京中關村。期待有才氣、有熱情的同學加入我們！相關細節，請在量子位公眾號(QbitAI)對話界面，回復“招聘”兩個字。
量子位 QbitAI · 頭條號簽約作者
- 微軟公布19財年財報：凈利潤增長22%，云計算首超個人計算業務2019-07-19
- 騰訊云推出物聯網邊緣計算平臺，具備五大特點，想攻克物聯網落地難題2019-08-28
- DeepMind醫療業務幾經動蕩，現在團隊并入Google2019-09-20
- 首例基因編輯干細胞治療艾滋病：北大鄧宏魁參與，達最佳治療效果2019-09-14
相關閱讀
Python最熱，PyTorch增速是TF的13倍：2019機器學習工具調查來了
2019年，做數據分析和機器學習，大家都喜歡什么樣的工具？著名的數據分析社區KDnuggets發布調查，給出了最新結果。
老虎斑馬“雜交”長啥樣？CVPR19論文提出紋理混合器，不同花紋實現絲滑過渡 | 開源
目前，更多展示、代碼、訓練測試數據集、已訓練好的模型和補充材料都已經在項目GitHub上放出了
速來！亞馬遜云科技AI盛會開源專場吹響集結號
現場將有來自亞馬遜、百度的技術科學家、高級架構師等資深開發者分享開源在機器學習領域的發展與應用，從理論到實踐，深入解析應用任務場景。歡迎掃碼報名！
