NeurIPS 2019最佳論文出爐，今年增設“新方向獎”，微軟華人學者獲經典論文獎

曉查 2019-12-09 12:16:16 來源：量子位

曉查 發自 凹非寺
量子位 報道 | 公眾號 QbitAI

第32屆神經信息處理系統大會（NeurIPS 2019）今天在加拿大溫哥華正式召開。

據大會官方介紹，今年的參會人數達到了空前的1.3萬人。另外大會的投稿數量、接收論文數量也創下了歷史新高，總共有1428篇文章被收錄。

在NeurIPS 2019召開的第一天，大會評委公布了杰出論文獎和經典論文獎。

大會評委還希望能夠避免一些效率低下、過于復雜的論文，推薦一些趨勢性的杰出文章，為此增設了杰出新方向論文獎，以表彰那些為未來研究提出新方向的杰出工作。

此外，大會還推薦了另外4篇獲得最佳論文提名的文章。

最佳論文

今年分別各有一篇文章獲得杰出論文獎和杰出方向論文獎，另外各有兩篇獲得相應提名。

杰出論文獎

Distribution-Independent PAC Learning of Halfspaces with Massart Noise

論文地址：
https://papers.nips.cc/paper/8722-distribution-independent-pac-learning-of-halfspaces-with-massart-noise

這是來自威斯康星大學麥迪遜分校、馬克斯·普朗克研究所的研究。

推薦理由：

本文研究了在訓練數據中存在未知、有界標簽噪聲的情況下，用于二元分類線性閾值函數的學習。

通過推導一種有效的學習算法，這篇論文解決了一個長期存在的根本性問題。本文在機器學習核心長期存在的開放性問題上取得了巨大進展，即在Massart噪聲下有效地學習半空間。

舉個簡單的例子，在1％的Massart噪聲下，即使是弱學習析取（誤差為49％）也是開放的。本文展示了如何有效地實現等于Massart噪聲水平加上epsilon的超額風險。該算法方法復雜，結果難以確定。

杰出新方向論文獎

Uniform convergence may be unable to explain generalization in deep learning

論文地址：
https://papers.nips.cc/paper/9336-uniform-convergence-may-be-unable-to-explain-generalization-in-deep-learning

這篇文章是來自CMU和博世AI中心的研究。

推薦理由：

本文提出了本質上是負面的結果，表明許多現有的（基于規范的）深度學習算法的性能邊界無法達到他們要求的結果。

作者進一步說，當其他研究者繼續依靠雙邊一致收斂的機制時，他們將無法達到自己宣稱的結果。雖然本文沒有解決（也不假裝解決）深層神經網絡中的泛化問題，但是將該算法“釘死在十字架上”（培根原話“An Instance of the Fingerpost”），指出機器學習領域應該關注另一個不同的地方。

最佳論文提名

除了以上兩篇論文外，大會委員會還推薦了4篇獲得最佳論文。

杰出論文獎提名

Nonparametric Density Estimation & Convergence Rates for GANs under Besov IPM Losses

論文地址：
https://papers.nips.cc/paper/9109-nonparametric-density-estimation-convergence-rates-for-gans-under-besov-ipm-losses

推薦理由：

本文以嚴格的理論方法表明，在密度估計方面，就收斂速度而言，GAN的性能優于線性方法。利用先前關于小波收縮的結果，本文為GAN的表示能力提供了新的見解。

具體而言，作者在大型函數類別（Besov空間）中的一大類損失（即所謂的積分概率度量）下，得出了用于非參數密度估計的極小極大收斂速度。

審稿人認為，這篇論文將對從事非參數估計和GAN的研究人員產生重大影響。

Fast and Accurate Least-Mean-Squares Solvers

論文地址：
https://papers.nips.cc/paper/9040-fast-and-accurate-least-mean-squares-solvers

推薦理由：

最小均方求解器是許多機器學習算法的核心，從線性和套索回歸到奇異值分解和彈性網絡，都要用到這種算法。

本文展示了如何將它們的計算復雜度降低一到兩個數量級，而且沒有精度損失，并改善了數值穩定性。該方法依賴于Caratheodory定理，建立了一個核心集（d維中d2 +1個點的集合）足以表征凸包中的所有n個點。

這篇論文的新奇之處在于提出的分治算法，該算法可提取具有可承受復雜性的核心集（O(nd + d5 log n），d<<n。

審稿人強調了該方法的重要性，因為相關研究人員可以輕松實現該方法以改進現有算法，并且可以擴展到其他算法，因為該方法的遞歸劃分原理使其易于推廣。

杰出新方向論文提名

Putting An End to End-to-End: Gradient-Isolated Learning of Representations

論文地址：
https://papers.nips.cc/paper/8568-putting-an-end-to-end-to-end-gradient-isolated-learning-of-representations

開源代碼：
https://github.com/loeweX/Greedy_InfoMax

推薦理由：

本文使用從van Oord等人得到的自監督標準，重新審視了深度網絡的分層架構，特別是當前輸入表示和輸入在空間或時間上接近的共有信息。

正如評審人所指出的那樣，這種感知網絡中的自組織可能會在算法觀點（避開端到端優化，因其巨大的內存占用和計算問題）和認知觀點（利用所謂的慢速功能的概念，轉向生物學上更合理的學習過程）的十字路口上提供新的思考。

Scene Representation Networks: Continuous 3D-Structure-Aware Neural Scene Representations

論文地址：
https://papers.nips.cc/paper/8396-scene-representation-networks-continuous-3d-structure-aware-neural-scene-representations

推薦理由：

這篇論文提出了CV中兩種廣泛方法——多視圖幾何和深層表示的合成。具體來說，本文做出了三點貢獻：

1）每個體素的神經渲染器，它能以3D感知的方式實現不受分辨率影響的場景渲染；

2）可微分的光線步進算法，解決了沿著相機投射的光線尋找表面相交的難題；

3）潛在場景表示，使用自動編碼器和超網絡來回歸場景表示網絡的參數。

經典論文獎

和往年一樣，大會評委會評選出了10年前在NeurIPS上發表的論文，表彰該論文在人工智能領域產生了特別重大而持久的影響。

評審從NeurIPS 2009選取了18篇被引用次數最多的論文，考察了這些論文的持續影響力，即最近是否有論文仍在借鑒參考這些論文中的工作。

最終，評委將今年的經典論文獎頒給了微軟研究院高級首席研究院Lin Xiao的論文Dual Averaging Method for Regularized Stochastic Learning and Online Optimization。

論文地址：
https://papers.nips.cc/paper/3882-dual-averaging-method-for-regularized-stochastic-learning-and-online-optimization

這篇文章研究了正則化的隨機學習和在線優化問題，提出了一種新的算法——正規化雙重平均法。與標準隨機梯度法類似，該方法可達到最佳收斂速度，并且每次迭代通常具有較低的復雜度。

今年投稿盛況

今年NeurIPS一共收到6743篇論文投稿，創下歷史新高，其中總共有1428篇論文接收入選，入選率21.1%。其中華人一作的論文占到了接受總論文數量的1/3。

今年總共有5大組織入選論文數超過100篇。其中工業界的是Google+DeepMind和微軟，學術界則是MIT、斯坦福和CMU。

中國方面排名最靠前的是清華大學，總榜排名13，共有33篇入圍；北大位列第二，總榜排名22，共有23篇入選。

今年在加拿大舉辦的NeurIPS還經歷了一場小風波，因為舉辦地加拿大拒簽了很多北美之外的學者參會，導致這些學者他們將無法參加大會。

即使這些人的論文已經被接收，甚至連大會活動的組織者也被拒之門外。

Jeff Dean、Yoshua Bengio等行業大佬出面批評加拿大移民局的行為，認為此舉會阻礙學術交流，不過問題并未得到實際解決。

明年的NeurIPS將繼續在加拿大溫哥華舉辦，后年將轉移到澳大利亞悉尼市舉辦，不知情況是否會有所改善。

最后附上本屆NeurIPS所有被接收的論文：
https://papers.nips.cc/book/advances-in-neural-information-processing-systems-32-2019

參考鏈接：
https://medium.com/@NeurIPSConf/neurips-2019-paper-awards-807e41d0c1e