NeurIPS 2019最佳論文出爐，今年增設(shè)“新方向獎(jiǎng)”，微軟華人學(xué)者獲經(jīng)典論文獎(jiǎng)

曉查 2019-12-09 12:16:16 來(lái)源：量子位

曉查 發(fā)自 凹非寺
量子位 報(bào)道 | 公眾號(hào) QbitAI

第32屆神經(jīng)信息處理系統(tǒng)大會(huì)（NeurIPS 2019）今天在加拿大溫哥華正式召開(kāi)。

據(jù)大會(huì)官方介紹，今年的參會(huì)人數(shù)達(dá)到了空前的1.3萬(wàn)人。另外大會(huì)的投稿數(shù)量、接收論文數(shù)量也創(chuàng)下了歷史新高，總共有1428篇文章被收錄。

在NeurIPS 2019召開(kāi)的第一天，大會(huì)評(píng)委公布了杰出論文獎(jiǎng)和經(jīng)典論文獎(jiǎng)。

大會(huì)評(píng)委還希望能夠避免一些效率低下、過(guò)于復(fù)雜的論文，推薦一些趨勢(shì)性的杰出文章，為此增設(shè)了杰出新方向論文獎(jiǎng)，以表彰那些為未來(lái)研究提出新方向的杰出工作。

此外，大會(huì)還推薦了另外4篇獲得最佳論文提名的文章。

最佳論文

今年分別各有一篇文章獲得杰出論文獎(jiǎng)和杰出方向論文獎(jiǎng)，另外各有兩篇獲得相應(yīng)提名。

杰出論文獎(jiǎng)

Distribution-Independent PAC Learning of Halfspaces with Massart Noise

論文地址：
https://papers.nips.cc/paper/8722-distribution-independent-pac-learning-of-halfspaces-with-massart-noise

這是來(lái)自威斯康星大學(xué)麥迪遜分校、馬克斯·普朗克研究所的研究。

推薦理由：

本文研究了在訓(xùn)練數(shù)據(jù)中存在未知、有界標(biāo)簽噪聲的情況下，用于二元分類(lèi)線性閾值函數(shù)的學(xué)習(xí)。

通過(guò)推導(dǎo)一種有效的學(xué)習(xí)算法，這篇論文解決了一個(gè)長(zhǎng)期存在的根本性問(wèn)題。本文在機(jī)器學(xué)習(xí)核心長(zhǎng)期存在的開(kāi)放性問(wèn)題上取得了巨大進(jìn)展，即在Massart噪聲下有效地學(xué)習(xí)半空間。

舉個(gè)簡(jiǎn)單的例子，在1％的Massart噪聲下，即使是弱學(xué)習(xí)析?。ㄕ`差為49％）也是開(kāi)放的。本文展示了如何有效地實(shí)現(xiàn)等于Massart噪聲水平加上epsilon的超額風(fēng)險(xiǎn)。該算法方法復(fù)雜，結(jié)果難以確定。

杰出新方向論文獎(jiǎng)

Uniform convergence may be unable to explain generalization in deep learning

論文地址：
https://papers.nips.cc/paper/9336-uniform-convergence-may-be-unable-to-explain-generalization-in-deep-learning

這篇文章是來(lái)自CMU和博世AI中心的研究。

推薦理由：

本文提出了本質(zhì)上是負(fù)面的結(jié)果，表明許多現(xiàn)有的（基于規(guī)范的）深度學(xué)習(xí)算法的性能邊界無(wú)法達(dá)到他們要求的結(jié)果。

作者進(jìn)一步說(shuō)，當(dāng)其他研究者繼續(xù)依靠雙邊一致收斂的機(jī)制時(shí)，他們將無(wú)法達(dá)到自己宣稱(chēng)的結(jié)果。雖然本文沒(méi)有解決（也不假裝解決）深層神經(jīng)網(wǎng)絡(luò)中的泛化問(wèn)題，但是將該算法“釘死在十字架上”（培根原話“An Instance of the Fingerpost”），指出機(jī)器學(xué)習(xí)領(lǐng)域應(yīng)該關(guān)注另一個(gè)不同的地方。

最佳論文提名

除了以上兩篇論文外，大會(huì)委員會(huì)還推薦了4篇獲得最佳論文。

杰出論文獎(jiǎng)提名

Nonparametric Density Estimation & Convergence Rates for GANs under Besov IPM Losses

論文地址：
https://papers.nips.cc/paper/9109-nonparametric-density-estimation-convergence-rates-for-gans-under-besov-ipm-losses

推薦理由：

本文以嚴(yán)格的理論方法表明，在密度估計(jì)方面，就收斂速度而言，GAN的性能優(yōu)于線性方法。利用先前關(guān)于小波收縮的結(jié)果，本文為GAN的表示能力提供了新的見(jiàn)解。

具體而言，作者在大型函數(shù)類(lèi)別（Besov空間）中的一大類(lèi)損失（即所謂的積分概率度量）下，得出了用于非參數(shù)密度估計(jì)的極小極大收斂速度。

審稿人認(rèn)為，這篇論文將對(duì)從事非參數(shù)估計(jì)和GAN的研究人員產(chǎn)生重大影響。

Fast and Accurate Least-Mean-Squares Solvers

論文地址：
https://papers.nips.cc/paper/9040-fast-and-accurate-least-mean-squares-solvers

推薦理由：

最小均方求解器是許多機(jī)器學(xué)習(xí)算法的核心，從線性和套索回歸到奇異值分解和彈性網(wǎng)絡(luò)，都要用到這種算法。

本文展示了如何將它們的計(jì)算復(fù)雜度降低一到兩個(gè)數(shù)量級(jí)，而且沒(méi)有精度損失，并改善了數(shù)值穩(wěn)定性。該方法依賴(lài)于Caratheodory定理，建立了一個(gè)核心集（d維中d2 +1個(gè)點(diǎn)的集合）足以表征凸包中的所有n個(gè)點(diǎn)。

這篇論文的新奇之處在于提出的分治算法，該算法可提取具有可承受復(fù)雜性的核心集（O(nd + d5 log n），d<<n。

審稿人強(qiáng)調(diào)了該方法的重要性，因?yàn)橄嚓P(guān)研究人員可以輕松實(shí)現(xiàn)該方法以改進(jìn)現(xiàn)有算法，并且可以擴(kuò)展到其他算法，因?yàn)樵摲椒ǖ倪f歸劃分原理使其易于推廣。

杰出新方向論文提名

Putting An End to End-to-End: Gradient-Isolated Learning of Representations

論文地址：
https://papers.nips.cc/paper/8568-putting-an-end-to-end-to-end-gradient-isolated-learning-of-representations

開(kāi)源代碼：
https://github.com/loeweX/Greedy_InfoMax

推薦理由：

本文使用從van Oord等人得到的自監(jiān)督標(biāo)準(zhǔn)，重新審視了深度網(wǎng)絡(luò)的分層架構(gòu)，特別是當(dāng)前輸入表示和輸入在空間或時(shí)間上接近的共有信息。

正如評(píng)審人所指出的那樣，這種感知網(wǎng)絡(luò)中的自組織可能會(huì)在算法觀點(diǎn)（避開(kāi)端到端優(yōu)化，因其巨大的內(nèi)存占用和計(jì)算問(wèn)題）和認(rèn)知觀點(diǎn)（利用所謂的慢速功能的概念，轉(zhuǎn)向生物學(xué)上更合理的學(xué)習(xí)過(guò)程）的十字路口上提供新的思考。

Scene Representation Networks: Continuous 3D-Structure-Aware Neural Scene Representations

論文地址：
https://papers.nips.cc/paper/8396-scene-representation-networks-continuous-3d-structure-aware-neural-scene-representations

推薦理由：

這篇論文提出了CV中兩種廣泛方法——多視圖幾何和深層表示的合成。具體來(lái)說(shuō)，本文做出了三點(diǎn)貢獻(xiàn)：

1）每個(gè)體素的神經(jīng)渲染器，它能以3D感知的方式實(shí)現(xiàn)不受分辨率影響的場(chǎng)景渲染；

2）可微分的光線步進(jìn)算法，解決了沿著相機(jī)投射的光線尋找表面相交的難題；

3）潛在場(chǎng)景表示，使用自動(dòng)編碼器和超網(wǎng)絡(luò)來(lái)回歸場(chǎng)景表示網(wǎng)絡(luò)的參數(shù)。

經(jīng)典論文獎(jiǎng)

和往年一樣，大會(huì)評(píng)委會(huì)評(píng)選出了10年前在NeurIPS上發(fā)表的論文，表彰該論文在人工智能領(lǐng)域產(chǎn)生了特別重大而持久的影響。

評(píng)審從NeurIPS 2009選取了18篇被引用次數(shù)最多的論文，考察了這些論文的持續(xù)影響力，即最近是否有論文仍在借鑒參考這些論文中的工作。

最終，評(píng)委將今年的經(jīng)典論文獎(jiǎng)?lì)C給了微軟研究院高級(jí)首席研究院Lin Xiao的論文Dual Averaging Method for Regularized Stochastic Learning and Online Optimization。

論文地址：
https://papers.nips.cc/paper/3882-dual-averaging-method-for-regularized-stochastic-learning-and-online-optimization

這篇文章研究了正則化的隨機(jī)學(xué)習(xí)和在線優(yōu)化問(wèn)題，提出了一種新的算法——正規(guī)化雙重平均法。與標(biāo)準(zhǔn)隨機(jī)梯度法類(lèi)似，該方法可達(dá)到最佳收斂速度，并且每次迭代通常具有較低的復(fù)雜度。

今年投稿盛況

今年NeurIPS一共收到6743篇論文投稿，創(chuàng)下歷史新高，其中總共有1428篇論文接收入選，入選率21.1%。其中華人一作的論文占到了接受總論文數(shù)量的1/3。

今年總共有5大組織入選論文數(shù)超過(guò)100篇。其中工業(yè)界的是Google+DeepMind和微軟，學(xué)術(shù)界則是MIT、斯坦福和CMU。

中國(guó)方面排名最靠前的是清華大學(xué)，總榜排名13，共有33篇入圍；北大位列第二，總榜排名22，共有23篇入選。

今年在加拿大舉辦的NeurIPS還經(jīng)歷了一場(chǎng)小風(fēng)波，因?yàn)榕e辦地加拿大拒簽了很多北美之外的學(xué)者參會(huì)，導(dǎo)致這些學(xué)者他們將無(wú)法參加大會(huì)。

即使這些人的論文已經(jīng)被接收，甚至連大會(huì)活動(dòng)的組織者也被拒之門(mén)外。

Jeff Dean、Yoshua Bengio等行業(yè)大佬出面批評(píng)加拿大移民局的行為，認(rèn)為此舉會(huì)阻礙學(xué)術(shù)交流，不過(guò)問(wèn)題并未得到實(shí)際解決。

明年的NeurIPS將繼續(xù)在加拿大溫哥華舉辦，后年將轉(zhuǎn)移到澳大利亞悉尼市舉辦，不知情況是否會(huì)有所改善。

最后附上本屆NeurIPS所有被接收的論文：
https://papers.nips.cc/book/advances-in-neural-information-processing-systems-32-2019

參考鏈接：
https://medium.com/@NeurIPSConf/neurips-2019-paper-awards-807e41d0c1e