NeurIPS’22杰出論文獎：3項(xiàng)研究出自華人團(tuán)隊(duì)，AlexNet獲時(shí)間檢驗(yàn)獎

Pine 發(fā)自 凹非寺

量子位 | 公眾號 QbitAI

就在今天，NeurIPS 2022杰出論文獎公布了！與它一同公布的還有數(shù)據(jù)集和測試基準(zhǔn)（Datasets & Benchmarks）最佳論文獎以及時(shí)間測試獎。

NeurIPS 2022將于下周一在新奧爾良會議中心舉行，為期兩周，第一周線下進(jìn)行，第二周線上進(jìn)行。

杰出論文獎

對比去年，今年杰出論文的數(shù)量翻了一番，從去年的6篇變?yōu)榻衲甑?strong>13篇。

在這些獲獎研究中，有3項(xiàng)研究成果出自華人研究團(tuán)隊(duì)，其中有兩項(xiàng)研究的團(tuán)隊(duì)成員均為華人。

當(dāng)然，出現(xiàn)在獲獎名單中的也肯定少不了今年大火的擴(kuò)散模型，就比如說谷歌的Imagen就赫然在列。

Is Out-of-distribution Detection Learnable?

文章來自華人研究團(tuán)隊(duì)，提供了一個(gè)分布外樣本（OOD）檢測的理論研究，并重點(diǎn)探究了在什么條件下OOD檢測模型是可學(xué)習(xí)的。

獲獎理由：

提出了3個(gè)具體的不可能性定理，可以很容易地應(yīng)用于實(shí)際環(huán)境中確定OOD檢測的可行性，為現(xiàn)有的OOD檢測方法提供了理論基礎(chǔ)。

這項(xiàng)工作也提出了新的理論問題，例如，關(guān)于近OOD檢測的學(xué)習(xí)性。因此，它在這一重要研究領(lǐng)域具有廣泛的理論和實(shí)踐影響的潛力。

論文地址：https://openreview.net/forum?id=sde_7ZzGXOE

Photorealistic Text-to-Image Diffusion Models with Deep Language Understanding

文章來自Google Research，介紹了Imagen，是一種使用擴(kuò)散模型進(jìn)行文本生成圖像的方法。

獲獎理由：

基于擴(kuò)散過程的高質(zhì)量圖像生成模型在機(jī)器學(xué)習(xí)內(nèi)外都產(chǎn)生了巨大的影響。

這項(xiàng)工作代表了這種模型的藝術(shù)狀態(tài)之一，但也創(chuàng)新地展示了獨(dú)立訓(xùn)練的大型語言模型與圖像解碼器在規(guī)模上的有效結(jié)合。

論文地址：https://openreview.net/forum?id=08Yk-n5l2Al

Elucidating the Design Space of Diffusion-Based Generative ModelsDownload

論文來自英偉達(dá)，關(guān)鍵詞為：去噪擴(kuò)散，圖像生成等，研究將以前的擴(kuò)散方法置于一個(gè)共同的框架之下，并提出對抽樣和訓(xùn)練都普遍適用的改進(jìn)，得出最先進(jìn)的結(jié)果。

獲獎理由：

這篇論文不僅列出了研究結(jié)果，而且將先前的研究組織成一個(gè)連貫的共同框架，進(jìn)而改進(jìn)新的模型。

研究的重點(diǎn)是包含某種形式的擴(kuò)散過程的圖像生成模型，這篇論文對擴(kuò)散過程模型的理解和實(shí)現(xiàn)具有重要意義。

論文地址：https://openreview.net/forum?id=k7FuTOWMOc7

ProcTHOR: Large-Scale Embodied AI Using Procedural Generation

論文來自華盛頓大學(xué)和艾倫人工智能研究所，這項(xiàng)工作提供了一個(gè)框架，用于在大量數(shù)據(jù)上訓(xùn)練具體的AI代理。

這個(gè)框架的核心是一個(gè)引擎，用于構(gòu)建程序生成、支持物理的環(huán)境，代理可以與之交互，引擎與提供的數(shù)字資產(chǎn)和環(huán)境控制相結(jié)合，可以生成大量不同的環(huán)境組合。

獲獎理由：

作者證明這個(gè)框架可用于為多個(gè)具體化的AI任務(wù)訓(xùn)練SOTA模型。

并且這項(xiàng)工作中使用的框架和代碼將是開源的，為研究社區(qū)提供了寶貴的資產(chǎn)。

論文地址：https://openreview.net/forum?id=4-bV1bi74M

Using natural language and program abstractions to instill human inductive biases in machines

論文來自普林斯頓大學(xué)神經(jīng)科學(xué)研究所和DeepMind，展示了元學(xué)習(xí)主體如何通過與來自語言描述和程序歸納的表征共同訓(xùn)練來學(xué)習(xí)人類歸納偏置。

獲獎理由：

在程序抽象和自然語言方面的聯(lián)合訓(xùn)練能夠?qū)⑷说钠萌谌氲綄W(xué)習(xí)中。這是一種合并人為偏置的方法，但是對于抽象的程序也適用。

論文地址：https://openreview.net/forum?id=buXZ7nIqiwE

A Neural Corpus Indexer for Document Retrieval

來自微軟、清華大學(xué)、北京大學(xué)等，研究人員均為華人，提出了神經(jīng)語料庫索引器（NCI），一種序列到序列的網(wǎng)絡(luò)，直接為指定的查詢生成相關(guān)的文檔標(biāo)識符。

獲獎理由：

這個(gè)研究涉及到了一個(gè)規(guī)模不大但不斷增長的研究領(lǐng)域，該領(lǐng)域脫離了主流的高記憶稀疏檢索范式。

但值得注意的是，這種新的范式允許使用標(biāo)準(zhǔn)的深度學(xué)習(xí)算法和框架對目標(biāo)應(yīng)用程序的索引器進(jìn)行基于梯度的優(yōu)化。

文章中提出的方法引入了架構(gòu)和訓(xùn)練選擇，與以前的工作相比，這些選擇帶來了重大改進(jìn)，表明了神經(jīng)索引器作為一種可行替代方案的前景。

論文還討論了此次研究的局限性和未解決的問題，對今后的研究有一定的啟示作用。

論文地址：https://openreview.net/forum?id=fSfcEYQP_qc

High-dimensional limit theorems for SGD: Effective dynamics and critical scaling

論文來自紐約大學(xué)和加州大學(xué)等研究機(jī)構(gòu)，文章研究了在高維區(qū)域具有連續(xù)步長的SGD的標(biāo)度極限。它顯示了如果步長很大，SGD是多么復(fù)雜，并且研究還找到了步長的臨界縮放范圍。

論文地址：https://openreview.net/forum?id=Q38D6xxrKHe

Gradient Descent: The Ultimate Optimizer

論文來自MIT，研究的對象是梯度下降法，關(guān)鍵詞是超參數(shù)優(yōu)化和自動微分。

獲獎理由：

論文提出了一種方法來優(yōu)化超參數(shù)，并遞歸優(yōu)化超—超參數(shù)，從而降低梯度下降法對超參數(shù)的敏感性。

由于梯度下降法無處不在，因此這項(xiàng)研究的潛在影響是巨大的。

論文地址：https://openreview.net/forum?id=-Qp-3L-5ZdI

Riemannian Score-Based Generative Modelling

論文來自巴黎大學(xué)和牛津大學(xué)，關(guān)鍵詞為擴(kuò)散模型，生成模型和黎曼流形。

獲獎理由：

本文通過識別影響基于分?jǐn)?shù)的生成模型（SGM）成功的主要因素，將歐幾里得空間中的SGM推廣到黎曼流形。

這種方法既是一種新穎的貢獻(xiàn)，也是一種在技術(shù)上有用的貢獻(xiàn)。

論文地址：https://openreview.net/forum?id=oDRQGo8I7P

Gradient Estimation with Discrete Stein Operators

論文來自斯坦福大學(xué)，清華大學(xué)，DeepMind等，由華人團(tuán)隊(duì)主導(dǎo)，文章研究了分布離散時(shí)的梯度估計(jì)問題。

獲獎理由：

大多數(shù)常見的梯度估計(jì)都存在過多的方差。為了提高梯度估計(jì)的質(zhì)量，團(tuán)隊(duì)引入了一種基于Stein算子的離散分布方差縮減技術(shù)。

盡管Stein算子比較經(jīng)典，但本文的工作為梯度估計(jì)提供了一個(gè)很好的解釋，并且在實(shí)驗(yàn)中也顯示出實(shí)際的改進(jìn)。

論文地址：https://openreview.net/forum?id=I1mkUkaguP

An empirical analysis of compute-optimal large language model training

文章來自DeepMind，研究了在給定的計(jì)算預(yù)算下，用于訓(xùn)練transformer語言模型的最佳模型大小和token數(shù)。

獲獎理由：

這項(xiàng)工作為在語言模型的背景下思考尺度的方式提供了新的啟示，這可能對人工智能的其他領(lǐng)域也有幫助。

論文地址：https://openreview.net/forum?id=iBBcRUlOAPR

Beyond neural scaling laws: beating power law scaling via data pruning

來自斯坦福大學(xué)和Meta AI等研究機(jī)構(gòu)。

獲獎理由：

最近關(guān)于尺度定律的工作已經(jīng)把數(shù)據(jù)質(zhì)量看作是統(tǒng)一的，并且集中在計(jì)算和數(shù)據(jù)之間的關(guān)系上，這項(xiàng)工作使我們重新關(guān)注選擇高質(zhì)量數(shù)據(jù)的重要性。

它是通過一個(gè)精心設(shè)計(jì)的分析調(diào)查來完成的，該調(diào)查開發(fā)了一個(gè)關(guān)于數(shù)據(jù)質(zhì)量影響的理論模型，與ImageNet上一系列數(shù)據(jù)過濾指標(biāo)的經(jīng)驗(yàn)實(shí)例相一致。

這項(xiàng)工作是有見地的和及時(shí)的，并將形成關(guān)于在機(jī)器學(xué)習(xí)規(guī)模的多個(gè)維度的權(quán)衡的辯論。

論文地址：https://openreview.net/forum?id=UmvSlP-PyV

On-Demand Sampling: Learning Optimally from Multiple Distributions

論文來自加州大學(xué)，研究團(tuán)隊(duì)利用隨機(jī)零和博弈中最小-最大均衡的發(fā)現(xiàn)，給出了幾個(gè)多分布學(xué)習(xí)問題的最優(yōu)樣本復(fù)雜性界限。

獲獎理由：

研究利用隨機(jī)零和博弈的方法研究了多重分布學(xué)習(xí)問題。

對于具有接近最優(yōu)結(jié)果的問題，這種技術(shù)會產(chǎn)生非常有趣的理論結(jié)果。

論文地址：https://openreview.net/forum?id=FR289LMkmxZ

數(shù)據(jù)集和測試基準(zhǔn)最佳論文獎

去年，NeurIPS新設(shè)了一個(gè)數(shù)據(jù)集和基準(zhǔn)測試最佳論文獎項(xiàng)，以表彰在數(shù)據(jù)領(lǐng)域的工作。

今年，該領(lǐng)域的2篇最佳論文獎分別是：

LAION-5B: An open large-scale dataset for training next generation image-text models

研究語言視覺架構(gòu)（如CLIP和DALL-E）的訓(xùn)練和能力需要包含數(shù)十億圖文對的數(shù)據(jù)集。到目前為止，還沒有這種規(guī)模的數(shù)據(jù)集被公開提供給更廣泛的研究團(tuán)體。

而這篇論文介紹了LAION-5B數(shù)據(jù)集，該數(shù)據(jù)集由58.5億個(gè)CLIP過濾的圖像-文本對組成，旨在使大規(guī)模多模態(tài)模型的研究民主化。

此外，作者使用這些數(shù)據(jù)成功地復(fù)制了基礎(chǔ)模型，如CLIP，GLIDE和Stable Diffusion，提供了幾個(gè)最近鄰指數(shù)，以及改進(jìn)的Web界面和水印，NSFW和有害內(nèi)容檢測的檢測分?jǐn)?shù)。

論文地址：https://openreview.net/pdf?id=M3Y74vmsMcY

MineDojo: Building Open-Ended Embodied Agents with Internet-Scale Knowledge

自治代理在Atari游戲和圍棋等專業(yè)領(lǐng)域取得了長足進(jìn)步，但通常無法泛化到廣泛的任務(wù)和功能。

這項(xiàng)工作介紹了MineDojo，這是一個(gè)基于流行的Minecraft游戲構(gòu)建的新框架。

它具有一個(gè)模擬套件，其中包含數(shù)千種不同的開放式任務(wù)，以及一個(gè)包含 Minecraft 視頻、教程、維基頁面和論壇討論的互聯(lián)網(wǎng)規(guī)模知識庫。

同時(shí)，它還提出了一種新穎的代理學(xué)習(xí)算法，能夠解決以自由形式語言指定的各種開放式任務(wù)。并且提供了一個(gè)開源仿真套件、知識庫、算法實(shí)現(xiàn)和預(yù)訓(xùn)練模型，以促進(jìn)對具有通用能力的具體代理的研究。

論文地址：https://arxiv.org/abs/2206.08853

AlexNet獲時(shí)間檢驗(yàn)獎

時(shí)間檢驗(yàn)獎，則頒給了圖靈獎得主Hinton團(tuán)隊(duì)的AlexNet。

2012 年，AlexNet作為第一個(gè)在ImageNet挑戰(zhàn)賽上接受訓(xùn)練的CNN被提出，遠(yuǎn)遠(yuǎn)超過了當(dāng)時(shí)的最先進(jìn)水平，此后它在機(jī)器學(xué)習(xí)社區(qū)產(chǎn)生了巨大的影響。

論文地址：https://proceedings.neurips.cc/paper/2012/file/c399862d3b9d6b76c8436e924a68c45b-Paper.pdf

值得一提的是，Hinton本人也將于12月4日星期四就這項(xiàng)研究和最近的研究發(fā)表受邀演講。

原文地址：
https://blog.neurips.cc/2022/11/21/announcing-the-neurips-2022-awards/