一文盤點NeurIPS’22杰出論文亮點！英偉達AI大佬一句話總結每篇重點，一并看透今年技術趨勢

Pine 明敏 發自 凹非寺

量子位 | 公眾號 QbitAI

15篇NeurIPS’22杰出論文重磅出爐，具體亮點都是啥？

來來來，大佬已經幫你總結好了！

師從李飛飛，現在在英偉達工作的大佬，用49條推文，帶你回顧過去一年AI圈的重要研究。

雖然到不了NeurIPS’22的現場，但也能提前在推特上體驗下大會的盛況。

總結推文發出之后，立刻在網上掀起一陣熱度，眾多AI大佬都在轉發。

還有人從中看出了今年的技術趨勢。

每篇亮點都是啥？

總結這一線程的老哥名叫Linxi“Jim”Fan（以下簡稱Jim）。

對于每篇論文，他都給出了一句話提煉亮點，并簡要解釋了自己的看法，還將論文地址和相關拓展鏈接一并附上。

具體都講了啥，我們一篇篇來看~

1、訓練計算最優的大語言模型

一句話總結：提出一個700億規模的新語言模型“Chinchilla”，效果比千億級別GPT-3、Gopher更強。

Jim表示，通過這個模型，研究人員證明了想要實現“計算最優”，模型大小和訓練數據規模必須同等縮放。

這意味著，目前大多數大語言模型的訓練數據是不夠的。

再考慮到新的縮放定律，即使將模型參數擴大到千萬億級，效果恐怕也不及將訓練token提升4倍。

2、谷歌Imagen的強，在于文本編碼器

一句話總結：Imagen是一個大型從文本到圖像的超分辨率擴散模型，可以生成逼真圖像，并且在評級中擊敗了Dall·E 2。

Jim指出，和Dall·E 2相比，Imagen使用了更為強大的文本編碼器T5-XXL，這直接影響了它的語言理解能力。

比如同題對比中，左邊是谷歌Imagen選手眼中的“貓貓絆倒人類雕像”，右邊DALL·E 2選手的創作則是醬嬸兒的：

3、ProcTHOR：房間模型模擬器

一句話總結：ProcTHOR是一個可以生成大量定制化、可實際應用房間模型的AI。

和Chinchilla一樣，ProcTHOR也需要大量數據來訓練，然后從中摸索出自己的生成方案。

該成果由艾倫人工智能實驗室提出，在此之前他們還為家用機器人提出了一些模型，如AI2THOR 和 ManipulaTHOR，可以讓他們感知房間環境。

4、MineDojo：看70000小時《我的世界》視頻學會人類高級技巧

一句話總結：該研究提出一個由3個智能體（agent）組成的“具身GPT-3”，可以感知無限世界并在其中行動。

研究團隊認為，想要訓練出通才agent需要具備3方面因素：

第一、一個開放的環境，可以包含無限不同種類的任務（比如地球就是個開放環境）；

第二、一個大規模知識庫，可以教會AI做什么事、該做哪些事；

第三、足夠靈活的代理框架，能將知識轉化為實際操作。

綜上，《我的世界》是一個絕佳的訓練場地。研究團隊讓AI看了油管上70000小時《我的世界》視頻后，它學會了使用鉆石鎬、打造“簡易避難所”等人類玩家的高級操作。

值得一提的是，該成果的模擬套件、數據庫、算法代碼、預訓練模型，甚至注釋工具，全部對外開源！

AI看了70000小時《我的世界》視頻學會人類高級技巧，網友：它好痛苦

5、LAION-5B：史上最大規模公共開放的多模態圖文數據集

一句話總結：一個包含58.5億個CLIP過濾的圖像-文本對數據集。

LAION-5B不用過多介紹了，Stable Diffusion使用正是它。

該數據集獲得了今年NeurIPS最杰出數據集論文獎。

目前Stable Diffusion 2也已經上線了。

6、超越神經網絡縮放定律：通過數據集修剪擊敗冪律

一句話總結：通過仔細篩選訓練示例、而不是盲目收集更多數據，有可能大大超越神經網絡的縮放定律。

該研究中，Meta和斯坦福的學者們通過數據蒸餾，縮小數據集規模，但是保持模型性能不下降。

實驗驗證，在剪掉ImageNet 20%的數據量后，ResNets表現和使用原本數據時的正確率相差不大。

研究人員表示，這也為AGI實現找出了一條新路子。

剪掉ImageNet 20%數據量，模型性能不下降！Meta斯坦福等提出新方法，用知識蒸餾給數據集瘦身

7、讓AI自己調超參數

一句話總結：使用超級隨機梯度下降法，實現自動調超參數。

谷歌大腦設計了一個基于AI的優化器VeLO，整體由LSTM（長短期記憶網絡）和超網絡MLP（多層感知機）構成。

其中每個LSTM負責設置多個MLP的參數，各個LSTM之間則通過全局上下文信息進行相互協作。

采用元訓練的方式，VeLO以參數值和梯度作為輸入，輸出需要更新的參數。

結果表明，VeLO在83個任務上的加速效果超過了一系列當前已有的優化器。

讓AI自己調整超參數，谷歌大腦新優化器火了，自適應不同任務，83個任務訓練加速比經典Adam更快

8、利用自然語言和程序抽象讓機器學會人類歸納性偏好

一句話總結：利用自然語言描述和引導程序，讓智能體的行為更像人類。

論文表明，語言和程序中存儲了大量人類抽象先驗知識，智能體可以在元強化學習設置中學到這些歸納性偏好。

如下是是否使用人類抽象先驗知識的對比：

9、新方法提高擴散模型生成結果

一句話總結：英偉達通過對擴散模型的訓練流程進行分析，得到新的方法來提高最后生成的結果。

此次研究提出了很多實用的方法改進了模型的生成效果：

• 一個新的采樣過程，大大減少了合成過程中的采樣步數；
• 改進了訓練過程中噪聲水平的分布；
• 其他一些改進方法，如non-leaking增強，即不會將生成分布暴露給生成器。

10、神經語料庫索引器（NCI）

一句話總結：NCI可以直接為特定的查詢生成相關的文檔標識符，并顯著提高信息檢索性能。

傳統的檢索系統是基于文檔向量嵌入和最近鄰搜索。

而NCI則使用了一個端到端的可微模型，極大地簡化了搜索管道，并且有可能在單個框架中統一檢索、排序和Q&A。

11、一種新的采樣方法

一句話總結：加州大學設計出一個最有效的算法從多個分布中進行采樣，按需采樣。

研究利用隨機零和博弈的方法研究了多重分布學習問題。

多重分布學習在機器學習公平性、聯邦學習以及多主題協作中都有著重要的應用。

在這其中，分布可能是不平衡或重疊的，所以最佳的算法應該按需采樣。

12、分布外樣本（OOD）檢測是可學習的嗎？

一句話總結：OOD檢測在某些條件下是不可學習的，但是這些條件不適用于一些實際情況。

Jim表示，具體來講，我們所熟悉的監督式學習的測試數據是內部分發的，但現實世界卻是混亂的。

而這個研究運用PAC學習理論，提出了3個具體的不可能性定理，推斷應用于實際環境中確定OOD檢測的可行性。

更重要的是，此項工作還為現有的OOD檢測方法提供了理論基礎。

13、基于黎曼得分的生成模型（RSGMs）

一句話總結：這是一類將模型擴展到黎曼流形的生成模型（與歐幾里德空間中的數據相反）。

擴散模型目前已經在人工智能領域取得了很大的進展，不過大多數模型都被假設是一個扁平的流形。

但在機器人學、地球科學或蛋白質折疊等領域，數據也能很好地在黎曼流形上描述。

這項研究使得Stable Diffusion有望應用在氣候科學上。

14、SGD的高維極限定理

一句話總結：研究用一個統一的方法，了解在高維情況下具有恒定步長的隨機梯度下降的縮放極限。

其核心貢獻是發展一個統一的方法，在連續步長之下，使我們了解SGD在高維的比例限制。

研究團隊還在目前正流行的模型中證明了這個方法，示例也展示了很好的效果：

包括收斂的多模態時間尺度以及收斂到次優解決方案，概率從隨機初始化開始有界地遠離零。

15、RODEO：減小估計梯度方法REINFORCE的方差。

一句話總結：利用Stein算子控制變量來增強REINFORCE的性能。

離散變量使神經網絡不可微，所以估計梯度的一種常見方法是REINFORCE，但這種方法又存在很大的方差。

本文提出了一種利用Stein算子控制變量增強REINFORCE的高性能方法：“ RODEO”。

并且，這種控制變量可以在線調整以最小化方差，并且不需要對目標函數進行額外的評估。

在基準生成建模任務中，例如訓練二進制變分自動編碼器，在具有相同數量的函數估計的情況下，研究的梯度估計器實現了有史以來最低的方差。

大佬來自英偉達，師從李飛飛

總結這一超強線程的大佬Jim，現就職于英偉達。

他的研究方向是開發具有通用能力的自主智能體，如上讓AI學會《我的世界》人類玩家技巧的論文，正是他的成果。

他博士就讀于斯坦福大學視覺實驗室，師從李飛飛。

曾在谷歌云、OpenAI、百度硅谷AI實驗室等實習。

參考鏈接：
[1]https://twitter.com/DrJimFan/status/1596911064251187201
[2]https://jimfan.me/