何愷明新作：簡(jiǎn)單框架達(dá)成無(wú)條件圖像生成新SOTA！與MIT合作完成
和最好的條件生成方法也可媲美
豐色 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI
大佬何愷明還未正式入職MIT，但和MIT的第一篇合作研究已經(jīng)出來(lái)了：
他和MIT師生一起開發(fā)了一個(gè)自條件圖像生成框架，名叫RCG（代碼已開源）。
這個(gè)框架結(jié)構(gòu)非常簡(jiǎn)單但效果拔群，直接在ImageNet-1K數(shù)據(jù)集上實(shí)現(xiàn)了無(wú)條件圖像生成的新SOTA。
它生成的圖像不需要任何人類注釋（也就是提示詞、類標(biāo)簽什么的），就能做到既保真又具有多樣性。
這樣的它不僅顯著提高了無(wú)條件圖像生成的水平，還能跟當(dāng)前最好的條件生成方法一較高下。
用何愷明團(tuán)隊(duì)自己的話來(lái)說(shuō)：
有條件和無(wú)條件生成任務(wù)之間長(zhǎng)期存在的性能差距，終于在這一刻被彌補(bǔ)了。
那么，它究竟是如何做到的呢？
類似自監(jiān)督學(xué)習(xí)的自條件生成
首先，所謂無(wú)條件生成，就是模型在沒(méi)有輸入信號(hào)幫助的情況下直接捕獲數(shù)據(jù)分布生成內(nèi)容。
這種方式比較難以訓(xùn)練，所以一直和條件生成有很大性能差距——就像無(wú)監(jiān)督學(xué)習(xí)比不過(guò)監(jiān)督學(xué)習(xí)一樣。
但就像自監(jiān)督學(xué)習(xí)的出現(xiàn)，扭轉(zhuǎn)了這一局面一樣。
在無(wú)條件圖像生成領(lǐng)域，也有一個(gè)類似于自監(jiān)督學(xué)習(xí)概念的自條件生成方法。
相比傳統(tǒng)的無(wú)條件生成簡(jiǎn)單地將噪聲分布映射到圖像分布，這種方法主要將像素生成過(guò)程設(shè)置在從數(shù)據(jù)分布本身導(dǎo)出的表示分布上。
它有望超越條件圖像生成，并推動(dòng)諸如分子設(shè)計(jì)或藥物發(fā)現(xiàn)這種不需要人類給注釋的應(yīng)用往前發(fā)展（這也是為什么條件生成圖像發(fā)展得這么好，我們還要重視無(wú)條件生成）。
現(xiàn)在，基于這個(gè)自條件生成概念，何愷明團(tuán)隊(duì)首先開發(fā)了一個(gè)表示擴(kuò)散模型RDM。
它主要用于生成低維自監(jiān)督圖像表示，方法是通過(guò)自監(jiān)督圖像編碼器從圖像中截取：
它的核心架構(gòu)如下：
首先是輸入層，它負(fù)責(zé)將表征投射到隱藏維度C，接著是N個(gè)全連接塊，最后是一個(gè)輸出層，負(fù)責(zé)把隱藏層的潛在特征重新投射（轉(zhuǎn)換）到原始表征維度。
其中每一層都包含一個(gè)LayerNorm層、一個(gè)SiLU層以及一個(gè)線性層。
這樣的RDM具有兩個(gè)優(yōu)點(diǎn)：
一是多樣性強(qiáng)，二是計(jì)算開銷小。
接著，利用RDM，團(tuán)隊(duì)就提出了今天的主角：表示條件圖像生成架構(gòu)RCG。
它是一個(gè)簡(jiǎn)單的自條件生成框架，由三個(gè)組件組成：
一個(gè)是SSL圖像編碼器，用于將圖像分布轉(zhuǎn)換為緊湊的表示分布。
一個(gè)是RDM，用于對(duì)該分布進(jìn)行建模和采樣。
最后是一個(gè)像素生成器MAGE，用于根據(jù)表示來(lái)處理圖像像。
MAGE的工作方式主要是向token化的圖像中添加隨機(jī)掩碼，并要求網(wǎng)絡(luò)以從同一圖像中提取的表示為條件來(lái)重建丟失的token。
最終，測(cè)試表明，這個(gè)自條件生成框架雖結(jié)構(gòu)簡(jiǎn)單但效果非凡：
在ImageNet 256×256上，RCG實(shí)現(xiàn)了3.56的FID和186.9的IS（Inception Score）得分。
相比之下，在它之前最厲害的無(wú)條件生成方法FID分?jǐn)?shù)為7.04，IS得分為123.5。
以及，相比條件生成，RCG也絲毫不遜色，可以達(dá)到相當(dāng)甚至超過(guò)該領(lǐng)域基準(zhǔn)模型的水平。
最后，在無(wú)分類器引導(dǎo)的情況下，RCG的成績(jī)還能進(jìn)一步提高到3.31（FID）和253.4（IS）。
團(tuán)隊(duì)表示：
這些結(jié)果表明，自條件圖像生成模型擁有巨大潛力，可能預(yù)示這一領(lǐng)域新時(shí)代的到來(lái)。
團(tuán)隊(duì)介紹
本文一共三位作者：
一作是MIT博士生黎天鴻，本科畢業(yè)于清華姚班，研究方向?yàn)榭缒B(tài)集成傳感技術(shù)。
他的主頁(yè)很有意思，還專門放了一個(gè)菜譜合集——做研究和做飯是他最熱愛(ài)的兩件事。
另一位作者是MIT電氣工程與計(jì)算機(jī)科學(xué)系（EECS）教授、MIT無(wú)線網(wǎng)絡(luò)和移動(dòng)計(jì)算中心主任Dina Katabi，她是今年斯隆獎(jiǎng)的獲得者，并已當(dāng)選美國(guó)國(guó)家科學(xué)院院士。
最后，通訊作者為何愷明，他將在明年正式回歸學(xué)界、離開Meta加入MIT電氣工程和計(jì)算機(jī)科學(xué)系，與Dina Katabi成為同事。
論文地址：
https://arxiv.org/abs/2312.03701
相關(guān)閱讀
ResNet孫劍何愷明等加冕未來(lái)科學(xué)大獎(jiǎng)！曠視張祥雨成最年輕獲獎(jiǎng)人
趙忠賢高溫超導(dǎo)團(tuán)隊(duì)獲物質(zhì)科學(xué)獎(jiǎng)
OpenAI當(dāng)紅新星宋飏：最新研究獲評(píng)「終結(jié)擴(kuò)散模型」，16歲上清華
對(duì)擴(kuò)散模型也有早期貢獻(xiàn)
訓(xùn)練時(shí)間減半，性能不降反升！騰訊混元開源圖像生成高效強(qiáng)化方案MixGRPO
一種結(jié)合了SDE和ODE采樣的新型訓(xùn)練框架
