「擴散模型」首篇綜述+論文分類匯總，谷歌&北大最新研究

羿閣 發自 凹非寺

量子位 | 公眾號 QbitAI

最近爆火的“擴散模型?（diffusion model）”首篇綜述來了！

作為深度生成模型中新的SOTA，目前有關它的理論和實踐還在“野蠻生長”階段，缺乏系統性的回顧。

為了反映這一快速發展領域的進展，這篇綜述從擴散模型算法細化分類、和其他五大生成模型的關聯以及在七大領域中的應用等方面展開，最后提出了擴散模型的現有局限性和未來的發展方向。

作者是來自加州大學&Google Research的Ming-Hsuan Yang、北京大學崔斌實驗室以及CMU、UCLA、蒙特利爾Mila研究院等眾研究團隊。

第一作者楊靈，是來自北京大學的博士。

有看過的專業人士就表示：很多被引用的論文都是2022年的，可見跟蹤SOTA是多么困難，以及這些調查是多么重要。

值得一提的是，作者還公開了本綜述擴散模型論文分類匯總GitHub鏈接。（附在文末～）

話不多說，讓我們趕緊來深入了解一下吧。

一、介紹

擴散模型?（diffusion models）是深度生成模型中新的SOTA。

擴散模型在圖片生成任務中超越了原SOTA：GAN，并且在諸多應用領域都有出色的表現，如計算機視覺，NLP、波形信號處理、多模態建模、分子圖建模、時間序列建模、對抗性凈化等。

此外，擴散模型與其他研究領域有著密切的聯系，如穩健學習、表示學習、強化學習。

然而，原始的擴散模型也有缺點，它的采樣速度慢，通常需要數千個評估步驟才能抽取一個樣本；它的最大似然估計無法和基于似然的模型相比；它泛化到各種數據類型的能力較差。

如今很多研究已經從實際應用的角度解決上述限制做出了許多努力，或從理論角度對模型能力進行了分析。但是，現在仍缺乏對擴散模型從算法到應用的最新進展的系統回顧。

為了反映這一快速發展領域的進展，我們對擴散模型進行了首個全面綜述。我們設想我們的工作將闡明擴散模型的設計考慮和先進方法，展示其在不同領域的應用，并指出未來的研究方向。

此綜述的概要如下圖所示：

盡管diffusion model在各類任務中都有著優秀的表現，它仍還有自己的缺點，并有諸多研究對diffusion model進行了改善。

為了系統地闡明diffusion model的研究進展，我們總結了原始擴散模型的三個主要缺點，采樣速度慢，最大化似然差、數據泛化能力弱，并提出將的diffusion models改進研究分為對應的三類：采樣速度提升、最大似然增強和數據泛化增強。

我們首先說明改善的動機，再根據方法的特性將每個改進方向的研究進一步細化分類，從而清楚地展現方法之間的聯系與區別。

在此我們僅選取部分重要方法為例，我們的工作中對每類方法都做了詳細的介紹，內容如圖所示：

在分析完三類擴散模型后，我們將介紹其他的五種生成模型GAN，VAE，Autoregressive model，Normalizing flow，Energy-based model。

考慮到擴散模型的優良性質，研究者們已經根據其特性將diffusion model與其他生成模型結合，所以為了進一步展現diffusion model 的特點和改進工作，我們詳細地介紹了diffusion model和其他生成模型的結合的工作并闡明了在原始生成模型上的改進之處。

Diffusion model在諸多領域都有著優異的表現，并且考慮到不同領域的應用中diffusion model產生了不同的變形，我們系統地介紹了diffusion model的應用研究，其中包含如下領域：計算機視覺，NLP、波形信號處理、多模態建模、分子圖建模、時間序列建模、對抗性凈化。

對于每個任務，我們定義了該任務并介紹利用擴散模型處理任務的工作，我們將本項工作的主要貢獻總結如下：

新的分類方法：我們對擴散模型和其應用提出了一種新的、系統的分類法。具體的我們將模型分為三類：采樣速度增強、最大似然估計增強、數據泛化增強。

進一步地，我們將擴散模型的應用分為七類：計算機視覺，NLP、波形信號處理、多模態建模、分子圖建模、時間序列建模、對抗性凈化。

全面的回顧：我們首次全面地概述了現代擴散模型及其應用。我們展示了每種擴散模型的主要改進，和原始模型進行了必要的比較，并總結了相應的論文。

對于擴散模型的每種類型的應用，我們展示了擴散模型要解決的主要問題，并說明它們如何解決這些問題。

未來研究方向：我們對未來研究提出了開放型問題，并對擴散模型在算法和應用方面的未來發展提供了一些建議。

二、擴散模型基礎

生成式建模的一個核心問題是模型的靈活性和可計算性之間的權衡。

擴散模型的基本思想是正向擴散過程來系統地擾動數據中的分布，然后通過學習反向擴散過程恢復數據的分布，這樣就了產生一個高度靈活且易于計算的生成模型。

1、Denoising Diffusion Probabilistic Models（DDPM）

一個DDPM由兩個參數化馬爾可夫鏈組成，并使用變分推斷以在有限時間后生成與原始數據分布一致的樣本。

前向鏈的作用是擾動數據，它根據預先設計的噪聲進度向數據逐漸加入高斯噪聲，直到數據的分布趨于先驗分布，即標準高斯分布。

反向鏈從給定的先驗開始并使用參數化的高斯轉換核，學習逐步恢復原數據分布。

2、Score-Based Generative Models（SGM）

上述DDPM可以視作SGM的離散形式。SGM構造一個隨機微分方程（SDE）來平滑的擾亂數據分布，將原始數據分布轉化到已知的先驗分布：

和一個相應的逆向SDE，來將先驗分布變換回原始數據分布：

因此，要逆轉擴散過程并生成數據，我們需要的唯一信息就是在每個時間點的分數函數。利用score-matching的技巧我們可以通過如下損失函數來學習分數函數：

對兩種方法的進一步介紹和兩者關系的介紹請參見論文詳情。

原始擴散模型的三個主要缺點，采樣速度慢，最大化似然差、數據泛化能力弱。最近許多研究都在解決這些缺點，因此我們將改進的擴散模型分為三類：

采樣速度提升、最大似然增強、數據泛化增強。

在接下來的三、四、五節我們將對這三類模型進行詳細的介紹。

三、采樣加速方法

在應用時，為了讓新樣本的質量達到最佳，擴散模型往往需要進行成千上萬步計算來獲取一個新樣本。這限制了diffusion model的實際應用價值，因為在實際應用時，我們往往需要產生大量的新樣本，來為下一步處理提供材料。

研究者們在提高diffusion model采樣速度上進行了大量的研究。我們對這些研究進行了詳細的闡述。我們將其細化分類為三種方法：Discretization Optimization，Non-Markovian Process，Partial Sampling。

1、Discretization Optimization方法優化求解diffusion SDE的方法。因為現實中求解復雜SDE只能使用離散解來逼近真正的解，所以該類方法試圖優化SDE的離散化方法，在保證樣本質量的同時減少離散步數。

SGM 提出了一個通用的方法來求解逆向過程，即對前向和后向過程采取相同的離散方法。如果給定了前向SDE的離散方式：

那么我們就可以以相同的方式離散化逆向SDE：

這種方法比樸素DDPM效果略好一點。進一步，SGM向SDE求解器中加入了一個矯正器，從而讓每一步生成的樣本都有正確的分布。

在求解的每一步，求解器給出一個樣本后，矯正器都使用馬爾可夫鏈蒙特卡羅方法來矯正剛生成的樣本的分布。實驗表明向求解器中加入矯正器比直接增加求解器的步數效率更高。

2、Non-Markovian Process方法突破了原有Markovian Process的限制，其逆過程的每一步可以依賴更多以往的樣本來進行預測新樣本，所以在步長較大時也能做出較好的預測，從而加速采樣過程。

其中主要的工作DDIM，不再假設前向過程是馬爾可夫過程，而是服從如下分布：

DDIM的采樣過程可以視為離散化的神經常微分方程，其采樣過程更高效，并且支持樣本的內插。進一步的研究發現DDIM可以視作流形上擴散模型PNDM的特例。

3、Partial Sampling方法通過在generation process中忽略一部分的時間節點，而只使用剩下的時間節點來生成樣本，直接減少了采樣時間。

例如，Progressive Distillation從訓練好的擴散模型中蒸餾出效率更高的擴散模型。對于訓練好的一個擴散模型，Progressive Distillation會從新訓練一個擴散模型，使新的擴散模型的一步對應于訓練好的擴散模型的兩步，這樣新模型就可以省去老模型一半的采樣過程。

具體算法如下：

不斷循環這個蒸餾過程就能讓采樣步驟指數級下降。

四、最大似然估計加強

擴散模型在最大似然估計的表現差于基于似然函數的生成模型，但最大化似然估計在諸多應用場景都有重要意義，比如圖片壓縮, 半監督學習, 對抗性凈化。

由于對數似然難以直接計算，研究主要集中在優化和分析變分下界（VLB）。我們對提高擴散模型最大似然估計的模型進行了詳細的闡述。

我們將其細化分類為三類方法：Objectives Designing，Noise Schedule Optimization，Learnable Reverse Variance。

1、Objectives Designing方法利用擴散SDE推倒出生成數據的對數似然與分數函數匹配的損失函數的關系。這樣通過適當設計損失函數，就可以最大化 VLB 和對數似然。

Song et al.證明了可以設計損失函數的權重函數，使得plug-in reverse SDE生成樣本的似然函數值小于等于損失函數值，即損失函數是似然函數的上界。分數函數擬合的損失函數如下：

我們只需將權重函數λ（t）設為擴散系數g（t）即可讓損失函數成為似然函數的VLB，即：

2、Noise Schedule Optimization通過設計或學習前向過程的噪聲進度來增大VLB。VDM證明了當離散步數接近無窮時，損失函數完全由信噪比函數SNR（t）的端點決定：

那么在離散步數接近無窮時，可以通過學習信噪比函數SNR（t）的端點最優化VLB，而通過學習信噪比函數中間部分的函數值來實現模型其他方面的改進。

3、Learnable Reverse Variance方法學習反向過程的方差，從而較少擬合誤差，可以有效地最大化VLB。Analytic-DPM證明，在DDPM和DDIM中存在反向過程中的最優期望和方差：

使用上述公式和訓練好的分數函數，在給定前向過程的條件下，最優的VLB可以近似達到。

五、數據泛化增強

擴散模型假設數據存在于歐幾里得空間，即具有平面幾何形狀的流形，并添加高斯噪聲將不可避免地將數據轉換為連續狀態空間，所以擴散模型最初只能處理圖片等連續性數據，直接應用離散數據或其他數據類型的效果較差。

這限制了擴散模型的應用場景。數個研究工作將擴散模型推廣到適用于其他數據類型的模型，我們對這些方法進行了詳細地闡釋。我們將其細化分類為兩類方法：Feature Space Unification，Data-Dependent Transition Kernels。

1、Feature Space Unification方法將數據轉化到統一形式的latent space，然后再latent space上進行擴散。LSGM提出將數據通過VAE框架先轉換到連續的latent space 上后再在其上進行擴散。這個方法的難點在于如何同時訓練VAE和擴散模型。LSGM表明由于潛在先驗是intractable的，分數匹配損失不再適用。LSGM直接使用VAE中傳統的損失函數ELBO作為損失函數，并導出了ELBO和分數匹配的關系：

該式在忽略常數的意義下成立。通過參數化擴散過程中樣本的分數函數，LSGM可以高效的學習和優化ELBO。

2、Data-Dependent Transition Kernels方法根據數據類型的特點設計diffusion process中的transition kernels，使擴散模型可以直接應用于特定的數據類型。

D3PM為離散型數據設計了transition kernel，可以設為lazy random-walk，absorbing state等。

GEODIFF為3D分子圖數據設計了平移-旋轉不變的圖神經網絡，并且證明了具有不變性的初分布和transition kernel可以導出具有不變性的邊緣分布。假設T是一個平移-旋轉變換，如：

那么生成的樣本分布也有平移-旋轉不變性：

六、和其他生成模型的聯系

在下面的每個小節中，我們首先介紹其他五類重要的生成模型，并分析它們的優勢和局限性。然后我們介紹了擴散模型是如何與它們聯系起來的，并說明通過結合擴散模型來改進這些生成模型。

VAE，GAN，Autoregressive model, Normalizing flow, Energy-based model和擴散模型的聯系如下圖所示：

1、 DDPM可以視作層次馬爾可夫VAE（hierarchical Markovian VAE）。但DDPM和一般的VAE也有區別。DDPM作為VAE，它的encoder和decoder都服從高斯分布、有馬爾科夫行；其隱變量的維數和數據維數相同；decoder的所有層都共用一個神經網絡。

2、DDPM可以幫助GAN解決訓練不穩定的問題。因為數據是在高維空間中的低維流形中，所以GAN生成數據的分布和真實數據的分布重合度低，導致訓練不穩定。擴散模型提供了一個系統地增加噪音的過程，通過擴散模型向生成的數據和真實數據添加噪音，然后將加入噪音的數據送入判別器，這樣可以高效地解決GAN無法訓練、訓練不穩定的問題。

3、Normalizing flow通過雙射函數將數據轉換到先驗分布，這樣的作法限制了Normalizing flow的表達能力，導致應用效果較差。類比擴散模型向encoder中加入噪聲，可以增加Normalizing flow的表達能力，而從另一個視角看，這樣的做法是將擴散模型推廣到前向過程也可學習的模型。

4、Autoregressive model在需要保證數據有一定的結構，這導致設計和參數化自回歸模型非常困難。擴散模型的訓練啟發了自回歸模型的訓練，通過特定的訓練方式避免了設計的困難。

5、Energy-based model直接對原始數據的分布建模，但直接建模導致學習和采樣都比較困難。通過使用擴散恢復似然，模型可以先對樣本加入微小的噪聲，再從有略微噪聲的樣本分布來推斷原始樣本的分布，使的學習和采樣過程更簡單和穩定。

七、擴散模型的應用

在本節中，我們分別介紹了擴散模型在計算機視覺、自然語言處理、波形信號處理、多模態學習、分子圖生成、時間序列以及對抗學習等七大應用方向中的應用，并對每類應用中的方法進行了細分并解析。例如在計算機視覺中可以用diffusion model進行圖像補全修復（RePaint）：

在多模態任務中可以用diffusion model進行文本到圖像的生成（GLIDE）：

還可以在分子圖生成中用diffusion model進行藥物分子和蛋白質分子的生成（GeoDiff）：

應用分類匯總見表：

八、未來研究方向

1、應用假設再檢驗。

我們需要檢查我們在應用中普遍接受的假設。例如，實踐中普遍認為擴散模型的前向過程會將數據轉換為標準高斯分布，但事實并非如此，更多的前向擴散步驟會使最終的樣本分布與標準高斯分布更接近，與采樣過程一致；但更多的前向擴散步驟也會使估計分數函數更加困難。理論的條件很難獲得，因此在實踐中操作中會導致理論和實踐的不匹配。我們應該意識到這種情況并設計適當的擴散模型。

2、從離散時間到連續時間。

由于擴散模型的靈活性，許多經驗方法可以通過進一步分析得到加強。通過將離散時間的模型轉化到對應的連續時間模型，然后再設計更多、更好的離散方法，這樣的研究思路有前景。

3、新的生成過程。

擴散模型通過兩種主要方法生成樣本：一是離散化反向擴散 SDE，然后通過離散的反向 SDE 生成樣本；另一個是使用逆過程中馬爾可夫性質對樣本逐步去噪。然而，對于一些任務，在實踐中很難應用這些方法來生成樣本。因此，需要進一步研究新的生成過程和視角。

4、泛化到更復雜的場景和更多的研究領域。

雖然目前diffusion model已經應用到多個場景中，但是大多數局限于單輸入單輸出的場景，將來可以考慮將其應用到更復雜的場景，比如text-to-audiovisual speech synthesis。也可以考慮和更多的研究領域相結合。

論文鏈接：
https://arxiv.org/pdf/2209.00796.pdf

GitHub鏈接：
https://github.com/YangLing0818/Diffusion-Models-Papers-Survey-Taxonomy#application-taxonomy-1