打入AI底層！NUS尤洋團隊用擴散模型構建神經網絡參數，LeCun點贊
比人工訓練最高提速44倍
克雷西 發自 凹非寺
量子位 | 公眾號 QbitAI
擴散模型，迎來了一項重大新應用——
像Sora生成視頻一樣，給神經網絡生成參數，直接打入了AI的底層！
這就是新加坡國立大學尤洋教授團隊聯合UCB、Meta AI實驗室等機構最新開源的研究成果。
具體來說，研究團隊提出了一種用于生成神經網絡參數的擴散模型p(arameter)-diff。
用它來生成網絡參數，速度比直接訓練最多提高44倍，而且表現毫不遜色。
這一模型一經發布，就迅速在AI社區引發強烈討論，圈內人士對此的驚嘆，毫不亞于普通人看到Sora時的反應。
甚至有人直接驚呼，這基本上相當于AI在創造新的AI了。
就連AI巨頭LeCun看了之后，也點贊了這一成果，表示這真的是個cute idea。
而實質上，p-diff也確實具有和Sora一樣重大的意義，對此同實驗室的Fuzhao Xue（薛復昭）博士進行了詳細解釋：
Sora生成高維數據，即視頻，這使得Sora成為世界模擬器（從一個維度接近AGI）。
而這項工作，神經網絡擴散，可以生成模型中的參數，具有成為元世界級學習器/優化器的潛力，從另一個新的重要維度向AGI邁進。
言歸正傳，p-diff到底是如何生成神經網絡參數的呢？
將自編碼器與擴散模型結合
要弄清這個問題，首先要了解一下擴散模型和神經網絡各自的工作特點。
擴散生成過程，是從隨機分布到高度特定分布的轉變，通過復合噪聲添加，將視覺信息降級為簡單噪聲分布。
而神經網絡訓練，同樣遵循這樣的轉變過程，也同樣可以通過添加噪聲的方式來降級，研究人員正是在這一特點的啟發之下提出p-diff方法的。
從結構上看，p-diff是研究團隊在標準潛擴散模型的基礎之上，結合自編碼器設計的。
研究者首先從訓練完成、表現較好的網絡參數中選取一部分，并展開為一維向量形式。
然后用自編碼器從一維向量中提取潛在表示，作為擴散模型的訓練數據，這樣做可以捕捉到原有參數的關鍵特征。
訓練過程中，研究人員讓p-diff通過正向和反向過程來學習參數的分布，完成后，擴散模型像生成視覺信息的過程一樣，從隨機噪聲中合成這些潛在表示。
最后，新生成的潛在表示再被與編碼器對應的解碼器還原成網絡參數，并用于構建新模型。
下圖是通過p-diff、使用3個隨機種子從頭開始訓練的ResNet-18模型的參數分布，展示了不同層之間以及同一層不同參數之間的分布模式。
為了評估p-diff所生成參數的質量，研究人員利用3種類型、每種兩個規模的神經網絡，在8個數據集上對其進行了測試。
下表中，每組的三個數字依次表示原始模型、集成模型和用p-diff生成的模型的測評成績。
結果可以看到，用p-diff生成的模型表現基本都接近甚至超過了人工訓練的原始模型。
效率上，在不損失準確度的情況下，p-diff生成ResNet-18網絡的速度是傳統訓練的15倍，生成Vit-Base的速度更是達到了44倍。
額外的測試結果證明，p-diff生成的模型與訓練數據有顯著差異。
從下圖（a）可以看到，p-diff生成的模型之間的相似度低于各原始模型之間的相似度，以及p-diff與原始模型的相似度。
而從（b）和（c）中可知，與微調、噪聲添加方式相比，p-diff的相似度同樣更低。
這些結果說明，p-diff是真正生成了新的模型，而非僅僅記憶訓練樣本，同時也表明其具有良好的泛化能力，能夠生成與訓練數據不同的新模型。
目前，p-diff的代碼已經開源，感興趣的話可以到GitHub中查看。
論文地址：
https://arxiv.org/abs/2402.13144
GitHub：
https://github.com/NUS-HPC-AI-Lab/Neural-Network-Diffusion
- 讀懂2025中國AI走向！公司×產品×人物×方案，最值得關注的都在這里了2025-12-10
- 誤入人均10個頂級offer的技術天團活動，頂尖AI人才的選擇邏輯我悟了2025-12-04
- DeepSeek-V3.2系列開源，性能直接對標Gemini-3.0-Pro2025-12-01
- 字節“豆包手機”剛開賣，吉利系進展也曝光了：首月速成200人團隊，挖遍華為小米榮耀2025-12-01
相關閱讀
