統計可控數據合成！新框架突破大模型數據生成局限，麥吉爾大學團隊推出LLMSynthor

麥吉爾大學團隊 投稿

量子位 | 公眾號 QbitAI

現有的數據合成方法在合理性和分布一致性方面存在不足，且缺乏自動適配不同數據的能力，擴展性較差。

大語言模型受限于采樣效率和上下文窗口大小，難以直接合成大規模數據集。

如何用大模型生成結構對齊、統計可信、語義合理的數據，成為了亟待解決的問題。

為此，麥吉爾大學團隊提出了新方法LLMSynthor——

通過這個方法，可以讓大模型變成結構感知的數據模擬器，為隱私敏感、數據稀缺場景生成不泄密的高質量替代數據。

LLMSynthor：讓LLM變成“結構感知的生成器”

在人口、電商、出行等場景，數據敏感難共享，不同數據格式還需單獨設計模型，成本高、遷移差。

傳統方法如貝葉斯網絡、GAN等，要么難以建模高維依賴，要么泛化差且不穩定，還常生成“9歲博士”這類統計合理但語義荒謬的樣本。

同樣，近期大模型也被用于數據生成，但存在采樣慢、分布不可控、上下文受限等問題，難以高效生成結構完整的大規模數據集。

而LLMSynthor的解法是：讓LLM不直接生成數據，而是變成“結構感知的生成器”，通過統計對齊反饋不斷迭代優化。

整體框架如下：

Step 1：結構推理

生成可信數據，關鍵是理解變量之間的依賴結構。

傳統Copula模型雖能拆分變量分布與關系建模，但在高維、多語義場景下難以擴展。

LLMSynthor的關鍵創新是：用大語言模型模擬Copula。

LLM本身可視為一種現實世界聯合分布的高維先驗，其預訓練過程中已經內化了人類行為、社會結構的變量共現規律。

結合對統計摘要（如頻率、分布等）的理解，它能推斷變量間的高階關系，并利用語義信息挖掘隱藏依賴。

Step 2：統計對齊

LLMSynthor不直接比對原始數據，而是通過統計摘要（如變量分布、聯合頻率）來衡量真實數據與合成數據的差距。

這樣，就既保留了結構信息，又避免泄露個體數據。

（因為只依賴統計特征，即便輸入的是聚合的指標，也能生成結構合理、語義一致的合成數據，特別適合人口普查、問卷調查等隱私敏感場景。）

此外，LLMSynthor的對齊機制是可歸因的：不僅衡量“整體偏離”，還能定位具體偏差來自哪個變量或變量組合。

這種細粒度反饋能直接用于下一輪生成的結構調整，實現逐步對齊。

Step 3：生成分布而不是樣本

傳統方法逐條生成樣本，效率低且難控分布。

LLMSynthor改為生成可采樣的分布規則（proposals），比如：“25歲女性、在一線城市、購買美妝產品”，然后批量采樣，甚至可調用圖像等外部生成器擴展至多模態任務。

proposal同時受統計反饋和LLM常識引導，可自然避免如“10歲博士”一類的荒謬變量組合。

這種方式不僅高效、結構可信，還能通過“分布描述語言”來協調其他模型協同生成，實現跨模態、多源、多任務的數據合成與模擬。

Step 4：迭代對齊

通過“結構推理-統計比較-規則生成-新數據采樣”不斷循環，模型最終會生成一組結構上、統計上都高度接近真實數據，且符合常理的合成數據集。

理論保障

除了經驗效果，LLMSynthor還具備理論收斂保障。

LLMSynthor團隊提出局部結構一致性定理（Local Structural Consistency）：在合理的假設下，如果某個變量或變量組分布初始存在偏差，經過有限次迭代可將誤差收斂至任意可控范圍。

這說明LLMSynthor不是“憑感覺靠近”，而是有數學保障地逐步收斂到真實數據結構。

多場景實測

為了驗證LLMSynthor的實用性和穩定性，作者在三個具代表性的真實場景中進行了實驗，包括電商交易、人口統計和城市出行。

電商交易生成

這是一個包含連續與離散變量的混合場景，變量關系復雜。

作者基于貝葉斯網絡構建可控數據集，設定明確結構，用于評估建模能力。

結果顯示，LLMSynthor在邊緣與聯合分布誤差上均表現最優，準確還原變量依賴。

進一步的預測實驗也顯示，其合成數據訓練出的模型在真實數據上效果最佳，體現出強實際價值。

人口微觀合成

在人口數據包含家庭-個人嵌套結構，天然非結構化。這類數據廣泛應用于城市規劃、政策評估、資源配置等關鍵任務。LMSynthor可處理此類復雜結構，并在6類共16項政策指標上（如老年貧困率），顯著優于已有方法。

城市出行模擬

出行數據包含時序、地理、行為等多種復雜類型，是交通仿真和應急管理的基礎。

LLMSynthor基于多源數據，成功生成符合城市節奏的模擬軌跡。更關鍵的是，它能響應prompt控制生成。

比如輸入“晚上8點東京巨蛋有演唱會”，合成數據便展現出對應時段的潮汐客流變化，展現出現實還原力和場景操控能力，適用于政策仿真與事件預演。

大模型兼容情況

LLMSynthor生成效率高、無需訓練，同時兼容多種大模型，換用如Qwen-2.5-7B等開源模型也能穩定運行，具備良好擴展性與落地適配能力。

論文鏈接：https://arxiv.org/pdf/2505.14752
項目地址：https://yihongt.github.io/llmsynthor_web/