陳丹琦團隊降本大法又來了：數據砍掉三分之一，性能卻完全不減

白交 2025-01-07 22:07:17 來源：量子位

一作高天宇

白小交發自凹非寺

量子位 | 公眾號 QbitAI

陳丹琦團隊又帶著他們的降本大法來了——

數據砍掉三分之一，大模型性能卻完全不減。

他們引入了元數據，加速了大模型預訓練的同時，也不增加單獨的計算開銷。

在不同模型規模（600M – 8B）和訓練數據來源的情況下，均能實現性能方面的提升。

雖然之前元數據談過很多，但一作高天宇表示，他們是第一個展示它如何影響下游性能，以及具體如何實踐以確保推理中具備普遍實用性。

來看看具體是如何做到的吧？

元數據加速大模型預訓練

語言模型預訓練語料庫中存在著風格、領域和質量水平的巨大差異，這對于開發通用模型能力至關重要，但是高效地學習和部署這些異構數據源中每一種數據源的正確行為卻極具挑戰性。

在這一背景下，他們提出了一種新的預訓練方法，稱為元數據調節然后冷卻（MeCo，Metadata Conditioning then Cooldown）。

具體包括兩個訓練階段。

預訓練階段（90%），將元數據（如文檔 URL 的絕對域名c）與文檔拼接（如 “URL: en.wikipedia.orgnn [document]”）進行訓練。

（例如，如果文檔的 URL 是 https://en.wikipedia.org/wiki/Bill Gates，那么文檔 URL 的絕對域名c就是 en.wikipedia.org；這種 URL 信息在許多預訓練語料庫中都很容易獲得，它們大多來自 CommonCrawl2（一個開放的網絡抓取數據存儲庫））
當使用其他類型的元數據時，URL 應替換為相應的元數據名稱。

他們只計算文檔標記的交叉熵損失，而不考慮模板或元數據中的標記，因為在初步實驗中發現，對這些標記進行訓練會略微損害下游性能。

最后10%的訓練步驟為冷卻階段，使用標準數據訓練，繼承元數據調節階段的學習率和優化器狀態，即從上一階段的最后一個檢查點初始化學習率、模型參數和優化器狀態，并繼續根據計劃調整學習率：

1）禁用跨文檔Attention，這既加快了訓練速度（1.6B 模型的訓練速度提高了 25%），又提高了下游性能。

2）當將多個文檔打包成一個序列時，我們確保每個序列從一個新文檔開始，而不是從一個文檔的中間開始—當將文檔打包成固定長度時，這可能會導致一些數據被丟棄，但事實證明這有利于提高下游性能。

本次實驗使用了Llama Transformer架構和Llama-3 tokenizer。我們使用四種不同的模型大小進行了實驗：600M、1.6B、3B 和 8B，以及相關優化設置。

結果顯示，MeCo 的表現明顯優于標準預訓練，其平均性能與 240B 標記的基線相當，而使用的數據卻減少了 33%。