DeepSeek下一代技術提前曝光，梁文鋒署名論文獲ACL2025最佳論文獎

夢晨 2025-07-31 08:04:22 來源：量子位

夢晨 發自 凹非寺
量子位 | 公眾號 QbitAI

在ACL 2025的頒獎典禮上，由DeepSeek梁文鋒作為通訊作者、與北京大學等聯合發表的論文榮獲最佳論文獎。

這次ACL 2025規模空前，總投稿量達到8360篇，相較于去年的4407篇幾乎翻倍，競爭異常激烈 。

簡單來說，他們提出的原生稀疏注意力（NSA）機制，通過算法與硬件的協同優化，直接把長文本處理速度提升了11倍。更厲害的是，性能不僅沒降反而還超越了傳統的全注意力模型。

一作袁境陽在會上發表演講，透露這項技術可以把上下文長度擴展到1百萬tokens，將被應用到下一個前沿模型中。

結合論文發表于DeepSeek-R1推出之后，實驗設置中也提到使用了DeepSeek-R1的蒸餾數據來微調了新的模型。

大家紛紛猜測，這項技術將被用于下一代DeepSeek-V4以及DeepSeek-R2。

給注意力機制瘦身，速度狂飆11倍

長久以來，大語言模型處理長文本就像是戴著鐐銬跳舞。傳統的全注意力機制計算復雜度隨序列長度呈平方級增長，處理64k長度的文本時，注意力計算竟然要占到總延遲的70-80%。

這篇論文的解決思路很巧妙：既然不是所有詞之間的關系都同等重要，為什么不讓模型學會”抓重點”呢？

NSA采用了一種動態分層的稀疏策略，通過三條并行的注意力分支協同工作：

• 壓縮注意力，負責捕捉粗粒度的全局信息模式，就像快速瀏覽全文抓住大意；
• 選擇性注意力，則專注于序列中最重要的詞塊，相當于精讀關鍵段落；
• 滑動注意力，負責獲取局部的上下文信息，確保細節不丟失。

這種設計最精妙的地方在于，它不是簡單地丟棄信息，而是通過精心設計的算法平衡了計算密度。

更重要的是，整個架構針對現代GPU硬件進行了深度優化，實現了端到端的原生可訓練模式。

在實際測試中，處理64k長度序列時，NSA在解碼、前向傳播和反向傳播的全生命周期中都展現出驚人的速度優勢。

解碼階段速度提升11.6倍，前向傳播提升9倍，反向傳播也有6倍的加速，無論是模型推理還是訓練，都能獲得實實在在的效率提升。

不僅快還更準，長文本處理迎來新突破

速度快只是NSA的一面，更讓人驚訝的是它在各項基準測試中的表現。

在通用基準測試中，采用NSA預訓練的27B參數模型在9個評測指標中有7個超越了全注意力基線。特別是在推理相關的基準測試上，DROP提升了0.042，GSM8K提升了0.034，顯示出稀疏注意力在強制模型聚焦關鍵信息方面的獨特優勢。

長文本處理能力的測試結果更是亮眼。在64k上下文的”大海撈針”測試中，NSA在所有位置都實現了完美的檢索準確率。在LongBench基準測試上，NSA取得了0.469的平均分，不僅超越了全注意力基線（+0.032），更是大幅領先其他稀疏注意力方法。

特別值得一提的是，在需要復雜推理的多跳問答任務上，NSA相比全注意力分別提升了0.087（HPQ）和0.051（2Wiki）；在代碼理解任務（LCC）上提升了0.069；在段落檢索任務（PassR-en）上提升了0.075。

研究團隊還進行了一項有趣的實驗：

他們用DeepSeek-R1的數學推理數據對模型進行微調，然后在美國數學邀請賽（AIME 24）上測試。

結果顯示，NSA-R在8k上下文設置下的準確率達到0.121，而全注意力模型只有0.046；即使在16k上下文下，NSA-R仍然保持0.146的準確率，遠超全注意力的0.092。

這些結果充分證明了NSA不是通過犧牲性能來換取速度，而是真正實現了效率和能力的雙贏。

Three More Thing

這次總共評選出4篇最佳論文，另外三篇包括：

北大團隊的《Language Models Resist Alignment: Evidence From Data Compression》

研究了大型語言模型的“彈性”，指模型經過對齊訓練（讓模型符合人類價值觀、減少有害輸出）后，很容易因為后續的微調而變回預訓練時的狀態，就像彈簧被拉伸后會反彈一樣。

這意味著現有的對齊方法可能只是表面上改變了模型，不夠穩固。未來需要更有效的對齊技術，才能讓模型真正穩定地符合人類需求，尤其是在開源模型中，要避免惡意微調輕易破壞安全機制。

斯坦福團隊的《Fairness through Difference Awareness: Measuring Desired Group Discrimination in LLMs》

研究了大模型“公平性” 上的一個新視角 “差異感知”。簡單來說，就是模型應該在合適的場景下對不同群體做出區分，而不是一味地 一視同仁。

研究發現那些在傳統公平性測試中表現好的模型，在 “差異感知” 上得分并不高；模型能力越強（比如 MMLU 分數越高），情境感知能力越好，但差異感知能力未必提升；現有的 “去偏見” 方法（比如提示模型 “保持無偏見”）反而會讓模型更 無視差異，甚至把正確答案改錯。

亥姆霍茲信息安全中心等團隊的《A Theory of Response Sampling in LLMs: Part Descriptive and Part Prescriptive》。

這篇論文指出大模型生成回答時的采樣機制與人類決策類似，包含描述性成分（反映概念的統計常態）和規定性成分（隱含的概念理想狀態）。

研究通過實驗驗證，無論是新創概念還是現有概念（涵蓋 10 個領域的 500 個概念），LLMs 生成的樣本都會偏離統計平均值，向其認為的 “理想值” 偏移，且這種現象在 15 種不同模型中均顯著存在。案例研究顯示，這種偏向可能導致醫療等領域的有偏決策，引發倫理問題。

DeepSeek論文地址：
https://arxiv.org/abs/2502.11089

參考鏈接：
[1]https://x.com/aclmeeting/status/1950572483637067786
[2]https://x.com/casper_hansen_/status/1950649481617342803