大模型“精細化”對齊，真實性提升25.8%刷新SOTA！token級精準編輯，無需訓練即插即用
雙模塊設計，找準病根對癥下藥
TAE團隊 投稿
量子位 | 公眾號 QbitAI
提升大模型對齊能力新方法，在TruthfulQA任務上真實性指標提升25.8%，刷新當前最優性能！
方法名為Token-Aware Editing (TAE)，是一種token感知的推理時表征編輯方法。
該方法首次系統性地從token層面解決了傳統表征編輯技術的問題，無需訓練、即插即用，可廣泛應用于對話系統、內容審核、偏見mitigation等場景。
在大模型廣泛應用的時代，如何讓模型輸出更符合人類價值觀（如真實性、無害性、公平性）已成為關鍵挑戰。傳統方法通常依賴大量數據微調，成本高、效率低，且容易引入新風險。
近年來，對大語言模型（LLMs）的內部激活值直接進行編輯，被證明是一種有效的推理時對齊方法，能夠高效抑制模型生成錯誤或有害內容等不良行為，從而確保大語言模型應用的安全性與可靠性。
然而，現有方法忽略了不同token之間的錯位差異，導致對齊方向出現偏差且編輯強度缺乏靈活性。
由此，來自北航的研究團隊在EMNLP 2025上提出了該方法。
未來，團隊計劃將TAE擴展至多維度對齊（如同時優化真實性與無害性），并探索與SFT、RLHF等訓練方法的結合，推動大模型向更安全、可靠的方向發展。
TAE：從“句子”到“詞”的精細化干預
研究團隊指出，以往的表征編輯研究（如ITI、TruthX等）大多在句子級別進行激活值編輯，在編輯方向探尋和內部表征編輯兩個主要階段均存在問題：
- 方向偏差（Deviant Alignment Direction）：僅用最后一個token代表整個句子，信息不全面，學到的編輯方向不準。
- 編輯強度不靈活（Inflexible Editing Strength）：對所有token“一視同仁”地進行編輯，無法精準糾正真正“出錯”的token。
為了解決上述問題，團隊提出了Token-Aware Editing (TAE)，核心包含兩個模塊：
1、Mutual Information-guided Graph Aggregation （MIG)
傳統句子級探針使用最后一個token（通常是或句號等標志符）的激活值來代表整個復雜句子的語義和對齊狀態。然而，盡管LLM的自注意力機制允許最后一個token感知到前面所有token的信息，但這種感知可能存在信息損失和局部理解局限。因此，僅基于它學到的“對齊方向”可能是有偏差的，不是一個普適性的方向。而MIG模塊的目標是增強激活值的表征能力，從而訓練出更優秀的探針，找到更準確的編輯方向。
- 構建Token關系圖：利用互信息（Mutual Information）量化Token激活值之間的關聯性，構建信息交互圖；
- 多層次信息聚合：通過多輪圖傳播，融合所有Token的語義信息，生成更具代表性的增強激活表征；
- 精準對齊方向探測：基于增強表征訓練探測頭，準確識別與對齊相關的干預方向
2、Misalignment-aware Adaptive Intervention (MAI)
在推理干預時，傳統方法對所有token應用相同的編輯強度（α）。但顯然，一個句子中有些token很“安全”（已對齊），有些token則很“危險”（即將導致模型產生不對齊的內容）。用同樣的力度去“推”所有token，要么可能對安全token造成過度干預（可能影響流暢性和有用性），要么可能對危險token的干預力度不足（無法有效糾正錯誤）。MAI模塊的目標是在推理時，為當前正在生成的每個token計算一個自適應的編輯強度A(o_t)。它從兩個維度來感知一個token的“錯位”風險：
- 雙路錯位評估：從表示錯位估計和預測不確定性量化兩個方面評估token的潛在不確定性程度
- 動態強度調整：根據錯位程度自適應計算干預強度，高風險token強干預，低風險token弱干預。
最終，TAE方法將兩者結合，實現了比前人方法更精細、更有效、成本更低的推理時對齊干預，在真實性、無害性、公平性等多個對齊維度上都取得了顯著提升。
實驗結果：顯著超越現有方法
團隊選取真實性、有害性和公平性三個典型對齊維度來評估TAE的對齊效果：
在評估真實性的TruthfulQA數據集上，TAE在LLaMA-3-8B-Instruct上取得了87.8%的True*Info得分，比之前最好的編輯方法（SEA: 73.2%）提升了14.6個百分點，比原始基線（62.0%）提升了25.8個百分點。
TAE在去毒任務的RealToxicPrompt上同樣表現卓越，將TP（毒性概率）從基線的0.41大幅降低到0.05，降幅近90%，并且優于所有專門的去毒基線方法（如DESTEIN: 0.13）；在公平性任務數據集StereoSet上，TAE將刻板印象分數（SS）從基線的64.8%顯著降低到50.3%，極大地緩解了模型偏見，并且最接近理想的無偏見狀態（50%）。
不僅如此，TAE在不同類型、大小的模型上均表現出顯著增益，如Llama2-7B-Chat， Llama2-13B-Chat, Alpaca-7B和Mistral-7B等。
論文鏈接：https://openreview.net/pdf?id=43nuT3mODk
- 讀懂2025中國AI走向！公司×產品×人物×方案，最值得關注的都在這里了2025-12-10
- 誤入人均10個頂級offer的技術天團活動，頂尖AI人才的選擇邏輯我悟了2025-12-04
- DeepSeek-V3.2系列開源，性能直接對標Gemini-3.0-Pro2025-12-01
- 字節“豆包手機”剛開賣，吉利系進展也曝光了：首月速成200人團隊，挖遍華為小米榮耀2025-12-01
相關閱讀
