DSTC10 放榜，百度 PLATO 勇奪知識型任務口語對話賽道雙冠軍！

量子位的朋友們 2021-10-22 19:18:28 來源：量子位

近日，第十屆對話系統技術挑戰賽DSTC10落下帷幕。作為全球人工智能頂級學術競賽之一，DSTC比賽持續受到國內外知名企業和機構關注。百度在DSTC10中斬獲了知識型任務口語對話賽道兩項任務的全部冠軍，并以大幅優勢領先對手。

在上一屆DSTC 比賽中，百度PLATO-2 模型奪得多個任務冠軍；本次比賽，百度結合了最新發布的全球首個百億參數對話生成模型PLATO-XL，在賽題難度加大的情況下，憑借強大的技術實力再次拿下多個冠軍。

加入錯誤干擾數據 知識型任務口語賽道難度空前

任務型對話基于知識為用戶提供口語化的信息查詢、指令執行等智能服務。今年DSTC的知識型任務口語對話賽道由對話狀態追蹤和知識對話兩項核心子任務構成，這兩項任務是判斷對話系統能否在多輪對話中準確理解用戶意圖、正確傳遞信息的關鍵。為了更接近真實場景，該賽道首次在競賽中使用了帶有自動語音識別（Automatic Speech Recognition, ASR）錯誤干擾的口語對話數據。下圖展示了驗證集中的一個對話片段，口語的表述更加復雜多樣，且 ASR 錯誤帶來的干擾很大（作為參考，灰色部分為人工再次核查錄音，校正后的對話內容）。相比于傳統對話系統中采用的眾包數據，該賽道不僅訓練數據缺乏，而且數據噪音大，這對正確理解用戶信息并保持高質量的回復是一項極大的挑戰。

知識型任務口語對話賽道ASR錯誤示例：灰色字體為專家根據對話內容的準確文本。紅色字體為ASR錯誤內容

那么在激烈的競爭中，百度是如何在這一賽道拿下兩項任務全部冠軍的呢？

對話狀態追蹤任務大幅領先 創新提出多層級數據增強框架

在任務1對話狀態追蹤任務中，參賽系統需要完成多領域對話狀態追蹤，正確識別出用戶意圖和槽位。首先，針對訓練數據匱乏的難題，百度團隊創新地提出了多層級數據增強方法，通過對已有對話進行實體替換、基于對話動作隨機游走、口語模擬增強等技術，自動構造了數十萬的多輪口語對話。然后，依托對話生成預訓練模型PLATO，進行對話追蹤任務端到端建模，即根據多輪對話上文自動生成意圖和槽位，大幅提升模型魯棒性。最終聯合目標準確率（Joint Goal Accuracy）達到 0.4616，超越第二名十個百分點，以絕對的優勢奪得第一。

對話狀態追蹤任務示例：將用戶的口語文本轉為結構化的對話狀態描述同時，還需要修復相關ASR錯誤

對話狀態追蹤任務榜單（前五名）， A11為百度團隊。

知識對話任務奪冠 實體增強輔助知識精準定位

第二項任務為知識對話。傳統任務型對話以知識為基本支撐，一旦用戶的訴求超出知識范疇，對話系統就無法做出正確的回復。針對該問題，通常會在對話系統中引入大量的外部知識，來進一步提升對話系統的能力。在該背景下，第二項任務設置了三個級聯的子任務：

• 判斷當前對話是否需要使用外部知識；

• 選擇跟當前對話內容匹配的知識；

• 根據選取的知識進行回復生成。

針對這些子任務，百度創新地提出了知識增強的對話策略：首先，在多領域任務對話的復雜場景下，準確識別與對話意圖相關的知識需求；然后，知識召回模型從大規模知識庫中高效召回合適的知識；最后，利用PLATO-XL的靈活可擴展性，基于對話上下文內容以及召回的外部知識，自動生成回復。從系統回復的人工評估結果來看，百度在回復的準確性和合適性兩個指標都取得最好成績。

值得一提的是，任務結果評估也引入了人工標注的結果（Ground-truth）。百度提交的結果與人工標注結果差距最?。ò俣认到y得分 3.4235 vs 人工標注結果得分 3.5291），驗證了上述知識增強的對話策略更接近人的認知過程，相比于其他系統，具有更好的可解釋性。

如同人在回答一些不了解的專業問題也需要查閱資料，知識增強的方法使對話系統具備了“臨時查閱”的能力，能夠更加專業、更加精準地回答問題。知識增強的對話不僅成功應用于知識對話任務，在百度近期發布的PLATO-KAG等相關的工作上也取得了?？梢哉f，知識增強已經成為對話系統的必備能力。

知識對話任務示例：系統需要判斷是否需要引入外部知識庫，并利用外部知識（External Knowledge）來準確響應用戶需求

知識對話任務榜單（前五名），B10為百度團隊。第一行（Ground Truth）為人類標注。對話從準確性（Accuracy）, 合適性（Appropriatenesss）兩個角度進行評估。

對話系統是自然語言處理領域最具挑戰性的技術之一，尤其是實際應用場景下，數據高噪聲、多歧義，比學術研究數據更復雜、更具挑戰性。通過此次DSTC10競賽，百度再次錘煉了PLATO模型的魯棒性，同時驗證了知識增強策略的應用效果，并為解決產業應用中的實際問題提供了全新思路。未來，百度AI還將持續技術創新與突破，實現讓對話更有知識、有情感、有邏輯的目標。

百度 PLATO 系列模型完全基于百度自主研發的深度學習平臺飛槳。DSTC10的冠軍解決方案也會陸續開源到 GitHub，對智能對話感興趣的小伙伴千萬別錯過。同時，百度也推出了”百度PLATO”的微信公眾號，大家可以體驗基于PLATO的中文對話效果。

GitHub 鏈接：https://github.com/PaddlePaddle/Knover

— 完 —