用LLM一鍵生成百萬級領域知識圖譜！中科大新框架入選ACL 2024

一水 2024-11-11 15:13:07 來源：量子位

現在，用LLM一鍵就能生成百萬級領域知識圖譜了？！

來自中科大MIRA實驗室研究人員提出一種通用的自動化知識圖譜構建新框架SAC-KG，提升效果be like：

當使用ChatGPT作為基礎模型時，SAC-KG達到了89.32%的準確率和81.25%的領域特異性，相對于SOTA方法提升了20%。

一直以來，知識圖譜構建技術始終是研究熱點。

不過對構建領域知識圖譜來說，由于需要大量的專家知識和人工干預，其實際應用受到嚴重限制。

對此，最近基于大語言模型（LLM）的構建方法成為了一種新趨勢。但仍存在一些問題，嚴重影響所構建領域知識圖譜的可信度。

針對上述痛點，研究團隊進一步提出了SAC-KG，相關論文已發表在CCF-A類人工智能頂級會議ACL 2024 Main。并開發部署領域知識圖譜自動構建平臺SAC-KG，支持輸入大規模領域語料，一鍵生成高質量領域知識圖譜。

SAC-KG是如何工作的

由于大語言模型出色的語義理解能力和生成能力，基于LLM的方法成為了一種新趨勢。通過利用LLM中存儲的先驗知識，從原始語料中提取三元組。

然而，基于LLM的方法仍面臨一些問題。輸入中的上下文噪聲和輸出中的知識幻覺會導致錯誤或不相關的三元組生成，從而嚴重影響所構建領域知識圖譜的可信度。

為了解決上述問題，該研究提出了一種全新的自動化知識圖譜構建通用框架SAC-KG，利用大語言模型作為領域知識圖譜的自動化構建專家，在給定領域語料的情況下，以自動化、精確性和可控性為目標提取三元組。

該框架包含三個組件：生成器、驗證器和剪枝器。

生成器

首先，生成器包括領域語料檢索器和開放知識圖譜檢索器，分別為指定的實體從領域語料庫和開放知識圖譜中檢索最相關信息。

其中，領域語料檢索器提供最相關的文本語料作為LLM的輸入，減少上下文噪聲的引入；開放知識圖譜檢索器提供與實體最相關的三元組作為示例，幫助控制模型的輸出格式。

LLM的輸入包括與實體相關的上下文、三元組示例以及相應的提示，輸出為生成的以指定實體為頭實體的三元組。

驗證器

由于LLM存在知識幻覺，可能生成錯誤三元組，因此由驗證器負責檢測并過濾掉由LLM生成的錯誤三元組。

這一過程分為兩個步驟：錯誤檢測和錯誤糾正。

在錯誤檢測階段，驗證器會執行三種檢查并進行標記：

• 數量檢查：如果生成的三元組數量少于閾值（默認是3個），則標記為“數量不足”。
• 格式檢查：如果三元組不符合預定義格式，則標記為“格式錯誤”；如果頭實體不匹配預定義實體，則標記為“頭實體錯誤”；如果頭實體和尾實體相同，則標記為“頭尾矛盾”。
• 沖突檢查：驗證器會檢測三元組中的邏輯沖突。例如，確保一個人的出生時間早于死亡時間，且年齡不為負數。

在錯誤糾正階段，根據檢測到的錯誤類型提供相應的提示，并重新讓LLM生成正確的輸出。例如，如果是“格式錯誤”，會提示模型“請嚴格按照格式要求重新生成，注意三元組的格式”。

剪枝器

知識圖譜的生長過程可以看作一棵樹的逐層增長，從淺到深逐步獲取領域知識，意味著下一層三元組的頭實體是上一層三元組的尾實體。

在經過驗證器驗證后，將得到的正確三元組整合到生成的新層圖譜中，并繼續生成下一層三元組。

然而，并不是所有三元組都需要繼續生成下一層。例如，“(稻米,最佳生長溫度,20-25攝?度)”是正確的三元組，但尾實體“20-25攝氏度”不需要作為下一層的頭實體進行進一步生成。

為了提高知識圖譜的可控性，該研究引入剪枝器，這是一個在開源知識圖譜DBpedia上微調的T5二分類模型。輸入為每個正確三元組的尾實體，輸出為“生長”或“修剪”，表示是否需要繼續生成下一層圖譜。

訓練剪枝器時，從DBpedia收集訓練數據，將部分頭實體作為“生長”類的代表，尾實體則作為“修剪”類的代表。通過這些實體文本和對應標簽進行微調。

實驗及結果

主實驗

在同一領域的知識圖譜自動構建中，研究團隊使用GPT-4進行自動和高效的評估。

如表1所示，SAC-KG表現優異，超越了多個基線模型。

四個基線模型包括OpenIE6、StanfordOIE、DeepEx和PIVE，其中前兩者為基于規則的三元組抽取方法，而DeepEx結合了Bert模型與規則技術，PIVE則直接使用ChatGPT構建知識圖譜。

SAC-KG在知識圖譜構建上始終優于這些方法，尤其在準確率和領域特異性上表現突出。

當使用ChatGPT作為基礎模型時，SAC-KG達到了89.32%的準確率和81.25%的領域特異性，顯著優于基于規則的方法，相對于SOTA方法提升了20%。

消融實驗

消融實驗中，研究團隊每次迭代中計算這些指標，以獲得更細致的結果。

他們將沒有開放知識圖譜檢索器的SAC-KG記作SAC-KGw/oprompt，沒有領域語料檢索器的記作SAC-KGw/otext，沒有驗證器的記作SAC-KGw/overifier，沒有修剪器的記作SAC-KGw/opruner。

如表2所示，SAC-KG中的任一組件缺失都會導致整個框架性能下降。

特別是，修剪器和開放知識圖譜檢索器對SAC-KG的性能影響更為顯著。這兩個組件分別控制生成方向和添加示例，表明在知識圖譜構建過程中提升可控性的重要性。

研究團隊進一步可視化了SAC-KG每個消融版本生成的前三層知識圖譜。如圖所示，完整的SAC-KG版本表現出最佳的整體結果，且每一層中的錯誤三元組數量沒有顯著差異。這一現象表明，在領域知識圖譜的迭代生成過程中，錯誤傳播并不明顯。相反，去除了文本處理模塊（SAC-KGw/o text）和剪枝模塊（SAC-KGw/o pruner）的版本顯示出明顯的錯誤傳播，導致在第三層生成的錯誤三元組數量顯著增加。而去除了提示模塊（SAC-KGw/o prompt）和驗證模塊（SAC-KGw/o verifier）的版本僅能提取較少的三元組，這意味著語言模型在缺乏示例和錯誤糾正過程的情況下難以從領域語料中總結知識。這些結果進一步證實了框架內每個組件對構建過程的重要貢獻。

OIEbenchmarks

SAC-KG在傳統的開放信息抽取任務中的有效性和廣泛適用性通過多個開源基準數據集的實驗得到了驗證。

實驗結果顯示，SAC-KG在這些傳統OIE基準數據集上，顯著優于現有的最先進方法。

特別是，在與基于規則的方法（如OpenIE6和StanfordOIE）和基于大規模語言模型的方法（如DeepEx和PIVE）的比較中，SAC-KG始終達到最佳結果，證明了其在傳統OIE任務中的有效性和魯棒性。

小結

針對大規模領域知識圖譜構建成本高、精度低這一復雜的實際問題，本研究提出了基于大模型的迭代式領域/常識圖譜通用構建框架。

該框架實現了多源領域語料中的精準知識檢索，并結合開源圖譜實現了自適應提示機制，通過模擬樹生長過程，成功構建了百萬級的高質量領域圖譜。

論文發表在CCF-A類人工智能頂級會議Annual Meeting of the Associationfor Computational Linguistics（ACL 2024 Main）。

論文作者第一作者陳瀚鑄是中國科學技術大學2021級碩博連讀生，師從王杰教授，主要研究方向為知識圖譜與大語言模型，數據合成等。曾獲KDDCup全球高校團隊第一等榮譽。