AI說話“前言不搭后語”？用邏輯規則教它們讀懂文章丨字節AI Lab
教AI讀懂整篇文章
蕭簫 發自 凹非寺
量子位 報道 | 公眾號 QbitAI
老覺得AI和你說話前言不搭后語？
為了避免AI出現這樣的情況，通常我們在NLP中會用到關系抽取技術，用于從非結構化的文本中抽取出結構化的知識，即所謂的關系三元組。
例如這句話：
英國的哈里王子與他美國的同伴梅根訂婚了。
△句子級別的關系抽取示例
可以從中抽取2個關系三元組：
1、哈里、皇室成員、英國
2、哈里，訂婚于，梅根
目前，句子級別的關系抽取已經比較成熟，但文檔級別或是篇章級別的關系抽取卻要更難。
不少AI，往往沒辦法從整篇文章中熟練地提取上下文信息。
△文檔級別的關系抽取示例
為此，字節跳動AI-Lab提出了一個文檔級的關系抽取框架LogiRE，專門來解決這種“長難篇章”的信息理解挑戰。
一起來看看。
此前方法的局限性
此前，大部分關系抽取的方法，通常可以被分為兩類：“基于序列”或“基于圖”。
其中，基于序列的工作一般借助預訓練語言模型，得到每個詞的表示，接著使用各種池化的方法得到實體對的表示，再基于這樣的表示做關系分類。
基于圖的工作，則依賴于一個顯示的圖結構，通過構建一個圖來連接文檔中的實體提及，實體以及句子等，之后再利用圖神經網絡，在這些圖上進行消息傳遞，抽取特征并進行分類。
然而，這兩類方法都存在一些局限性。
一方面，序列模型在處理長距離依賴時會遇到困難，基于圖的模型雖然一定程度上緩解了這一問題，但圖的構建卻需要人工確定的規則先驗，并且只包含一些粗粒度的信息。
另一方面，他們都只能隱式地通過共享的特征抽取來實現對實體關系之間交互的建模。
在這種情況下，字節AI Lab的研究人員想到了一個新方法：邏輯規則。
用“邏輯規則”來做關系抽取
這個新提出的框架名叫LogiRE，結合邏輯規則與深度神經網絡進行文檔級關系抽取，核心是作為隱變量的邏輯規則。
其中，邏輯規則連接了框架中的兩大構成單元：規則生成器?(Rule Generator)?和關系抽取器?(Relation Extractor)。整個框架的優化，采用的是迭代式的EM算法。
具體來說，邏輯規則被形式化地定義成這樣：
對應到關系抽取中，關系對應規則中的“謂詞”，實體對應“變量”。
對于基于生成規則的關系抽取，當定義規則對應的分數為確定頭實體和尾實體后，在不同的中間實體選擇下最高路徑得分。
其中，每一條實例化路徑的分數，由路徑上每一個三元組分數的乘積確定。
三元組的分數可以由任意的關系抽取backbone模型給出。規則組中所有分數，在經過基于sigmoid的邏輯融合之后，即得到對目標三元組的最終概率得分。
實驗結果表明，LogiRE無論是在關系抽取的性能?(ign F1，F1)?，還是邏輯自洽性?(logic)?上都超過基線。
隨著依賴更長，LogiRE對比基線模型的提升也更明顯，表明它對捕獲長距離依賴確實更具備優勢。
此外，邏輯規則的存在，也使得長距離依賴從詞級別簡化到實體概念級別，又降低了長距離語義建模的難度。
感興趣的小伙伴，可以戳下方論文地址獲取~
論文地址：
https://aclanthology.org/2021.emnlp-main.95.pdf
項目地址：
https://github.com/rudongyu/LogiRE
- 首個GPT-4驅動的人形機器人！無需編程+零樣本學習，還可根據口頭反饋調整行為2023-12-13
- IDC霍錦潔：AI PC將顛覆性變革PC產業2023-12-08
- AI視覺字謎爆火！夢露轉180°秒變愛因斯坦，英偉達高級AI科學家：近期最酷的擴散模型2023-12-03
- 蘋果大模型最大動作：開源M芯專用ML框架，能跑70億大模型2023-12-07
相關閱讀
