AI說(shuō)話“前言不搭后語(yǔ)”？用邏輯規(guī)則教它們讀懂文章丨字節(jié)AI Lab
教AI讀懂整篇文章
蕭簫 發(fā)自 凹非寺
量子位 報(bào)道 | 公眾號(hào) QbitAI
老覺(jué)得AI和你說(shuō)話前言不搭后語(yǔ)？
為了避免AI出現(xiàn)這樣的情況，通常我們?cè)贜LP中會(huì)用到關(guān)系抽取技術(shù)，用于從非結(jié)構(gòu)化的文本中抽取出結(jié)構(gòu)化的知識(shí)，即所謂的關(guān)系三元組。
例如這句話：
英國(guó)的哈里王子與他美國(guó)的同伴梅根訂婚了。
△句子級(jí)別的關(guān)系抽取示例
可以從中抽取2個(gè)關(guān)系三元組：
1、哈里、皇室成員、英國(guó)
2、哈里，訂婚于，梅根
目前，句子級(jí)別的關(guān)系抽取已經(jīng)比較成熟，但文檔級(jí)別或是篇章級(jí)別的關(guān)系抽取卻要更難。
不少AI，往往沒(méi)辦法從整篇文章中熟練地提取上下文信息。
△文檔級(jí)別的關(guān)系抽取示例
為此，字節(jié)跳動(dòng)AI-Lab提出了一個(gè)文檔級(jí)的關(guān)系抽取框架LogiRE，專門來(lái)解決這種“長(zhǎng)難篇章”的信息理解挑戰(zhàn)。
一起來(lái)看看。
此前方法的局限性
此前，大部分關(guān)系抽取的方法，通常可以被分為兩類：“基于序列”或“基于圖”。
其中，基于序列的工作一般借助預(yù)訓(xùn)練語(yǔ)言模型，得到每個(gè)詞的表示，接著使用各種池化的方法得到實(shí)體對(duì)的表示，再基于這樣的表示做關(guān)系分類。
基于圖的工作，則依賴于一個(gè)顯示的圖結(jié)構(gòu)，通過(guò)構(gòu)建一個(gè)圖來(lái)連接文檔中的實(shí)體提及，實(shí)體以及句子等，之后再利用圖神經(jīng)網(wǎng)絡(luò)，在這些圖上進(jìn)行消息傳遞，抽取特征并進(jìn)行分類。
然而，這兩類方法都存在一些局限性。
一方面，序列模型在處理長(zhǎng)距離依賴時(shí)會(huì)遇到困難，基于圖的模型雖然一定程度上緩解了這一問(wèn)題，但圖的構(gòu)建卻需要人工確定的規(guī)則先驗(yàn)，并且只包含一些粗粒度的信息。
另一方面，他們都只能隱式地通過(guò)共享的特征抽取來(lái)實(shí)現(xiàn)對(duì)實(shí)體關(guān)系之間交互的建模。
在這種情況下，字節(jié)AI Lab的研究人員想到了一個(gè)新方法：邏輯規(guī)則。
用“邏輯規(guī)則”來(lái)做關(guān)系抽取
這個(gè)新提出的框架名叫LogiRE，結(jié)合邏輯規(guī)則與深度神經(jīng)網(wǎng)絡(luò)進(jìn)行文檔級(jí)關(guān)系抽取，核心是作為隱變量的邏輯規(guī)則。
其中，邏輯規(guī)則連接了框架中的兩大構(gòu)成單元：規(guī)則生成器?(Rule Generator)?和關(guān)系抽取器?(Relation Extractor)。整個(gè)框架的優(yōu)化，采用的是迭代式的EM算法。
具體來(lái)說(shuō)，邏輯規(guī)則被形式化地定義成這樣：
對(duì)應(yīng)到關(guān)系抽取中，關(guān)系對(duì)應(yīng)規(guī)則中的“謂詞”，實(shí)體對(duì)應(yīng)“變量”。
對(duì)于基于生成規(guī)則的關(guān)系抽取，當(dāng)定義規(guī)則對(duì)應(yīng)的分?jǐn)?shù)為確定頭實(shí)體和尾實(shí)體后，在不同的中間實(shí)體選擇下最高路徑得分。
其中，每一條實(shí)例化路徑的分?jǐn)?shù)，由路徑上每一個(gè)三元組分?jǐn)?shù)的乘積確定。
三元組的分?jǐn)?shù)可以由任意的關(guān)系抽取backbone模型給出。規(guī)則組中所有分?jǐn)?shù)，在經(jīng)過(guò)基于sigmoid的邏輯融合之后，即得到對(duì)目標(biāo)三元組的最終概率得分。
實(shí)驗(yàn)結(jié)果表明，LogiRE無(wú)論是在關(guān)系抽取的性能?(ign F1，F(xiàn)1)?，還是邏輯自洽性?(logic)?上都超過(guò)基線。
隨著依賴更長(zhǎng)，LogiRE對(duì)比基線模型的提升也更明顯，表明它對(duì)捕獲長(zhǎng)距離依賴確實(shí)更具備優(yōu)勢(shì)。
此外，邏輯規(guī)則的存在，也使得長(zhǎng)距離依賴從詞級(jí)別簡(jiǎn)化到實(shí)體概念級(jí)別，又降低了長(zhǎng)距離語(yǔ)義建模的難度。
感興趣的小伙伴，可以戳下方論文地址獲取~
論文地址：
https://aclanthology.org/2021.emnlp-main.95.pdf
項(xiàng)目地址：
https://github.com/rudongyu/LogiRE
相關(guān)閱讀
砸下數(shù)百萬(wàn)美元分析CEO語(yǔ)氣，投資者用AI發(fā)現(xiàn)比財(cái)報(bào)更多的細(xì)節(jié)
越來(lái)越多的CEO不敢即興發(fā)言了
ACL 2019最佳論文出爐：華人團(tuán)隊(duì)包攬最佳長(zhǎng)短論文一作，中科院、華為等榜上有名
剛剛，自然語(yǔ)言處理領(lǐng)域的頂會(huì)ACL 2019公布最佳論文，本次共頒布了4個(gè)獎(jiǎng)項(xiàng)，共有8個(gè)獲獎(jiǎng)名額。
