ACL 2019最佳論文出爐：華人團隊包攬最佳長短論文一作，中科院、華為等榜上有名

郭一璞 安妮 邊策 發自 凹非寺

量子位 出品 | 公眾號 QbitAI

ACL 2019最佳論文新鮮出爐了。

剛剛，自然語言處理領域的頂會ACL 2019公布最佳論文，本次共頒布了4個獎項，共有8個獲獎名額，分別是：

• 最佳長論文
• 最佳短論文
• 最佳DEMO論文
• 5篇杰出論文獎

今年，華人一作團隊拿下了最佳長論文、最佳短論文和2篇杰出論文，中科院、中國科學院大學、騰訊、華為諾亞方舟實驗室、南京理工大學、香港理工大學等榜上有名。

今年的ACL 2019空前熱鬧。據ACL官方發布的數據顯示，今年共收到2906篇投稿，相比于去年的1544篇投稿量增加了75%以上。

來看看今年的最佳論文講了什么，各個國家、機構的戰況又如何：

最佳長論文

最佳長論文獲獎者是中國的研究人員，這篇論文名為：

Bridging the Gap between Training and Inference for Neural Machine Translation

△ 圖片來自推特用戶Aarne Talman

文章來自中科院計算所智能信息處理重點實驗室、中國科學院大學Wen Zhang和Yang Feng、騰訊微信AI的Fandong Meng、伍斯特理工學院的Di You和華為諾亞方舟實驗室的Qun Liu。

這篇文章研究了應該如何彌合神經機器翻譯（NMT）訓練和推理之間的差距。

神經機器翻譯(NMT)是根據上下文內容預測下一個詞的一種方式，推理過程遵循從頭開始、按順序生成整個序列。這就導致由于上下文都未標注產生的累積誤差。

此外還有一個挑戰是，單詞級訓練要求生成的序列與ground truth序列嚴格匹配，這就造成對不同但合理的翻譯進行過度校正。

在這篇文章中，研究人員提出了一種解決上述問題的方法，稱為過矯正恢復（Overcorrection Recovery，OR)。

簡單來說，在訓練過程中，不僅從ground truth序列中抽取上下文單詞，而且從模型預測的序列中抽取上下文單詞，并選擇句子級最優的預測序列。

也就是說，在翻譯過程中，模型不需要再逐詞對比標準來確定損失函數了。

具體來看：

這種方法先從預測單詞中選擇oracle單詞，然后將oracle單詞和ground truth單詞作為上下文的樣例。

同時，oracle單詞不僅通過逐字貪婪搜索來選擇，還會通過句子級評估（例如BLEU）。在訓練開始時，模型以比較大的概率選擇上下文真實詞，隨著模型逐漸收斂，oracle詞語被更頻繁地選擇為上下文。

研究人員在中文->英文和WMT’14英文->德語翻譯任務上進行了實驗，結果表明，這種新方法可以在多個數據集上實現提升。

他們在RNNsearch模型和Transformer模型上也驗證了新方法。結果表明，新方法可以顯著提高兩種模型的性能。

論文地址：

https://arxiv.org/abs/1906.02448

最佳短論文

△ 來自推特用戶Saif M.Mohammad

最佳短論文的一作也是華人，俄亥俄州立大學博士生蔣南江，二作則是該校助理教授Marie-Catherine de Marneffe。

△ 蔣南江，來自她的GitHub自我介紹

這篇論文的標題叫做《你知道佛羅倫薩擠滿了游客嗎？評估最先進的說話者承諾模型》。在文章開頭，研究者們借佛羅倫薩的游客解釋了兩個問題：

“你知道佛羅倫薩擠滿了游客嗎？”

這個時候，你可以回答：“知道啊，挺擠的?！?/p>

“你覺得佛羅倫薩擠滿了游客嗎？”

換了兩個字，問題就變了，成了一個主觀的問題，可以回答“嗯，我這么覺得?！被蛘摺安话∥也贿@么覺得。”

這里，就牽扯到一個推斷說話者承諾（Inferring speaker commitment）的問題，此前的研究里，也將它叫做事件事實（event factuality），搞明白這個問題，對信息提取和問題回答至關重要。

這里，研究者找到了CommitmentBank數據集，畫風大概是這樣的：

借助這個數據集，研究者們評估了兩個目前最高水平的模型，發現它們在否定句和非有效嵌入動詞上表現更好，而且語言信息模型優于基于LSTM的模型，能夠更成功地擴展到具有挑戰性的自然數據。

也就是說，需要語言知識來捕獲這些具有挑戰性的自然數據。

不過，問題來了，雖然模型在否定句上表現不錯，但它們無法推廣到自然語言中的各種語言結構，例如條件語句、模態和負增長。

因此，研究者得出了針對這類語言模型的改進方向：為了進行強有力的語言理解，模型需要包含更多的語言預知，并能夠推廣到更廣泛的語言結構。

這也是這篇文章的核心貢獻。

Do you know that Florence is packed with visitors?

Evaluating state-of-the-art models of speaker commitment

論文地址：

https://linguistics.osu.edu/people/jiang.1879

最佳Demo論文

△ 來自推特用戶Aarne Talman

今年的最佳Demo論文授予了Unbabel團隊，他們提出了一個基于Pytorch的開源框架OpenKiwi，用于評估神經機器翻譯質量。

Unbabel是一家2013年成立的創業公司，向客戶提供人工智能驅動的人工翻譯平臺，主要專注于客服交流的翻譯。其客戶包括Booking.com、Facebook等公司。

OpenKiwi支持單詞級和句子級質量評估系統的訓練和測試，在WMT 2015-18質量評估比賽中獲勝。在WMT 2018（英語-德語SMT和NMT）的兩個數據集上進行基準測試，OpenKiwi在單詞級任務中達到了性能，在句子級任務中接近于最先進的性能。

OpenKiwi的特征有：

訓練QE模型和使用預訓練模型評估MT的框架；

支持單詞和句子級質量評估；

在Pytorch中有5個QE系統的實現：QUETCH、NuQE、predictor-estimator、APE-QE以及一個線性系統的堆棧集合[ 2，3 ]。

易于使用的API，可將其作為包導入其他項目或從命令行運行；

提供腳本在WMT 2018數據上運行預訓練QE模型。

通過yaml配置文件輕松跟蹤和重現實驗。

OpenKiwi: An Open Source Framework for Quality Estimation

論文地址：

https://arxiv.org/abs/1902.08646

代碼地址：

https://github.com/Unbabel/OpenKiwi

5篇杰出論文

1、Emotion-Cause Pair Extraction: A New Task to Emotion Analysis in Texts

https://arxiv.org/abs/1906.01267

作者：Rui Xia, Zixiang Ding（南京理工大學）

2、A Simple Theoretical Model of Importance for Summarization

https://www.aclweb.org/anthology/P19-1101

作者：Maxime Peyrard（EPFL）

3、Transferable Multi-Domain State Generator for Task-Oriented Dialogue Systems

https://arxiv.org/abs/1905.08743

作者：Chien-Sheng Wu, Andrea Madotto, Ehsan Hosseini-Asl, Caiming Xiong, Richard Socher and Pascale Fung（香港科技大學、Salesforce等）

4、We need to talk about standard splits

https://wellformedness.com/papers/gorman-bedrick-2019.pdf

作者：Kyle Gorman and Steven Bedrick （紐約城市大學、俄勒岡健康與科學大學等）

5、Zero-Shot Entity Linking by Reading Entity Descriptions

https://arxiv.org/abs/1906.07348

作者：Lajanugen Logeswaran, Ming-Wei Chang, Kenton Lee, Kristina Toutanova, Jacob Devlin and Honglak Lee（密歇根大學、谷歌等）

中美投稿最熱情

據ACL官方發布的數據顯示，今年共有61個國家的機構提交了論文，其中，美國機構投稿量略高于中國大陸機構投稿數量，英國和德國投稿量分別位于第三和第四。

△ 圖片來自ACL官方統計數據

ACL官方數據統計：

Statistics on submissions

增長的除了投稿數量，還有接收數量。ACL 2019接收了765篇論文，接受率為25.8%，相較于前兩年的24%左右略有上升。

其中，長論文接收了447篇，短論文接收213篇，34篇demo論文被接收，還有71篇student workshop。

接收論文列表：

http://www.acl2019.org/EN/program/papers.xhtml

最近幾年ACL的投稿數量也是逐年上升，不過論文接受并沒有放寬要求，接收率和前幾年差不多。

△ 來自ACL 2019官網

在所有研究領域中，比較熱門、投稿量有信息提取和文本挖掘、機器學習和機器翻譯，投稿量都超過了200。

就接收率來說，最難的領域是文檔分析和句子級語義，接收率不到五分之一。

△ 來自ACL 2019官網

而在所有國家中，投稿最積極的是在中國和美國的學者，各自投了超過800篇論文，但是考慮到許多中國AI領域的學者都是在美國讀書，許多篇論文一作雖然是美國高校，但都是中國人，所以中國人對ACL的熱情是最高的。

不過接收率上，中國的論文比美國的論文低將近10個點。排除那些投稿較少的國家，將投稿量超過30的國家列出來比一比，會發現接收率最高的前五名分別是新加坡（34.8％）、以色列（34.1％）、英國（29.7％）、美國（28.8％）和德國（28.7％）。

△ 來自ACL 2019官網

在這700多篇論文中，獲得最佳論文提名的共有32篇，其中17篇長論文，11篇段論文，還有4篇demo論文。

被提名的論文中，24篇一作來自各大高校和研究所，7篇一作來自產業界，另外一篇來自邢波團隊的論文則是署了CMU和邢波創建的公司Petuum兩家單位，是產學研結合之作。

從各國來看，一作機構為美國的有14篇，中國6篇（其中一篇兩位共同一作分屬日本和中國的高校），英國3篇，瑞士和日本各兩篇，加拿大、印度、比利時、巴西、韓國、俄羅斯各1篇。

被提名論文數量大于等于兩篇的機構中，只有兩家公司，一家是Google，有4篇論文都被提名，其中2篇一作；另一家則是華為諾亞方舟實驗室，有2篇論文被提名，1篇是一作。

另外，在所有論文被提名的高校和研究機構中，洛桑聯邦理工學院、華盛頓大學、愛丁堡大學、豐田工業大學芝加哥分校各有兩篇一作論文被提名；CMU有3篇論文被提名，約翰霍普金斯大學、清華大學、艾倫人工智能研究所各有2篇論文被提名，每家也都有一作論文獲得提名。

40%提名論文一作為華人

從論文作者角度分析，在這32篇提名論文中，13篇論文的第一作者是華人，占比40%。

這13篇華人一作的論文分別是：

1、Detecting Concealed Information in Text and Speech

作者：Shengli Hu（康奈爾大學）

https://www.aclweb.org/anthology/P19-1039

2、AMR Parsing as Sequence-to-Graph Transduction

作者：Sheng Zhang（約翰霍普金斯大學）等

https://arxiv.org/abs/1905.08704

3、Transferable Multi-Domain State Generator for Task-Oriented

作者：Chien-Sheng Wu（港科大）, Andrea Madotto, Ehsan Hosseini-Asl等

https://arxiv.org/abs/1905.08743

4、A Modularized, Versatile, and Extensible Toolkit for Text Generation

作者：Zhiting Hu胡志挺（CMU）, Haoran Shi, Bowen Tan等

https://www.aclweb.org/anthology/W18-2503

5、Emotion-Cause Pair Extraction: A New Task to Emotion Analysis in Texts

作者：Rui Xia（南京理工），Zixiang Ding

https://arxiv.org/abs/1906.01267

6、Visually Grounded Neural Syntax Acquisition

作者：Haoyue Shi（豐田工業大學芝加哥分校）, Jiayuan Mao, Kevin Gimpel and Karen Livescu

https://arxiv.org/abs/1906.02890

7、An Imitation Learning Approach to Unsupervised Parsing

作者：Bowen Li（愛丁堡大學）, Lili Mou, Frank Keller

https://arxiv.org/abs/1906.02276

8、Decomposable Neural Paraphrase Generation

作者：Zichao Li（華為諾亞方舟實驗室）, Xin Jiang, Lifeng Shang and Qun Liu

https://arxiv.org/abs/1906.09741

9、Robust Neural Machine Translation with Doubly Adversarial Inputs

作者：Yong Cheng（Google AI）, Lu Jiang and Wolfgang Macherey

https://arxiv.org/abs/1906.02443

10、Bridging the Gap between Training and Inference for Neural Machine Translation

作者：Wen Zhang（中科院）, Yang Feng, Fandong Meng, Di You and Qun Liu

https://arxiv.org/abs/1906.02448

11、Do you know that Florence is packed with visitors? Evaluating state-of-the-art models of speaker commitment

作者：Nanjiang Jiang（the ohio state uiversity）等

12、ConvLab: Multi-Domain End-to-End Dialog System Platform

作者：Sungjin Lee（微軟研究院）, Qi Zhu, Ryuichi Takanobu等

https://arxiv.org/abs/1904.08637

13、Persuasion for Good: Towards a Personalized Persuasive Dialogue System for Social Good

作者：Xuewei Wang（浙大）, Weiyan Shi等

https://arxiv.org/abs/1906.06725

傳送門

ACL提名論文名單：

http://www.acl2019.org/EN/nominations-for-acl-2019-best-paper-awards.xhtml