北航成AAAI 2021最大贏家，兩篇一作斬獲最佳論文及提名

白交 2021-02-05 13:05:01 來(lái)源：量子位

楊凈?發(fā)自 凹非寺
量子位 報(bào)道 | 公眾號(hào) QbitAI

當(dāng)?shù)貢r(shí)間2月4日，AAAI 2021最佳論文獎(jiǎng)出爐！

由AAAI 2021程序委員會(huì)主席Mausam在開(kāi)幕式上宣布，共有3篇論文獲得了最佳論文獎(jiǎng)。

以及3篇獲得最佳論文提名（Runners Up獎(jiǎng)）。

值得注意的是，在這6篇獲獎(jiǎng)?wù)撐闹校袃善潜焙綄W(xué)子擔(dān)任第一作者，單從標(biāo)題就可看出，研究均與Transformer相關(guān)。

△Best Papers

△Best Papers Runners Up

北航成最大贏家

首先，獲得最佳論文獎(jiǎng)的是“Informer: Beyond Efficient Transformer for Long SequenceTime-Series Forecasting”。

第一作者來(lái)自北航的Haoyi Zhou，由北航、UC伯克利、羅格斯大學(xué)以及北京國(guó)網(wǎng)富達(dá)公司共同協(xié)作完成。

本文設(shè)計(jì)了一種專為L(zhǎng)STF（長(zhǎng)序列時(shí)間序列預(yù)測(cè)）設(shè)計(jì)的基于Transformer模型Informer，來(lái)解決Transformer在應(yīng)用于LSTF時(shí)存在一些嚴(yán)重的問(wèn)題。

比如二次時(shí)間復(fù)雜度、較高的內(nèi)存使用量和編解碼器結(jié)構(gòu)的固有限制等。

Informer具有三個(gè)顯著特點(diǎn)：采用ProbSparse自關(guān)注機(jī)制、自注意力提煉、生成式解碼器。

△Informer模型

除此之外，還有兩篇論文獲得了最佳論文獎(jiǎng)。

其中一篇是來(lái)自華人團(tuán)隊(duì)，名為“Mitigating Political Bias in Language Models Through Reinforced Calibration”。

第一作者是來(lái)自達(dá)特茅斯學(xué)院計(jì)算機(jī)科學(xué)系的Ruibo Liu，主要研究是通過(guò)強(qiáng)化校準(zhǔn)來(lái)減輕語(yǔ)言模型中政治偏見(jiàn)問(wèn)題。

以及來(lái)自新加坡科技設(shè)計(jì)大學(xué)的論文，叫做Exploration-Exploitation in Multi-Agent Learning: Catastrophe Theory Meets Game Theory。

研究了一個(gè)Q-learning的平滑模擬，以災(zāi)難理論與博弈理論相結(jié)合，加強(qiáng)Exploration-Exploitation這一工具在多代理學(xué)習(xí)（MAL）中的理解。

而獲得最佳論文Runners Up獎(jiǎng)的三篇論文中，“Self-Attention Attribution：Interpreting Information interactions inside transformer”的一作Yaru Hao同樣來(lái)自北航 。

二作是來(lái)自微軟亞洲研究院的董力。

本文提出了自注意力歸因算法，來(lái)解釋Transformer內(nèi)部的信息交互，并以BERT為例進(jìn)行了廣泛的研究。

首先，提取各層中最突出的依賴關(guān)系，構(gòu)建歸因圖，揭示Transformer內(nèi)部的層次交互關(guān)系。

此外，還應(yīng)用自注意力歸因法來(lái)識(shí)別重要的注意力頭，而其他的注意力頭被修剪，而性能僅有邊際下降。

最后，歸因結(jié)果作為對(duì)抗性模式來(lái)實(shí)現(xiàn)對(duì)BERT的非目標(biāo)攻擊。

此外，還有來(lái)自加州大學(xué)伯克利分校、德克薩斯大學(xué)奧斯汀分校等團(tuán)隊(duì)的“Learning From Extreme Bandit Feedback”論文，研究了在極度大的動(dòng)作空間環(huán)境下，從Bandit Feedback中進(jìn)行批量學(xué)習(xí)的問(wèn)題。

以及，來(lái)自哈佛大學(xué)、卡內(nèi)基梅隆大學(xué)的團(tuán)隊(duì)的論文“Dual-Mandate Patrols: Multi-Armed Bandits for Green Security”。

第一作者是來(lái)自哈佛大學(xué)的Lily Xu，探究了如何利用強(qiáng)化學(xué)習(xí)的Multi-armed Bandit算法，來(lái)避免偷獵者傷害野生動(dòng)物。

AAAI 2021開(kāi)幕

本屆AAAI大會(huì)以線上會(huì)議的形式召開(kāi)，大會(huì)主席由微眾銀行首席人工智能官、香港科技大學(xué)教授、遷移學(xué)習(xí)帶頭人楊強(qiáng)擔(dān)任。

楊強(qiáng)教授是 AAAI 大會(huì)歷史上第二位大會(huì)主席，也是擔(dān)任此職位的首位華人。

本次會(huì)議共接收了1696篇，接收率近21.4%，其中有70.6%是學(xué)生論文。

中國(guó)大陸論文總數(shù)仍然占據(jù)榜首，共提交了3319篇論文，其中627篇論文被接收，接收率為19.0% 。

在各個(gè)獎(jiǎng)項(xiàng)上，華人表現(xiàn)出色，斬獲四項(xiàng)大獎(jiǎng)。

包括北航的兩篇在內(nèi)，共有4個(gè)華人團(tuán)隊(duì)的論文獲得了最佳論文、最佳論文亞軍的獎(jiǎng)項(xiàng)。

還有來(lái)自深圳市計(jì)算機(jī)視覺(jué)與模式識(shí)別重點(diǎn)實(shí)驗(yàn)室、南方科技大學(xué)等團(tuán)隊(duì)的論文獲得了杰出論文獎(jiǎng)。

此外，還有來(lái)自微軟亞洲研究院的兩位學(xué)者Xiting Wang和吳方照獲得了杰出SPC獎(jiǎng)。

大會(huì)將一直持續(xù)到2月9日結(jié)束，想了解更多細(xì)節(jié)可戳下方鏈接哦~

大會(huì)鏈接：

AAAI-21: Thirty-Fifth AAAI Conference on Artificial Intelligence

最佳論文/亞軍鏈接：
https://arxiv.org/pdf/2012.03083.pdf
https://arxiv.org/pdf/2009.12947.pdf
https://arxiv.org/pdf/2004.11207.pdf
https://arxiv.org/pdf/2012.07436.pdf
https://arxiv.org/abs/2009.06560
https://www.aaai.org/AAAI21Papers/AISI-8076.LiuR.pdf