arXiv爆款：想了解Attention就看它！清華計圖胡事民團(tuán)隊出品
引用上百篇文獻(xiàn)，GitHub推特雙雙300+熱度
博雯 發(fā)自 凹非寺
量子位 報道 | 公眾號 QbitAI
清華計圖胡事民團(tuán)隊的這篇注意力機(jī)制的綜述火了！
在上周的arXiv上，這是最熱的一篇論文：
推特以及GitHub上也有不低的熱度：
而這篇論文引用近200篇內(nèi)容，對計算機(jī)視覺領(lǐng)域中的各種注意力機(jī)制進(jìn)行了全面回顧。
在大量調(diào)查之后，論文將注意力機(jī)制分為多個類別，GitHub還給出了各類別下提到內(nèi)容的PDF下載文件：
現(xiàn)在，就來一起看看這篇論文。
文章主要內(nèi)容
論文首先將基于注意力的模型在計算機(jī)視覺領(lǐng)域中的發(fā)展歷程大致歸為了四個階段：
- 將深度神經(jīng)網(wǎng)絡(luò)與注意力機(jī)制相結(jié)合，代表性方法為RAM
- 明確預(yù)測判別性輸入特征，代表性方法為STN
- 隱性且自適應(yīng)地預(yù)測潛在的關(guān)鍵特征，代表方法為SENet
- 自注意力機(jī)制
同時，注意力機(jī)制也被分為了通道注意、空間注意、時間注意、分支注意，以及兩個混合類別：
針對不同類別，研究團(tuán)隊給出了其代表性方法和發(fā)展背景：
通道注意力（Channel Attention）
在深度神經(jīng)網(wǎng)絡(luò)中，不同特征圖的不同通道常代表不同對象。
而通道注意力作為一個對象選擇過程，可以自適應(yīng)地重新校準(zhǔn)每個通道的權(quán)重，從而決定關(guān)注什么。
因此，按照類別和出版日期將代表性通道關(guān)注機(jī)制進(jìn)行分類，應(yīng)用范圍有分類（Cls）、語義分割（SSeg）、實例分割（ISeg）、風(fēng)格轉(zhuǎn)換（ST）、動作識別（Action）。
其中，(A)代表Channel-wise product，(I）強(qiáng)調(diào)重要通道，（II）捕捉全局信息。
空間注意力（Spatial Attention）
空間注意力可以被看作是一種自適應(yīng)的空間區(qū)域選擇機(jī)制。
其應(yīng)用范圍比通道注意力多出了精細(xì)分類（FGCls）和圖像字幕（ICap）。
時間注意力（Temporal Attention）
時間注意力可以被看作是一種動態(tài)的時間選擇機(jī)制，決定了何時進(jìn)行注意，因此通常用于視頻處理。
分支注意力（Branch Attention）
分支注意可以被看作是一種動態(tài)的分支選擇機(jī)制，通過多分支結(jié)構(gòu)決定去注意什么。
通道空間注意力（Channel & Spatial Attention）
通道和空間結(jié)合的注意力機(jī)制可以自適應(yīng)地選擇重要的對象和區(qū)域，由殘差注意力（Residual Attention）網(wǎng)絡(luò)開創(chuàng)了這一內(nèi)容。
在殘差注意力之后，為了有效利用全局信息，后來的工作又相繼引入全局平均池化（Global Average Pooling），引入自注意力機(jī)制等內(nèi)容。
時空注意力（Spatial & Temporal Attention）
時空注意力機(jī)制可以自適應(yīng)地選擇重要區(qū)域和關(guān)鍵幀。
最后，作者也提出了注意力機(jī)制在未來的一些研究方向：
- 探索注意力機(jī)制的必要和充分條件
- 是否可以有一個通用的注意塊，可以根據(jù)具體的任務(wù)在各類注意力機(jī)制之間進(jìn)行選擇
- 開發(fā)可定性和可解釋的注意力模型
- 注意力機(jī)制可以產(chǎn)生稀疏的激活，這促使我們?nèi)ヌ剿髂姆N架構(gòu)可以更好地模擬人類的視覺系統(tǒng)
- 進(jìn)一步探索基于注意力的預(yù)訓(xùn)練模型
- 為注意力模型研究新的優(yōu)化方法
- 找到簡單、高效、有效的基于注意力的模型，使其可以廣泛部署
關(guān)于作者
這篇論文來自清華大學(xué)計算機(jī)系胡事民團(tuán)隊。
胡事民為清華大學(xué)計算機(jī)系教授，教育部長江學(xué)者特聘教授，曾經(jīng)和現(xiàn)任IEEE、Elsevier、Springer等多個期刊的主編、副主編和編委。
同時，他也是清華“計圖”框架團(tuán)隊的負(fù)責(zé)人，這是首個由中國高校開源的深度學(xué)習(xí)框架。
文章一作為胡事民教授的博士生國孟昊，現(xiàn)就讀于清華大學(xué)計算機(jī)系，也是清華計圖團(tuán)隊的一員。
各類資源匯總鏈接：
https://github.com/MenghaoGuo/Awesome-Vision-Attentions
論文地址：
https://arXiv.org/abs/2111.07624
- 有道智能學(xué)習(xí)燈發(fā)布，通過“桌面學(xué)習(xí)分析引擎”實現(xiàn)全球最快指尖查詞2022-04-08
- 科學(xué)證明：狗勾真的懂你有多累，聽到聲音0.25秒后就知道你是誰，對人比對狗更親近2022-04-14
- 在M1芯片上跑原生Linux：編譯速度比macOS還快40%2022-04-05
- 小學(xué)生們在B站講算法，網(wǎng)友：我只會阿巴阿巴2022-03-28
相關(guān)閱讀
斯坦福博士提出超快省顯存Attention，GPT-2訓(xùn)練速度提升3.5倍，BERT速度創(chuàng)紀(jì)錄
Flash is all you need！
