MSRA的Transformer跨界超越CNN，還解決了計算復雜度難題
速度更勝一籌
魚羊 發自 凹非寺
量子位 報道 | 公眾號 QbitAI
談到Transformer，你可能會想到一眾NLP模型。
但現在，Transformer其實還能替CNN把活給干了，并且干得還不賴。
比如微軟亞研院最新提出的Swin Transformer，就在COCO數據集的分割檢測任務上來了個跨領域超車，一舉達到SOTA。
那么，問題來了。
關注NLP的盆友想必就會問，用Transformer做CV任務，這個想法早已有之，也沒見對CNN的地位有什么動搖，Swin Transformer又有何不同？
這就涉及到Transformer的CV應用存在的兩個主要問題：
- 首先，基于Transformer的模型，token的長度是固定的。這對于NLP里的單詞當然沒有什么問題，但到了CV領域，視覺元素的比例各異，比如同一個場景中會存在大小不同的物體。
- 其次，圖像中的像素與文本中的文字相比，對分辨率的要求更高。而常規的自注意力的計算復雜度，是圖像大小的平方，這就導致其在像素級別進行密集預測時會出現問題。
而Swin Transformer，就旨在解決這些NLP和CV之間差異帶來的問題。
通過移動窗口計算的分層Transformer
Swin Transformer的訣竅，核心是兩板斧：
- 基于分層特征圖，利用特征金字塔網絡（FPN）或U-Net等技術進行密集預測
- 將自注意力計算限制在不重疊的局部窗口中，同時允許跨窗口連接，從而帶來更高的效率。
這第二板斧，也就是基于移動窗口的自注意力：
如上圖所示，在l層，采用常規的窗口分區方案，在每個窗口內計算自注意力。
在下一層l+1，窗口分區會被移動，產生新的窗口。新窗口中的自注意力計算跨越了l層中窗口的邊界，提供了新的關聯信息。
具體而言，Swin Transformer的整體架構是醬嬸的：
- 將RGB圖像分割成不重疊的圖像塊（token）；
- 應用MLP（多層感知機）將原始特征轉化為任意維度；
- 應用多個修改了自注意力計算的Swin Transformer塊，并保持token的數量；
- 下采樣層：通過合并2×2窗口中的相鄰圖像塊來減少token的數量，并將特征深度增加一倍。
實驗結果
研究人員讓Swin Transformer分別挑戰了ImageNet-1K、COCO和ADE20K上的圖像分類、對象檢測和語義分割任務。
其中，用于預訓練的是ImageNet-22K數據集，ImageNet-1K數據集則用于微調。
結果顯示，在COCO的分割和檢測任務，以及ADE20K的語義分割任務上，Swin Transformer都超越了CNN，達到了SOTA。
而在ImageNet-1K的分類任務上，雖然沒能超越EfficientNet，但效果相當且速度更快。
論文筆記就分享到這里，如果想要了解更多細節，請戳文末傳送門。
也期待你的讀后感分享喲~
傳送門
論文地址：
https://arxiv.org/abs/2103.14030
開源地址：
https://github.com/microsoft/Swin-Transformer
參考鏈接：
[1]https://www.reddit.com/r/MachineLearning/comments/mfo8xo/r_swin_transformer_new_sota_backbone_for_computer/
[2]https://xzcodes.github.io/posts/paper-review-swin-transformer
— 完 —
- 蘋果芯片主管也要跑路！庫克被曝出現健康問題2025-12-07
- 世界模型和具身大腦最新突破：90%生成數據，VLA性能暴漲300%｜開源2025-12-02
- 谷歌新架構突破Transformer超長上下文瓶頸！Hinton靈魂拷問：后悔Open嗎？2025-12-05
- 90后華人副教授突破30年數學猜想！結論與生成式AI直接相關2025-11-26
相關閱讀
