武大等開源大幅面高清衛星影像數據集：涵蓋21萬+地理目標，復雜地理空間場景知識精準生成

克雷西 2024-06-21 20:30:47 來源：量子位

還有配套工具包一同開源

武漢大學李彥勝課題組?投稿
量子位 | 公眾號 QbitAI

AI衛星影像知識生成模型數據集稀缺的問題，又有新解了。

來自武漢大學、上海AI實驗室、西工大等9家機構共同推出了該領域的大型數據集，涵蓋了21萬個地理目標和40萬個目標-關系三元組。

而且像機場、港口、立交橋等這樣復雜地理空間場景，也都包括在了數據集當中。

具體來說，該數據集名為RSG（0704更新：已改名STAR，下同），主要面向衛星影像中的目標檢測（OBD）和場景圖生成（SGG）任務。

SGG有助于促進模型對地理空間場景從感知到認知的智能理解，但一直缺乏大幅面、超高分辨率的衛星影像數據。

而RSG的出現很好地填補了這一空白，一同提出的還有基于上下文感知的逐級認知（CAC）框架，以及配套的SGG工具包。

有關論文已經在arXiv公開發布，相應的數據集和工具包也已經開源。

大幅面超高分辨率衛星影像數據集

在衛星影像（SAI）領域當中，場景圖生成（SGG）技術可以促進對地理空間場景從感知到認知的智能理解。

在SAI中，地理目標的尺度和縱橫比變化大，地理目標之間（甚至是空間不相交的地理目標之間）存在豐富的關聯，這使得SGG有必要在大幅面超高分辨率衛星影像中整體進行。

然而現實情況是，大幅面超高分辨率衛星影像的SGG數據集比較缺乏，這無疑限制了SGG在SAI中的進展。

又由于大幅面超高分辨率衛星影像的復雜性，挖掘目標-關系三元組<目標1,關系,目標2>嚴重依賴于遠程上下文推理，傳統為小幅面自然圖像設計的SGG模型，不能直接適用于大幅面衛星影像。

注：下圖是大幅面超高分衛星影像中的SGG示意圖，其中第一行分別展示了大幅面超高分衛星影像的目標檢測和場景圖生成結果，第二行為對應的局部細節展示。在第二行末尾圖中，黑色箭頭表示僅依賴于孤立目標對可預測的關系，而紅色箭頭表示需要借助上下文推斷的復雜關系。

于是，為了解決數據集稀缺問題，研究團隊構建了首個面向大幅面超高分衛星影像的大規模場景圖生成數據集RSG。

該數據集影像幅面跨越512×768到27,860×31,096像素，包含超過21萬個地理目標和超過40萬個目標-關系三元組。

△RSG數據集中目標分布(a)和關系分布(b)統計

內容上，RSG收集了空間分辨率為0.15-1m范圍的衛星影像，涵蓋了全球范圍內與人類活動密切相關的11類復雜地理空間情景。

這些場景包括機場、港口、核電站、火電站、風力發電站、水壩和服務區、立交橋、水面橋、施工工地和體育運動場景等。

△RSG數據集中影像采樣的地理分布和示例

在遙感領域專家的指導下，研究團隊將所有地理目標劃分為48個細粒度類，并使用定向邊界框（OBB）進行精確標注，所有關系按照8個大類、58個細粒度類進行標注。

提出上下文感知框架

為了進一步實現大幅面超高分衛星影像中的SGG，研究團隊還提出了一個基于上下文感知的逐級認知（CAC）框架。

該框架從三個層面深入理解衛星影像——目標檢測（OBD）、目標對剪枝和關系預測：

在目標檢測上，團隊提出了“能夠靈活集成多尺度上下文的整體多類目標檢測網絡（HOD-Net）”，可以檢測大幅面超高分辨率衛星影像中的目標；
在目標對剪枝方面，作者則設計了“基于對抗生成的候選對生成（PPG）網絡”，來篩選包含高價值關系的目標對；
在關系預測任務中，團隊又提出了“帶有上下文感知消息傳遞（RPCM）的關系預測網絡”來預測候選對的關系類型。

在RSG測試集上的結果表明，在目標檢測任務中，無論是基于水平框（HBB）還是有向框（OBB）的檢測器，團隊提出的HOD-Net框架都取得了總成績和多個單項的SOTA。

注釋：
1.表格中，b_b為boarding_bridge, l_t表示lattice_tower, s_l為ship_lock, g_d為gravity_dam。
2.所有實驗都基于標準的“1x”(12epochs)訓練設置。
3.?表示主干網絡為Swin-L，其他的主干網絡都為ResNet50。
4.下劃線表示下方的方法使用該模型作為基礎檢測器。

同時測試結果還表明，HOD-Net方法也優于一些其他的訓練方式。