單幀標注視頻就能學到片段特征，達到全監(jiān)督性能！華科拿下時序行為檢測新SOTA｜AAAI24

張化鑫 投稿

量子位 | 公眾號 QbitAI

如何從一段視頻中找出感興趣的片段？時序行為檢測（Temporal Action Localization，TAL）是一種常用方法。

利用視頻內(nèi)容進行建模之后，就可以在整段視頻當中自由搜索了。

而華中科技大學與密歇根大學的聯(lián)合團隊最近又為這項技術(shù)帶來了新的進展——

過去TAL中的建模是片段甚至實例級的，而現(xiàn)在只要視頻里的一幀就能實現(xiàn)，效果媲美全監(jiān)督。

來自華中科技大學的團隊提出了一種名為HR-Pro的新框架，用于點標注監(jiān)督的時序行為檢測。

通過多層級的reliability propagation，HR-Pro可以網(wǎng)絡(luò)學習到更具辨別力的片段級特征和更可靠的實例級邊界。

HR-Pro包括兩個可靠性感知的階段，能夠有效地從片段級別和實例級別的點標注中傳播高置信度的線索，從而使網(wǎng)絡(luò)能夠?qū)W習到更具區(qū)分性的片段表示和更可靠的提議。

在多個基準數(shù)據(jù)集上進行的大量實驗證明，HR-Pro明顯優(yōu)于現(xiàn)有方法，并取得了最先進的結(jié)果，證明了其方法的有效性和點標注的潛力。

表現(xiàn)比肩全監(jiān)督方式

下圖展示了HR-Pro與LACP在THUMOS14測試視頻上進行時序行為檢測表現(xiàn)比較。

HR-Pro展現(xiàn)出更了準確的動作實例檢測，具體來說：

• 對于“高爾夫揮桿”行為，HR-Pro有效地區(qū)分了行為和背景片段，減輕了LACP難以處理的False Positive預(yù)測；
• 對于鐵餅投擲行為，HR-Pro檢測到比LACP更完整的片段，后者在非區(qū)分性動作片段上具有較低的激活值。

數(shù)據(jù)集上的測試結(jié)果，也印證了這一直觀感受。

將THUMOS14數(shù)據(jù)集上的檢測結(jié)果可視化后可以觀察到，在實例級別完整性學習之后，高質(zhì)量預(yù)測和低質(zhì)量預(yù)測之間的差異顯著增大。

（左側(cè)是實例級別完整性學習之前的結(jié)果，右側(cè)是學習之后的結(jié)果。橫軸和縱軸分別表示時間和可靠性分數(shù)。）

整體來看，在常用4個數(shù)據(jù)集中，HR-Pro的性能均大幅超越最先進的點監(jiān)督方法，在THUMOS14數(shù)據(jù)集上的平均mAP達到60.3%，相較之前的SoTA方法(53.7%)的提升為6.5%，并且能與一些全監(jiān)督方法達到相當?shù)男Ч?/p>

在THUMOS14測試集上與下表中的先前最先進方法相比，對于IoU閾值在0.1到0.7之間，HR-Pro的平均mAP為60.3%，比先前最先進方法CRRC-Net高6.5%。

并且HR-Pro能夠與具有競爭力的全監(jiān)督方法達到相當?shù)谋憩F(xiàn)，例如AFSD（對于IoU閾值在0.3到0.7之間，平均mAP為51.1% vs. 52.0%）。

在各種基準數(shù)據(jù)集上的通用性和優(yōu)越性方面，HR-Pro也明顯優(yōu)于現(xiàn)有方法，在GTEA、BEOID和ActivityNet 1.3上分別取得了3.8%、7.6%和2.0%的提高。

那么，HR-Pro具體是如何實現(xiàn)的呢？

學習分兩階段進行

研究團隊提出了多層級可靠傳播方法，在片段級引入可靠片段記憶模塊并利用交叉注意力的方法向其他片段傳播，在實例級提出基于點監(jiān)督的提議生成來關(guān)聯(lián)片段和實例，用于產(chǎn)生不同可靠度的proposals，進一步在實例級優(yōu)化proposals的置信度和邊界。

HR-Pro的模型結(jié)構(gòu)如下圖所示：時序行為檢測被劃分為兩階段的學習過程，即片段級別的判別性學習和實例級別的完整性學習。

階段一：片段級判別學習

研究團隊引入可靠性感知的片段級判別學習，提出為每個類別存儲可靠原型，并通過視頻內(nèi)和視頻間的方式將這些原型中的高置信度線索傳播到其他片段。

片段級可靠原型構(gòu)建

為了構(gòu)建片段級別的可靠原型，團隊創(chuàng)建了一個在線更新的原型memory，用于存儲各類行為的可靠原型mc（其中 c = 1, 2, …, C），以便能夠利用整個數(shù)據(jù)集的特征信息。

研究團隊選擇了具有點標注的片段特征初始化原型：

接下來，研究人員使用偽標記的行為片段特征來更新每個類別的原型，具體表述如下：

片段級可靠性感知優(yōu)化

為了將片段級可靠原型的特征信息傳遞到其他片段，研究團隊設(shè)計了一個Reliabilty-aware Attention Block（RAB），通過交叉注意力的方式實現(xiàn)了將原型中的可靠信息注入到其他的片段中，從而增強片段特征的魯棒性，并增加對較不具有判別力片段的關(guān)注。

為了學習到更加具有判別里的片段特征，團隊還構(gòu)建了可靠性感知的片段對比損失：

階段二：實例級完整性學習

為了充分探索實例級別行為的時序結(jié)構(gòu)并優(yōu)化提議的得分排名，團隊引入了實例級別的動作完整性學習。

這種方法旨在通過可靠的實例原型的指導(dǎo)，通過實例級別的特征學習來精化提議的置信度得分和邊界。

實例級可靠原型構(gòu)建

為了在訓練過程中利用點標注的實例級別先驗信息，團隊提出了一種基于點標注的提議生成方法用于生成不同Reliability的proposals。

根據(jù)其可靠性分數(shù)和相對點標注的時序位置，這些提議可以分為兩種類型：

• 可靠提議（Reliable Proposals, RP）：對于每個類別中的每個點，提議包含了這個點，并具有最高的可靠性；
• 正樣本提議（Positive Proposals, PP）：所有其余的候選提議。

為確保正樣本和負樣本數(shù)量平衡，研究團隊將那些具有類別無關(guān)的注意力分數(shù)低于預(yù)定義值的片段分組為負樣本提議（Negative Proposals, NP）。

實例級可靠性感知優(yōu)化

為了預(yù)測每個提議的完整性分數(shù)，研究團隊將敏感邊界的提議特征輸入至得分預(yù)測頭φs:

然后用正/負樣本提議與可靠提議的IoU作為指導(dǎo)，監(jiān)督提議的完整性分數(shù)預(yù)測：

為了獲得更準確邊界的行為proposal，研究者將每個PP中的proposal的起始區(qū)域特征和結(jié)束區(qū)域特征輸入到回歸預(yù)測頭φr中，以預(yù)測proposal開始和結(jié)束時間的偏移量。

進一步計算得到精細化的proposals，并希望精細化后的proposals與可靠proposal重合。

總之，HR-Pro只需很少的標注就能很好的效果大幅度降低了獲取標簽的成本，同時又擁有較強的泛化能力，為實際部署應(yīng)用提供了有利條件。

據(jù)此，作者預(yù)計，HR-Pro將在行為分析、人機交互、駕駛分析等領(lǐng)域擁有廣闊的應(yīng)用前景。

論文地址：https://arxiv.org/abs/2308.12608