微信視覺團隊斬獲CVPR 2023 Video Similarity Challenge雙賽道冠軍
相應技術方案已在視頻號落地使用
近日，CVPR 2023 Video Similarity Challenge比賽圓滿結束，微信視覺團隊憑借出色的表現，成功獲得該比賽雙賽道冠軍。
在比賽中，微信視覺團隊以深厚的技術實力成功奪得了Descriptor Track 和 Matching Track兩個賽道的冠軍，并在Matching Track賽道提出了創新性的解決方案，比賽指標遠超其他參賽者。
目前，相關技術論文《A Dual-level Detection Method for Video Copy Detection》、《 A Similarity Alignment Model for Video Copy Segment Matching》已發布于論文預印本網站arXiv。
Descriptor Track最終榜單和Matching Track最終榜單
微信視覺團隊挑戰CVPR 2023 Video Similarity Challenge，成功斬獲雙賽道冠軍
伴隨著短視頻平臺的興起，短視頻搬運、抄襲等問題也日益嚴峻，視頻原創保護意識和視頻拷貝檢測技術逐漸引起廣泛關注與重視。
為推動視頻拷貝檢測領域的不斷進步， Meta AI在 CVPR 2023 Workshop上發起Video Similarity Challenge。
作為計算機視覺領域的全球頂會，CVPR舉辦了許多比賽，每次比賽都吸引了眾多國內外企業、科研機構的頂尖團隊參與角逐，此次也不例外。
其中，微信視覺團隊也報名參加了此次比賽。
據了解，視頻拷貝檢測技術是用于檢測一個視頻是否拷貝了另外一個視頻，包括完整拷貝、片段剪輯以及各種濾鏡特效花邊字幕等編輯對抗。
其中，Descriptor Track 和 Matching Track是視頻拷貝檢測工作中的兩個重要的環節。
基于此，本次比賽設立了Descriptor Track 和 Matching Track兩個賽道。
在比賽中，微信視覺團隊表現出色，以0.8717和0.9153的成績成功攬下雙賽道冠軍。
其中，在Matching Track賽道上，微信視覺團隊提出了新的解決方案，得分也遠超其他參賽者。
微信視覺團隊推出新方案，已部署應用于視頻號
據介紹，此次比賽難點在于不僅需要判斷兩個視頻質檢是否存在拷貝關系，還需要定位到兩個視頻拷貝片段具體位置。
這里需要高性能的視頻特征，用于在巨大視頻庫中召回拷貝視頻。
此處主要的挑戰是源視頻和拷貝視頻通常存在大量編輯，而且拷貝時長，位置也是完全隨機的。對于拷貝片段的實際匹配關系，則一直是業界的難點，特別是對于時長較短的拷貝片段非常難做到準備的定位。
因此， Video Similarity Challenge比賽將這個問題分為Descriptor Track 和 Matching Track兩個賽道。
比賽中，微信視覺團隊克服重重難點，成功登頂兩個賽道榜單的榜首，并且在Matching Track賽道上，還研發出了一套更為精準、高效的解決方案。
在Descriptor Track 賽道中，微信視覺團隊經過數據分析后明確了任務難點，并基于此提出了一個兩階段檢測方法來識別拷貝視頻，該方法分為Frame-Level Embedding、Video Editing Detection和Frame Scenes Detection三個模塊。
在對3個模塊進行深度訓練學習后，最終在uAP指標上取得了0.8717的成績，相比第2名的0.8514有明顯提升。
在Matching Track 賽道上，微信視覺團隊提出的Matching Track 解決方案由Feature Extraction、Similar Segment Matching和Similar Segment Parsing三部分組成。
其中，Feature Extraction 基于Descriptor Track 方案，負責視頻幀級別embedding提取；Similar Segment Matching 則基于query視頻和reference視頻的幀級別embedding相似度矩陣為輸入。
首先，基于MobileNet-V3等分類器，從大量召回中篩選正樣本，剔除大量簡單負樣本召回，減少Matching階段計算開銷。
其次，使用HRNet-w18作為骨干網絡，預測每幀的匹配關系。
最后Similar Segment Parsing階段，經過連通分量算法和RANSAC回歸算法的后處理，得到源視頻和copy視頻的copy片段匹配關系。
該方案在比賽評測數據上，uAP指標達到了驚人的0.9153，遠超其他參賽者。
目前，微信視覺團隊在CVPR 2023 Video Similarity Challenge比賽中的相關技術方案已在視頻號落地使用。
作為內容記錄與創作平臺，微信視頻號始終尊重并維護每位權利人的知識成果，通過“首發內容保護機制”、“原創聲明機制”、線上+線下協同合作、電子侵權投訴系統、關聯帳號打擊等措施，優化用戶體驗，提升處理能效。
未來，微信視覺團隊也將不斷加強在Video Similarity（視頻相似性）方面的技術積累，將先進技術落地應用至產品場景，持之以恒地打擊短視頻拷貝、直播錄播盜播等黑灰產，竭力打造繁榮健康的原創內容生態。
- 北大開源最強aiXcoder-7B代碼大模型！聚焦真實開發場景，專為企業私有部署設計2024-04-09
- 剛剛，圖靈獎揭曉！史上首位數學和計算機最高獎“雙料王”出現了2024-04-10
- 8.3K Stars!《多模態大語言模型綜述》重大升級2024-04-10
- 谷歌最強大模型免費開放了！長音頻理解功能獨一份，100萬上下文敞開用2024-04-10
相關閱讀
開源操作系統社區OpenCloudOS正式成立，共建國產操作系統技術生態
隨著開源的理念逐漸深入人心，中國企業也正從開源的使用者向開源的貢獻者、乃至推動者轉變。在此背景下，騰訊與合作伙伴共同倡議發起操作系統開源社區OpenCloudOS。
