北大&火山引擎奪冠！CLIC視頻壓縮挑戰(zhàn)賽結(jié)果公布，中國團(tuán)隊表現(xiàn)亮眼
提出基于深度學(xué)習(xí)的傳統(tǒng)-智能混合解決方案
允中 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI
隨著以深度學(xué)習(xí)為代表的新一代人工智能技術(shù)不斷取得突破，學(xué)術(shù)界與工業(yè)界逐漸意識到人工智能技術(shù)在圖像、視頻壓縮領(lǐng)域的巨大應(yīng)用潛力。
基于深度學(xué)習(xí)的圖像視頻壓縮技術(shù)被視為超越傳統(tǒng)壓縮技術(shù)能力極限、取得突破性進(jìn)展的明日之星。
近日，第六屆深度學(xué)習(xí)圖像壓縮挑戰(zhàn)賽（以下將簡稱“CLIC大賽”）比賽結(jié)果公布，由火山引擎多媒體實驗室與北大組成的聯(lián)合參賽平臺b-2在高碼率視頻壓縮和低碼率視頻壓縮兩個賽道均奪得主客觀指標(biāo)冠軍。基于深度學(xué)習(xí)技術(shù)，b-2平臺提出了一項“傳統(tǒng)-智能混合解決方案”。
傳統(tǒng)—智能混合解決方案
b-2 平臺在充分理解傳統(tǒng)壓縮技術(shù)與深度學(xué)習(xí)壓縮技術(shù)的各自原理的基礎(chǔ)上，發(fā)揮兩種技術(shù)路線的各自優(yōu)勢，取長補(bǔ)短，將二者有機(jī)融合成為一個整體，形成了獨具特色的傳統(tǒng)——智能混合解決方案。
傳統(tǒng)編碼模塊在業(yè)界已有傳統(tǒng)編碼框架基礎(chǔ)上，加入了非對稱四叉樹劃分等創(chuàng)新技術(shù)。智能編碼模塊則引入了基于深度學(xué)習(xí)的環(huán)路濾波等技術(shù)。
△非對稱四叉樹劃分結(jié)構(gòu)；(a)H1型水平UQT，(b)H2型水平UQT，(c)V1型垂直UQT，(d)V2型垂直UQT。
編碼單元劃分是混合視頻編碼框架的基礎(chǔ)，決定著編碼單元的基本形狀和尺寸。靈活的劃分方法能更有效地表達(dá)視頻豐富的紋理和運(yùn)動，對編碼性能的提升起著至關(guān)重要的作用。
團(tuán)隊提出了非對稱四叉樹 (UQT) 劃分結(jié)構(gòu)，旨在提高視頻的編碼效率。與現(xiàn)有的四叉樹(Quad Tree, QT)，二叉樹(Binary Tree, BT)，三叉樹(Ternary Tree, TT)劃分結(jié)構(gòu)相比，UQT通過一次劃分生成的子編碼單元能觸及更深的劃分深度，能更有效地捕捉視頻豐富的細(xì)節(jié)特性。
此外，UQT生成的子塊形狀是無法通過 QT 、BT、TT組合實現(xiàn)的，一定程度上彌補(bǔ)了現(xiàn)有劃分的不足，豐富了劃分的表達(dá)。
△環(huán)路濾波網(wǎng)絡(luò)結(jié)構(gòu)示意圖，包括網(wǎng)絡(luò)的輸入，濾波與輸出模塊
傳統(tǒng)視頻編碼中采用環(huán)路濾波器去除編碼失真，縮小原始圖像與重建之間的失真，例如經(jīng)典的去塊濾波、樣本自適應(yīng)偏移和自適應(yīng)環(huán)路濾波等。
參賽平臺提出了一種基于殘差卷積網(wǎng)絡(luò)的增強(qiáng)型環(huán)路濾波技術(shù)，有機(jī)地將環(huán)路濾波技術(shù)與深度學(xué)習(xí)技術(shù)結(jié)合在一起，在網(wǎng)絡(luò)結(jié)構(gòu)中與模型訓(xùn)練中充分利用傳統(tǒng)視頻編碼的先驗信息，提升環(huán)路濾波效率。
網(wǎng)絡(luò)輸入方面，除重建像素外，團(tuán)隊將編碼過程中的預(yù)測信息、劃分信息、邊界強(qiáng)度以及量化參數(shù)等作為增強(qiáng)信息供深度網(wǎng)絡(luò)學(xué)習(xí)，豐富先驗知識，使得網(wǎng)絡(luò)能更好地感知壓縮失真。
在分層參考的編碼結(jié)構(gòu)中，待編碼幀將參考已重建的高質(zhì)量幀。團(tuán)隊提出對不同時域?qū)哟螏褂玫臑V波器采用迭代訓(xùn)練的方式，獲取最接近真實編碼的訓(xùn)練數(shù)據(jù)，實現(xiàn)更高性能的濾波。
此外，每個條帶及最大編碼單位均可以在多個濾波模型中自適應(yīng)地選擇率失真性能最優(yōu)的網(wǎng)絡(luò)模型，并將選擇信息傳輸?shù)浇獯a端。
△CLIC視頻壓縮賽道基于MOS的排行榜
CLIC大賽由電氣與電子工程師協(xié)會IEEE主辦，從誕生開始就獲得了學(xué)術(shù)界與工業(yè)界的廣泛關(guān)注。
2023年CLIC大賽暫停一屆，本屆大賽依托于數(shù)據(jù)壓縮領(lǐng)域的頂級會議 Data Compression Conference (DCC)再次舉辦。本屆DCC中，火山引擎多媒體實驗室有8篇論文入選。此外，這也是該團(tuán)隊自2022年CLIC大賽高碼率視頻壓縮和低碼率視頻壓縮兩個賽道奪冠后，再次蟬聯(lián)。
火山引擎多媒體實驗室是字節(jié)跳動旗下的研究團(tuán)隊，致力于探索多媒體領(lǐng)域的前沿技術(shù)，參與國際標(biāo)準(zhǔn)化工作，其眾多創(chuàng)新算法及軟硬件解決方案已經(jīng)廣泛應(yīng)用在抖音、西瓜視頻等產(chǎn)品的多媒體業(yè)務(wù)，并向火山引擎的企業(yè)級客戶提供技術(shù)服務(wù)。實驗室成立以來，多篇論文入選國際頂會和旗艦期刊，并獲得數(shù)項國際級技術(shù)賽事冠軍、行業(yè)創(chuàng)新獎及最佳論文獎。
— 完 —
相關(guān)閱讀
多篇論文入選Interspeech 2023 火山語音有效解決多類實踐問題
火山語音團(tuán)隊提出了一種基于即時隨機(jī)語句串聯(lián)（RUC）的數(shù)據(jù)增強(qiáng)方法
火山引擎升級數(shù)據(jù)飛輪，以AI加速企業(yè)實現(xiàn)數(shù)據(jù)驅(qū)動
VeDI相關(guān)數(shù)據(jù)產(chǎn)品已啟動邀測。
