在線可玩！智譜開源圖生視頻模型，網(wǎng)友直呼Amazing！

叨樂 發(fā)自 凹非寺

量子位 | 公眾號 QbitAI

剛剛，智譜把清影背后的圖生視頻模型CogVideoX-5B-I2V給開源了！（在線可玩）

一起開源的還有它的標(biāo)注模型cogvlm2-llama3-caption。

在實(shí)際應(yīng)用中，CogVideoX-5B-I2V支持「一張圖」+「提示詞」生成視頻。

而cogvlm2-llama3-caption則是負(fù)責(zé)將視頻內(nèi)容轉(zhuǎn)換成文本描述。

不過用過的網(wǎng)友卻對它的表現(xiàn)褒貶不一：

有人在用過之后直呼Amazing。

也有人試了半天，最后還是選擇了CogVideoX之前的版本，還夸夸說：我最看好這個型號！

所以到底效果如何，咱們來實(shí)測一波！

實(shí)測CogVideoX-5B-I2V

測試開始~輸入提示詞：咖啡店員握住雙手笑著對客人表示歡迎，說話時身體自然活動（依舊是老生常談的“手部”問題）

第二次實(shí)測，試了一下簡短提示詞：嗎嘍顛著二郎腿打電話（效果不理想，主體還是靜態(tài)的沒有動起來）

第三次的提示詞是：“明月圓圓，幾個人坐在河邊談心說話，舉杯高歌。”顯示生成完成，但是到最后顯示環(huán)節(jié)卻直接NAN了（嗚嗚嗚）

整體效果有些一言難盡，而且生成速度有些慢。

咱們還是來看一下團(tuán)隊自己發(fā)布的一些成功作品吧：

提示詞：當(dāng)萬花筒般的蝴蝶在花朵中翩翩起舞時，花園變得生機(jī)勃勃，它們精致的翅膀在下面的花瓣上投下陰影。

提示詞：一位穿著西裝的宇航員，靴子上沾滿了火星的紅色塵埃，在第四顆行星的粉紅色天空下，他伸出手與一個外星人握手

提示詞：湖岸邊長滿了柳樹，細(xì)長的枝條在微風(fēng)中輕輕搖曳。平靜的湖面倒映著清澈的藍(lán)天，幾只優(yōu)雅的天鵝在平靜的水面上優(yōu)雅地滑翔

論文也已公開

值得一提的是，目前CogVideoX-5B-I2V模型的代碼均已開源，支持在抱抱臉中進(jìn)行部署。

相關(guān)研究論文也已公開，縱觀論文內(nèi)容，有三大技術(shù)亮點(diǎn)值得說道說道~

首先便是團(tuán)隊自研了一個高效的三維變分自編碼器結(jié)構(gòu)（3D VAE），將原視頻空間壓縮至2%大小，大大減少了視頻擴(kuò)散生成模型的訓(xùn)練成本及訓(xùn)練難度。

模型結(jié)構(gòu)包括編碼器、解碼器和潛在空間正則化器，通過四個階段的下采樣和上采樣實(shí)現(xiàn)壓縮。時間因果卷積確保了信息的因果性，減少了通信開銷。團(tuán)隊采用上下文并行技術(shù)以適應(yīng)大規(guī)模視頻處理。

在實(shí)驗(yàn)中，團(tuán)隊發(fā)現(xiàn)大分辨率編碼易于泛化，而增加幀數(shù)則挑戰(zhàn)較大。

因此，團(tuán)隊分兩階段訓(xùn)練模型：首先在較低幀率和小批量上訓(xùn)練，然后通過上下文并行在更高幀率上進(jìn)行微調(diào)。訓(xùn)練損失函數(shù)結(jié)合了L2損失、LPIPS感知損失和3D判別器的GAN損失。

其次是專家Transformer。

團(tuán)隊使用VAE的編碼器將視頻壓縮至潛在空間，然后將潛在空間分割成塊并展開成長的序列嵌入z_vision。

同時，他們使用T5，將文本輸入編碼為文本嵌入z_text，然后將z_text和z_vision沿序列維度拼接。拼接后的嵌入被送入專家Transformer塊堆棧中處理。

最后，團(tuán)隊反向拼接嵌入來恢復(fù)原始潛在空間形狀，并使用VAE進(jìn)行解碼以重建視頻。

最后的亮點(diǎn)，便是在于數(shù)據(jù)了。

團(tuán)隊開發(fā)了負(fù)面標(biāo)簽來識別和排除低質(zhì)量視頻，如過度編輯、運(yùn)動不連貫、質(zhì)量低下、講座式、文本主導(dǎo)和屏幕噪音視頻。

通過video-llama訓(xùn)練的過濾器，他們標(biāo)注并篩選了20000個視頻數(shù)據(jù)點(diǎn)。同時，計算光流和美學(xué)分?jǐn)?shù)，動態(tài)調(diào)整閾值，確保生成視頻的質(zhì)量。

視頻數(shù)據(jù)通常沒有文本描述，需要轉(zhuǎn)換為文本描述以供文本到視頻模型訓(xùn)練。現(xiàn)有的視頻字幕數(shù)據(jù)集字幕較短，無法全面描述視頻內(nèi)容。

為此，團(tuán)隊還提出了一種從圖像字幕生成視頻字幕的管道，并微調(diào)端到端的視頻字幕模型以獲得更密集的字幕。
這種方法通過Panda70M模型生成簡短字幕，使用CogView3模型生成密集圖像字幕，然后使用GPT-4模型總結(jié)生成最終的短視頻。

他們還微調(diào)了一個基于CogVLM2-Video和Llama 3的CogVLM2-Caption模型，使用密集字幕數(shù)據(jù)進(jìn)行訓(xùn)練，以加速視頻字幕生成過程。

One more thing

值得一提的是，CogVideoX近來這一個月也沒有閑著，化身勤更達(dá)人碼出了一堆更新！

2024年9月17日，提供了SAT權(quán)重的推理和微調(diào)代碼和安裝依賴的命令，使用GLM-4優(yōu)化了提示詞
跳轉(zhuǎn)鏈接：https://github.com/THUDM/CogVideo/commit/db309f3242d14153127ffaed06a3cf5a74c77062

2024年9月16日，用戶可以利用本地開源模型+FLUX+CogVideoX，實(shí)現(xiàn)自動化生成高質(zhì)量視頻。
跳轉(zhuǎn)鏈接：https://github.com/THUDM/CogVideo/blob/CogVideoX_dev/tools/llm_flux_cogvideox/llm_flux_cogvideox.py

2024年9月15日，CogVideoX的LoRA微調(diào)權(quán)重已成功導(dǎo)出，并在diffusers庫中成功通過測試。
跳轉(zhuǎn)鏈接：https://github.com/THUDM/CogVideo/blob/CogVideoX_dev/sat/README_zh.md

2024年8月29日，在CogVideoX-5B的推理代碼中加入了pipe.enable_sequential_cpu_offload()和pipe.vae.enable_slicing()功能，使顯存占用降至5GB。

2024年8月27日，CogVideoX-2B模型的開源協(xié)議已修改為Apache 2.0協(xié)議.

當(dāng)天，智譜AI開源了更大規(guī)模的CogVideoX-5B模型，顯著提升了視頻生成的質(zhì)量與視覺效果。這個模型優(yōu)化了推理性能，允許用戶在RTX 3060等桌面顯卡上進(jìn)行推理，降低了硬件的要求。

2024年8月20日，VEnhancer工具已支持對CogVideoX生成的視頻進(jìn)行增強(qiáng)，提升視頻分辨率和質(zhì)量。

2024年8月15日，CogVideoX依賴的SwissArmyTransformer庫升級至0.4.12版本，微調(diào)不再需要從源代碼安裝該庫。同時，引入了Tied VAE技術(shù)以優(yōu)化生成效果。
而這次CogVideoX-5B-I2V的開源，也代表著CogVideoX系列模型已經(jīng)支持文生視頻、視頻延長、圖生視頻三種任務(wù)。