騰訊版Sora發布即開源！130億參數，模型權重、推理代碼全開放

西風 2024-12-03 15:19:25 來源：量子位

夢晨 西風 發自 凹非寺

量子位 | 公眾號 QbitAI

騰訊版Sora，發布即開源！

130億參數，成為目前參數量最大的開源視頻生成模型。模型權重、推理代碼、模型算法等全部上傳GitHub與Hugging Face，一點沒藏著。

實際效果如何呢？

不瞞你們說，我真的看見一只大熊貓，在跳廣場舞、吃火鍋、打麻將，請看VCR：

到底是來自四川的貓！

目前該模型已上線騰訊元寶APP，用戶可在AI應用中的“AI視頻”板塊申請試用。

API同步開放測試，開發者可通過騰訊云接入。

騰訊混元視頻生成主打四大特點：

• 超寫實畫質，模型生成的視頻內容具備高清質感、真實感，可用于工業級商業場景例如廣告宣傳、創意視頻生成等商業應用。
• 高語義一致，用戶可以進行細致的刻畫，例如生成主體的細節，人物概念的組合等。模型可以準確的表達出文本的內容。
• 運動畫面流暢，可生成大幅度的合理運動，運動鏡頭流暢、符合物理規律，不易變形。
• 原生鏡頭轉換，模型原生具備自動生成多視角同主體的鏡頭切換畫面，增強畫面敘事感。

那么實際表現能否符合描述？下面結合實例一一拆解。

實測騰訊首個文生視頻模型

首先是沖浪題材，涉及到畫面大幅度運動，水的物理模擬等難點。

提示詞中還特別指定了攝像頭的運動，騰訊混元表現出流暢運鏡的能力，只是在“最后定格在…”這個要求上稍顯不足。

提示詞：超大海浪，沖浪者在浪花上起跳，完成空中轉體。攝影機從海浪內部穿越而出，捕捉陽光透過海水的瞬間。水花在空中形成完美弧線，沖浪板劃過水面留下軌跡。最后定格在沖浪者穿越水簾的完美瞬間。

鏡子題材，考驗模型對光影的理解，以及鏡子內外主體運動是否能保持一致。

提示詞中的白床單元素又加大了難度，涉及到的布料模擬，也符合物理規律。

不過人們想象中的幽靈一般沒有腳，AI似乎沒學到，又或者是跳舞涉及大量腿部動作，產生了沖突。

穿著白床單的幽靈面對著鏡子。鏡子中可以看到幽靈的倒影。幽靈位于布滿灰塵的閣樓中，閣樓里有老舊的橫梁和被布料遮蓋的家具。閣樓的場景映照在鏡子中。幽靈在鏡子前跳舞。電影氛圍，電影打光。

接下來是騰訊混元視頻生成主推的功能之一，在畫面主角保持不變的情況下自動切鏡頭，據了解是業界大部分模型所不具備的能力。

一位中國美女穿著漢服，頭發飄揚，背景是倫敦，然后鏡頭切換到特寫鏡頭。

https://mp.weixin.qq.com/s/6_ciIeZBqkFMuizUmjKV4Q?token=1748535864&lang=zh_CN

再來一個綜合型的復雜提示詞，對主角外貌、動作、環境都有細致描述，畫面中還出現其他人物，騰訊混元表現也不錯。

特寫鏡頭拍攝的是一位60多歲、留著胡須的灰發男子，他坐在巴黎的一家咖啡館里，沉思著宇宙的歷史，他的眼睛聚焦在畫外走動的人們身上，而他自己則基本一動不動地坐著，他身穿羊毛大衣西裝外套，內襯系扣襯衫，戴著棕色貝雷帽和眼鏡，看上去很有教授風范，片尾他露出一絲微妙的閉嘴微笑，仿佛找到了生命之謎的答案，燈光非常具有電影感，金色的燈光，背景是巴黎的街道和城市，景深，35毫米電影膠片。

最后附上來自官方的寫prompt小tips：

• 用法1：提示詞=主體+場景+運動
• 用法2：提示詞=主體(主體描述)+場景(場景描述)+運動(運動描述)+(鏡頭語言)+(氛圍描述)+(風格表達)
• 用法3：提示詞=主體+場景+運動+(風格表達)+(氛圍描述)+(運鏡方式)+(光線)+(景別)
• 多鏡頭生成：提示詞=[場景1]+鏡頭切換到[場景2]
• 兩個動作生成：提示詞=[主體描述]+[動作描述]+[然后、過了一會等連接詞]+[動作描述2]

怎么樣，你學會了嗎？

更多騰訊混元生成的視頻，以及與Sora同提示詞PK，還可以看看量子位在內測階段的嘗試。

最大的開源視頻生成模型。

看完效果，再看看技術層面有哪些亮點。

首先從官方評估結果看，混元視頻生成模型在文本視頻一致性、運動質量和畫面質量多個維度效果領先。

然后從目前公開資料看，騰訊混元視頻生成模型還有三個亮點。

1、文本編碼器部分，已經適配多模態大模型

當下行業中多數視覺生成模型的文本編碼器，適配的主要是上一代語言模型，如OpenAI的CLIP和谷歌T5及各種變種。

騰訊在開源圖像生成模型Hunyuan-DiT中適配的是T5和CLIP的結合，這次更進一步，直接升級到了新一代多模態大語言模型（Multimodal Large Language Model）。

由此能夠獲得更強大的語義跟隨能力，體現在能夠更好地應對畫面中存在的多個主體，以及完成指令中更多的細節。

2、視覺編碼器部分，支持混合圖片/視頻訓練，提升壓縮重建性能

視頻生成模型中的視覺編碼器，在壓縮圖片/視頻數據，保留細節信息方面起著關鍵作用。

混元團隊自研了3D視覺編碼器支持混合圖片/視頻訓練，同時優化了編碼器訓練算法，顯著提升了編碼器在快速運行、紋理細節上的壓縮重建性能，使得視頻生成模型在細節表現上，特別是小人臉、高速鏡頭等場景有明顯提升。

3、從頭到尾用full attention（全注意力）的機制，沒有用時空模塊，提升畫面流暢度。

混元視頻生成模型采用統一的全注意力機制，使得每幀視頻的銜接更為流暢，并能實現主體一致的多視角鏡頭切換。

與“分離的時空注意力機制”分別關注視頻中的空間特征和時間特征，相比之下，全注意力機制則更像一個純視頻模型，表現出更優越的效果。

更多細節，可以參見完整技術報告～

官網：https://aivideo.hunyuan.tencent.com

代碼：https://github.com/Tencent/HunyuanVideo

模型：https://huggingface.co/tencent/HunyuanVideo

技術報告：https://github.com/Tencent/HunyuanVideo/blob/main/assets/hunyuanvideo.pdf