還得是開源！潞晨Open-Sora技術路線公開，一鍵生成16秒720p視頻
質量更高但訓練成本更低
允中 發自 凹非寺
量子位 | 公眾號 QbitAI
16秒720p高清視頻，現在人人可免費一鍵生成！
無論是精致的人物肖像：
還是炫酷的科幻大片：
△畫質已壓縮
亦或是生動有趣的動畫：
流暢的變焦效果：
△畫質已壓縮
以上生成效果，全部來自免費開源的潞晨Open-Sora。
從3月發布以來，潞晨Open-Sora一直熱度不減，GitHub上攬星已經17.5K。
（GitHub：https://github.com/hpcaitech/Open-Sora）
英偉達入股的AI公司Lambda Labs，也基于潞晨Open-Sora模型權重打造了數字樂高宇宙。
而在公布模型權重和訓練細節后，潞晨Open-Sora還在持續開源中。
最近，其幕后團隊在GitHub上曬出了技術路線，進一步披露了最新版本模型的訓練核心內容報告地址：https://github.com/hpcaitech/Open-Sora/blob/main/docs/report_03.md。
具體細節，一起來看。
訓練成本再降低
最新版本的潞晨Open-Sora在此前基礎上引入了視頻壓縮網絡（Video Compression Network）、更優擴散模型算法、更多的可控性，并利用更多數據訓練出了1.1B擴散生成模型。
能在保障模型輸出質量的同時，降低計算資源的消耗。
其中，引入視頻壓縮網絡是OpenAI的Sora同款方法。它能在時間維度上進行4倍壓縮，無需抽幀，可以使用原始FPS生成視頻。
考慮到訓練一個3D VAE的成本太高，團隊嘗試讓模型重新利用在2D VAE中學習到的知識。在2D VAE壓縮后，時間維度上的相鄰特征仍然高度相關。
因此團隊提出了一個簡單的視頻壓縮網絡（即VAE），它能首先在空間維度上實現8×8倍的壓縮，再從時間維度上壓縮4倍。
該網絡框架如下：
具體訓練過程分為三步：
1、前380K步，在8個GPU上訓練，凍結2D VAE的權重，只訓練3D VAE部分，即對時間維度的壓縮重建。訓練目標為對2D VAE encoder輸出的特征進行時間維度的壓縮重建，并添加一個identity loss使得新訓練的3D VAE輸出的特征盡可能和原始2D VAE的特征相似。團隊發現加上這種identity loss可以很快讓整個VAE達到良好的壓縮重建性能，并在下一階段收斂速度快很多。
2、接下來的260K步，移除掉identity loss，繼續單獨訓練3D VAE部分。
3、最后540K步，由于發現只重建2D VAE特征并不能進一步提升性能，所以解凍了2D VAE權重，開始訓練整個VAE模型來重建原始視頻。該階段在24個GPU上完成。
其中前兩個階段的訓練數據使用20%圖像和80%視頻，視頻用17幀進行訓練；最后一個階段用34幀的隨機幀數視頻進行訓練，使VAE模型可以壓縮任意長度的視頻。訓練和推理的代碼已開源。
Rectified flow和模型適配
另外，基于最新Stable Diffusion 3的開源成果，提供了一套完整的訓練解決方案。
Stable Diffusion 3通過采用了rectified flow技術替代 DDPM，顯著提升了圖片和視頻生成的質量。
潞晨Open-Sora團隊帶來的技術包括：
- 簡單易用的整流（rectified flow）訓練
- 用于訓練加速的 Logit-norm 時間步長采樣
- 基于分辨率和視頻長度的時間步長采樣
通過這些技術的整合，不僅能夠加快模型的訓練速度，還能顯著減少推理階段的等待時間，確保用戶體驗的流暢性。
此外，這套訓練方案還支持在推理過程中輸出多種視頻寬高比，滿足了多樣化場景下的視頻素材需求，為視頻內容創作者提供了更加豐富的創作工具.
此外，技術報告中還透露了更多模型訓練的核心細節，包括數據清洗和調優的使用技巧。同時團隊構建了更完善的模型評估體系，保障模型的穩健性和泛化能力。
通過提供可自行一鍵部署的Gradio應用，并支持調節輸出的運動分數、美學分數和鏡頭移動方式等參數，還能一鍵通過GPT-4o 自動修改指令并支持中文輸入。
傳送門
文生視頻爆火后，潞晨Open-Sora持續開源為該領域發展做出了貢獻。
潞晨Open-Sora可零門檻免費獲得模型權重、全套訓練代碼，沉浸式游戲、創意廣告、制作影視大片……都能來試試~
最后，想要了解潞晨Open-Sora更多詳情，可訪問GitHub主頁：
https://github.com/hpcaitech/Open-Sora
參考鏈接：
[1] https://wandb.ai/lambdalabs/lego/reports/Text2Bricks-Fine-tuning-Open-Sora-in-1-000-GPU-Hours—Vmlldzo4MDE3MTky
[2] https://hpc-ai.com/blog/open-sora-from-hpc-ai-tech-team-continues-open-source-generate-any-16-second-720p-hd-video-with-one-click-model-weights-ready-to-use
- DeepSeek-V3.2-Exp第一時間上線華為云2025-09-29
- 你的AI助手更萬能了！天禧合作字節扣子，解鎖無限新功能2025-09-26
- 你的最快安卓芯片發布了！全面為Agent鋪路2025-09-26
- 任少卿在中科大招生了！碩博都可，推免學生下周一緊急面試2025-09-20
相關閱讀
