讓AI視頻進入「全民GC」時代，這家中國公司剛剛真的做到了

衡宇 發自 凹非寺

量子位 | 公眾號 QbitAI

更低門檻，更高質量，更有邏輯，更長時長。

這幾個“更”，讓上午剛剛亮相的國產AI視頻新產品PixVerse V2，熱度唰一下就上去了。

而且它出身很吸睛：

來自這條賽道上最受關注的國內明星創業公司愛詩科技，僅今年上半年，該公司就完成了兩輪融資。

直接看Pixverse V2有哪些重點“新意”：

模型技術方面，采用了DiT（Diffusion＋Transformer）架構，同時在多個方面運用獨創技術顯著提升生成效果。

如引入時空注意力機制等，實現運動幅度更大、更自然的視頻生成。

且看下面這個小羊駝快樂沖浪，就和今天LIama 3.1發布即登頂很應景。

視頻數量與質量方面，支持一鍵生成至多5段連續的視頻內容。

且片段之間會自動保持主體形象、畫面風格和場景元素的一致性。

除此之外，愛詩官方介紹還說明，新產品的提示詞門檻又被砍了狠狠一刀。

不論是否學過提示詞技巧， 只需言簡意賅表達清楚畫面需求，就能簡單實現。而且中文語境同樣適用。

再加上一次生成的幾段視頻之間，有風格、主體和場景的一致性——

現在制作一條短視頻不僅不需要自己拍，連剪都不需要再自己剪了。

一鍵生成，直接上傳各個平臺分享，鵝妹子嚶！

既保質又保量，門檻還一低再低。

AI視頻創作已經被愛詩PixVerse、Runway、Luma等卷得昏天黑地的公司們，卷入了全民能玩轉的時代。

至多生成5段視頻，讓創意可連續

不過，等一下！

我們是絕對不會輕易被各個公司放出來的demo蒙蔽雙眼的。

于是，今天上午發現PixVerse V2上線后，量子位第一時間進行了人肉實測。

進入PixVerse官網，在左側菜單欄直奔PixVerse V2。

目前它支持文/圖生視頻兩種生成模式，實際操作中可以二者取其一，也可以兩個一起上。

文字輸入提示詞框，圖片點擊下圖黃色框選部分即可上傳。

輸入框右下角，灰色框選部分，還有個5s/8s的選項，可以根據自己的需求選擇生成的單個視頻片段的長度。

綠色框選的Scene，指代的是需要生成的具體視頻片段。

確實如官方介紹所說，現在至多能添加至生成5個視頻，分別是Scene1-5。

所有Scene片段的畫面風格都會跟著Scene 1來，即便后面的其他Scene上傳了參考圖片，PixVerse會參考Scene 1的圖片風格進行重繪。

總之，就是想盡一切辦法讓5段視頻保持風格一致。

此外，每個Scene的提示詞/提示圖片都可以單獨輸入。

完事兒后就可以點擊輸入框右下角的星星按鈕，進入生成狀態。

體驗后發現，無論需要生成幾個Scene，每次生成都需要花費50 Credits（PixVerse V2的算力貨幣）。

體驗過程中，秉承著輸入盡可能簡單的prompt的原則，咱輸入的五段提示詞分別是這樣的：

1. 清晨，一只小白兔在床上穿好了衣服
2. 小白兔走在上班的路上，路過一片花園
3. 小白兔端著一杯熱氣騰騰的咖啡
4. 小白兔端著咖啡，正在排隊等電梯
5. 辭職了的小白兔在路上一蹦一跳的

雖然生成后，可以通過選項對每段視頻分別進行微調（調整主體、場景、動作和運鏡），但我們沒有進行任何干預，主打一個想要原汁原味。

生成結果如下：

△考慮到觀感，此視頻僅針對播放速度，進行2.5倍加速

5個片段是已經拼接好了的，可以直接下載完整版，很方便。

有點搞笑，視頻內容里，辭職了的小白兔pia就把工裝脫掉了，不帶走一點班味。

上手玩到這一步，精打細算如我等打工人，有個絕妙發現，一定要跟大家分享一下：

如果每次只想生成一個視頻片段，直接在PixVerse V2的選項調整里，刪減到只有Scene 1，就ok——我們稱之為辦法1。

但還有另一種辦法（辦法2），通過另一個入口進入PixVerse V2的另外模式。

辦公室里問了一圈，如果要生成單個視頻片段，大家都更愿意選擇后面這種辦法。

為啥？

一來，辦法2能根據視頻比例、視頻風格等參數做更多的調整，你給的“想要”的信息越多，那模型就更有可能懂你，生成的視頻畫面就更可能符合心意。

另一方面，小算盤噼里啪啦一算，辦法1一次生成消耗50 Credits，無論是生成1個片段還是5個片段，都得扣這么多；但辦法2生成一次，只需要消耗30 Credits。

更省錢啊，朋友們！

快在腦子里拿小本本記好，辦法2的操作流程——

點擊左側菜單欄中的Text to Video，然后在“Model”選擇 “PixVerse V2”。

就能進行文生視頻了。

且通過在提示詞中加入“Anime”“Realistic”等詞語，可以讓生成內容進行風格變換。

整點有難度的，生成一些現實世界沒有的場景。輸入提示詞：

棉花糖巨人在彩色的棉花糖森林里漫步。

生成結果：

好好好，unbelievable，想不到真的可以get到“棉花糖巨人”這么抽象的描述！

盲猜是因為PixVerse V2背后對語義理解進行了顯著優化。

類似方法也可以體驗圖生視頻功能。

點擊左側菜單欄的Image to Video，在“Model”選擇“PixVerse V2”。

小小遺憾，目前PixVerse的圖生視頻還不能使用前面提到過的運動筆刷。

需要注意的是，目前圖生視頻還不能使用“涂哪哪動”的運動筆刷（這是愛詩上個月上新的AI視頻功能）。

量子位向PixVerse V2團隊打聽到，運動筆刷很快也會上線在V2版本里。

之前Runway和PixVerse的運動筆刷都廣受好評，因為它彌補了提示詞描述的不足，增強了畫面的運動可控性等。

如果PixVerse V2上線該功能，想來大家玩起來會更爽，視頻中人物/物體的運動也更符合物理規律。

鑒于人物或者動物“走秀”一直都是AI視頻秀肌肉的必選項（雖然咱也不知道為啥），這次在體驗PixVerse V2圖生視頻功能時，咱直接上強度，搞了個宇航員在街頭跑酷。

輸入提示圖片：

生成結果：

這個任務屬于有點疊buff，是基于圖片生成非現實內容的動態。

更需要的是背后模型有很強的視覺理解能力。

從效果來看，不管是連續視頻創作、文生視頻還是圖生視頻，PixVerse V2都能輕松拿下。

最后多提一嘴，不管是文生還是圖生，每生成一個5s/8s視頻，都需消耗30 Credits。

不過生成速度算比較快，質量也穩定有保障，實際感覺花這30 Credits還算挺值得。

DiT底模更新支持

在號稱今年卷王之王的AI視頻賽道，愛詩突然放出了不太一樣的一招。

當全世界范圍內所有的Sora平替在做時長拓展、畫質提升和難度降低時，愛詩做的還有狂削門檻。

不僅僅是提示詞不需要太專業，更重要的是一次能創作（至多）5條視頻，每段8秒。

這1到5個視頻片段之間，風格、主體、場景的一致性是能夠保證的，并且根據每段視頻提示詞之間的邏輯，最終合成一段40秒左右的長視頻。

劇情連貫、內容一致性的那種。

號稱“動作流暢、細節豐富”，且畫質達到1080p。

也就是說，用戶想好自己想要什么，輸入提示詞，就能坐等生成擁有10s-40s時長不等的視頻。

既能在畫面中實現“把腦子里的想法搬到視頻里”，片段之間連貫自然；還能在視頻制作過程中少費時費力，創作效率猛猛提升。

PixVerse V2發布后，很快就有網友用起來了。

PixVerse V2的出現，讓很多沒用過AI視頻工具，甚至從未制作過視頻的人，都能靠它完成生成數量上0到5，作品數量上0到1的突破。

AIGC工具的使用權，再一次下放。

它帶來的AIGC工具用戶破圈層（不再局限在專業用戶之間）外擴，是靠技術迭代更新來實現的。

PixVerse V2背后，是愛詩科技對DiT架構底層自研模型的迭代更新。

這也是PixVerse背后的核心技術。

前情回顧一下，量子位梳理此前愛詩公開資料/王長虎對外演講發現，最開始，該公司采用過Diffusion+Unet架構的技術路線，這也是Sora問世前的主流AIGC做法，但越往后走，參數擴張、指令復雜，Unet就有點不夠用了。

因此，愛詩很早（Sora出現前）開始嘗試DiT架構，并沿著Scaling Law來提升模型性能。

車頭調轉得很早，因此Sora的出現倒沒有讓愛詩措手不及，反而因驗證了路線的正確，愛詩今年的速度明顯加快。

那么，這次PixVerse V2的DiT底模有哪些更新？

第一點，在Diffusion時空建模方面。

愛詩獨創了一種時空注意力建模機制，且是“更合理的”，它優于時空分離以及fullseq架構。

這種機制對時間、空間的感知力都更好，對復雜場景的處理也更好。

第二點在文本理解方面。

PixVerse V2對于prompt的理解能力顯著增強。背后是運用上了多模態模型，能夠更好地對齊文本信息和視頻信息，讓生成結果即創作者所想。

第三，為了獲得更高的運算效率，PixVerse V2在傳統的Flow模型基礎之上，對損失進行了加權，使得模型可以更快更好的收斂。

還有一點，則是PixVerse V2背后，研發團隊設計了一個更好的3D VAE模型。

其中引入了時空注意力機制，來提升視頻壓縮質量；同時采用持續學習技術進一步提升視頻壓縮及重構結果。

AI加持下“簡單有趣”的UGC傾向

AIGC簡直是今年最婦孺皆知的話題。

但對AIGC進行應用的能力，其實還掌握在少部分人手中，如程序員、設計師等專業人士。

AIGC還沒有像UGC那樣，進入全民“GC”的階段。

面對這樣的情況，愛詩科技成立一年多以來做的事，可以總結歸納為：

• 不斷提升AI技術能力
• 擴大“G（ Generated）”這個動詞的主語群體
• 兼顧關注“C（ Content）”的質量水平。

這一點不僅體現在PixVerse V2上，往前看也是一脈相承——

復盤發現，PixVerse V2的發布，其實已經是今年以來這家公司第三次在AI視頻功能和產品上有所動作。

今年1月，愛詩正式發布文生視頻產品PixVerse網頁版，月訪問量迅速突破百萬。

4月，發布基于自研視頻大模型開發的C2V（Character to Video，角色一致性）功能，網頁端可使用。

通過精確提取人物特征，并深度嵌入到視頻生成模型中，PixVerse能夠鎖定角色，初步解決AI視頻創作中的一致性難題。

6月，發布Magic Brush運動筆刷，拿它對視頻畫面涂涂抹抹，能精確控制視頻元素的運動及運動方向。

這也是繼Runway后，首家發布類似功能的AI視頻生成公司。

半年三次，不可謂不頻繁，但前兩次的動作，似乎都有些低調了。

這或許與創業公司希望潛心打磨作品有關，又或許與王長虎等帶隊者的低調性格有關，我們不得而知。

但現象就是，很多人知道國產AI視頻賽道上，愛詩科技是奔馳在前的頭部，卻不一定知道它到底為什么是頭部，到底好不好用。

現在PixVerses V2一出現，老的少的、專業的非專業的，都可以親自上手，感受它確實效果整挺好——這也是PixVerse V2上線即爆火的原因之一。

以及回溯種種動作，不難發現，這數次產品能力的上新，都在圍繞一個主體：讓AI視頻創作更實用更簡單。

同時可以看到，前幾次產品能力，重點關注的是專業人士的使用體驗。

這也和王長虎此前發言的相互印證，他曾表示：

希望AI原生視頻能夠融入內容行業的生產和消費鏈路。

而PixVerse V2就不一樣了，這一代產品著重打磨的是，如何讓更廣大的普通人群都能上手進行AI視頻創作。

畢竟，Magic Brush雖然好用、有用，但大前提還是需要用戶已經生成了一段AI視頻。

而視頻prompt比文本生成、文生圖的prompt都要難，很多時候都是普通人來玩AI視頻生成的攔路虎。

PixVerse V2抓的點就很妙——

從壓低提示詞難度、選項式微調、拓展生成內容邊界、后期免剪輯等各個方面，盡量把AI視頻創作成本一壓再壓。

會得到什么結果呢？

所有人，人人有機會，人人能參與，能把天馬行空的腦洞變成看得見的視頻作品。

因為能有很強的參與感，因此會有更多人，甚至所有人都能釋放創意，參與到AI視頻創作當中來。

長期來看，逐漸就能形成AI時代的UGC生態，而且比UGC更簡單、更有趣。

之前看過有意思的一個meme圖，相信不少朋友也見過：

“PixVerse很榮幸‘跪’在了第一排，跟Runway、Pika、SVD等當時最好的視頻生成產品放到一起，也是這張圖里面唯一一家中國公司?！蓖蹰L虎本人曾拿著這張圖開玩笑，“但另一方面，我們前面有一個巨人，還需要進一步超越它?！?/p>

不可否認，AI視頻是AI 2.0時代多模態賽道的焦點，尤其是Sora掀起巨浪之后。

所有巨頭、大廠、創業公司的十足干勁，都在說明一個問題。

AI視頻正在擴寬和激發市場的潛力，AI多模態大模型驅動的創新正在增長。

愛詩能出現在這張meme圖上，而且是作為唯一一張登圖的中國公司，原因非常明顯。

一方面，愛詩科技的模型技術，與自研底模上長出的產品效果，確實受到認可。

另一方面，無論在哪一波科技浪潮中，創業公司都會被全球目光重點關注。

搜索大戰時期，谷歌利用創新的網頁排名算法PageRank，搶奪雅虎的用戶，甚至后來者居上，成為搜索市場至今獨占鰲頭的那一位。

大語言模型初期，Transformer雖然出自Google，但GPT則是（當時）小型研究機構OpenAI的創舉，一步步走到今天的GPT-4o，成為被追逐的對象。

而今天OpenAI的追逐和競爭者中，就有Google的身影。

在任何時候，哪怕面臨大廠巨頭圍攻，創業公司迸發出點燃行業的火花、閃耀星光的故事從不缺席。

愛詩科技正在用技術和產品書寫的，就是AI視頻賽道，屬于創業公司自己的故事。