Sora三巨頭首次解密幕后信息，CTO：最快年內(nèi)開(kāi)放

十三 2024-03-24 12:59:14 來(lái)源：量子位

明敏 克雷西 發(fā)自 凹非寺

量子位 | 公眾號(hào) QbitAI

“Sora最快今年內(nèi)開(kāi)放公測(cè)。”

在一場(chǎng)訪談中，OpenAI CTO Mira Murati親自透露了這一消息。

短短10分鐘里，Sora技術(shù)細(xì)節(jié)、進(jìn)展、規(guī)劃等當(dāng)下最熱議的問(wèn)題，都有了更進(jìn)一步解答：

• 生成20秒的720P視頻只需幾分鐘
• 計(jì)算資源遠(yuǎn)超ChatGPT和DALL·E
• 目前正在進(jìn)行正在進(jìn)行紅隊(duì)測(cè)試
• 未來(lái)版本有望支持視頻聲效

而且還向外界傳遞了一層重要信息：

OpenAI在考慮發(fā)布這項(xiàng)技術(shù)時(shí)，抱有非常謹(jǐn)慎的態(tài)度。

“我們希望電影界人士和世界各地的創(chuàng)作者都能參與進(jìn)來(lái)，與我們共同探索如何進(jìn)一步推動(dòng)這些行業(yè)發(fā)展。”

加上前幾天，Sora的三名研發(fā)主管——Tim Brooks、William Peebles和Aditya Ramesh，也參與了一場(chǎng)16分鐘的播客訪談。

綜合兩場(chǎng)對(duì)話，關(guān)于Sora背后的秘密，也有了更多蛛絲馬跡可以探尋。

Sora背后還有多少秘密？

關(guān)于Sora，人們最關(guān)心也最期待的，可能就是什么時(shí)候才能上手體驗(yàn)了。

對(duì)此，Mira表示Sora正在進(jìn)行紅隊(duì)測(cè)試，以確保工具的安全性，并且不會(huì)產(chǎn)生偏見(jiàn)或其他有害問(wèn)題。

對(duì)于具體的時(shí)間，Mira也立下了flag——今年年內(nèi)讓Sora與廣大用戶正式見(jiàn)面。

此外，兩場(chǎng)對(duì)話中談到的其他話題，可以分為技術(shù)細(xì)節(jié)、項(xiàng)目規(guī)劃和未來(lái)展望三個(gè)部分。

揭開(kāi)更多技術(shù)細(xì)節(jié)

技術(shù)方面，三人團(tuán)隊(duì)表示，Sora更像是介于Dall·E這類擴(kuò)散模型和GPT之間。

訓(xùn)練方式類似于Dall·E，但架構(gòu)上更像GPT系列。

訓(xùn)練數(shù)據(jù)是不方便說(shuō)滴（doge），大致就是公開(kāi)數(shù)據(jù)和OpenAI已獲授權(quán)的數(shù)據(jù)。

不過(guò)他們專門cue了一個(gè)點(diǎn)：通常圖像、視頻模型都是在一個(gè)固定尺寸上進(jìn)行訓(xùn)練，而Sora使用了不同時(shí)長(zhǎng)、比例和清晰度的視頻。

具體方法之前的技術(shù)報(bào)告已經(jīng)有了說(shuō)明，就是用“Patches”來(lái)統(tǒng)一不同的視覺(jué)數(shù)據(jù)表現(xiàn)形式。

然后可以根據(jù)輸入視頻的大小，訓(xùn)練模型認(rèn)識(shí)不同數(shù)量的小塊。通過(guò)這種方式，模型能夠更加靈活學(xué)習(xí)各種數(shù)據(jù)，同時(shí)也能生成不同分辨率和尺寸的內(nèi)容。

性能方面，Mira和三人組的說(shuō)法則略有不同：

三人組透露，有一次給Sora布置好任務(wù)后，出去買了杯咖啡，結(jié)果回來(lái)之后視頻還沒(méi)做好。

而Mira這邊的回答則是，Sora生成720P分辨率、長(zhǎng)達(dá)20秒的視頻內(nèi)容，只需要幾分鐘就能完成。

當(dāng)然，具體消耗的時(shí)間，還要取決于任務(wù)復(fù)雜程度等多種因素，不能簡(jiǎn)單一概而論。

不過(guò)Mira這邊表示，在正式發(fā)布之前將繼續(xù)努力優(yōu)化算法，以降低所需的算力。

這些問(wèn)題還需解決

而針對(duì)Sora存在的不足，他們的回答也很坦誠(chéng)，表示其還存在無(wú)法完美處理手部的生成，渲染復(fù)雜的物理過(guò)程也存在一定難度等一系列問(wèn)題。

除了這些bug型的缺陷之外，Sora不能給視頻添加聲音也算一個(gè)美中不足之處，對(duì)此三人組給出了這樣的回應(yīng)：

很難確定什么時(shí)候能有這樣的功能，但這并非一個(gè)技術(shù)問(wèn)題，而是目前有優(yōu)先級(jí)更高的問(wèn)題需要解決。
目前，Sora還是更關(guān)注視頻本身的生成，研究重點(diǎn)是提高視頻的畫質(zhì)和幀率。
所以，能夠加入聲音當(dāng)然是更好的，但現(xiàn)在的當(dāng)務(wù)之急，還是要把視頻能力先搞上來(lái)。

而Mira對(duì)此的回答則更像是給人們吃了一顆定心丸——未來(lái)版本有望支持視頻聲效，增強(qiáng)用戶體驗(yàn)。

而除了這些產(chǎn)品本身的問(wèn)題之外，為Sora生成的視頻加入溯源信息，以防出現(xiàn)造假，也是OpenAI當(dāng)下的一項(xiàng)重要任務(wù)。

同時(shí)，負(fù)責(zé)人和Mira都表示，團(tuán)隊(duì)始終在收集來(lái)自各界的用戶反饋，三人組還舉例說(shuō)有用戶希望能加入提示詞以外，更精細(xì)、直接的控制方式，團(tuán)隊(duì)將此作為了重點(diǎn)考慮的一個(gè)方向。

Sora，未來(lái)可期

最后，針對(duì)Sora的未來(lái)，負(fù)責(zé)人給出了很高的預(yù)期，并表示其將不僅僅在視頻創(chuàng)作方面發(fā)揮作用。

我們的世界充滿了視覺(jué)信息，其中有很多無(wú)法僅通過(guò)文本來(lái)傳達(dá)。
所以，雖然像GPT這樣的語(yǔ)言模型已經(jīng)對(duì)世界有了深刻的理解，但如果它們無(wú)法像人類一樣“看”到視覺(jué)的世界，對(duì)世界的認(rèn)識(shí)就會(huì)有所缺失。

因此，負(fù)責(zé)人對(duì)Sora及未來(lái)可能在其基礎(chǔ)上開(kāi)發(fā)的其他AI模型充滿了期待——通過(guò)學(xué)習(xí)視覺(jué)信息的方式理解這個(gè)世界，在未來(lái)能夠更好地幫助人類。

對(duì)此有網(wǎng)友表示，這的確是個(gè)好消息，Sora的意義不僅在于其本身，而且還會(huì)對(duì)其他AI產(chǎn)生影響。

另一邊，已經(jīng)有人在期待Runway等前任王者對(duì)此的反應(yīng)了。

不過(guò)，雖然團(tuán)隊(duì)自己說(shuō)Sora在未來(lái)能夠理解人類世界，但它到底能不能真的算世界模型，還存在不小的爭(zhēng)議。

Sora是世界模型嗎？

針對(duì)這個(gè)問(wèn)題，正反雙方各執(zhí)一詞，支持者的主要理由，是認(rèn)為從Sora生成的視頻中能看出其對(duì)物理世界的理解。

而反方則不認(rèn)同Sora是世界模型，代表人物是圖靈獎(jiǎng)得主、Meta首席AI科學(xué)家LeCun。

近期，LeCun點(diǎn)贊了一篇澳大利亞學(xué)者的萬(wàn)字長(zhǎng)文，文章的核心觀點(diǎn)就是認(rèn)為Sora不是世界模型。

其中最核心的原因，是Sora并沒(méi)有物理引擎來(lái)運(yùn)行前向時(shí)間模擬，而且訓(xùn)練過(guò)程是端到端完成的，數(shù)據(jù)中并沒(méi)有物理規(guī)律信息。

即便是拋開(kāi)訓(xùn)練和生成過(guò)程，單從表現(xiàn)上看，Sora的輸出也出現(xiàn)了違反重力、碰撞動(dòng)力學(xué)等物理規(guī)律的情況。

△Sora生成的“反重力玻璃杯”

所以，作者認(rèn)為，將Sora稱為世界模型是缺少充分依據(jù)的。

而人們比較關(guān)心的另一個(gè)問(wèn)題，是Sora的訓(xùn)練過(guò)程，是否使用了虛幻引擎（Unreal Engine）5。

不過(guò)作者也沒(méi)有給出確切結(jié)論，只表示這只是猜測(cè)，目前并沒(méi)有確切的證據(jù)表明Sora確實(shí)使用了UE5進(jìn)行訓(xùn)練。

而要想進(jìn)一步揭開(kāi)這些問(wèn)題，或許要OpenAI再次自己出來(lái)公布，或者直接開(kāi)源了。

One More Thing

雖然兩場(chǎng)訪談的確透露出了不少干貨，但針對(duì)人們同樣廣為關(guān)心的訓(xùn)練數(shù)據(jù)來(lái)源問(wèn)題，無(wú)論是三人團(tuán)隊(duì)還是Mira，說(shuō)法都十分模糊——

Sora的訓(xùn)練過(guò)程中使用的是公開(kāi)可用和已獲得授權(quán)的數(shù)據(jù)源。

但對(duì)于YouTube、Instagram和Facebook上的視頻是否被用作訓(xùn)練數(shù)據(jù)，Mira則是顧左右而言他：

我不知道，但如果這些數(shù)據(jù)是公開(kāi)可用的，他們也許是（訓(xùn)練）數(shù)據(jù)（的一部分）……我不確定

不過(guò)，這個(gè)說(shuō)法的可信度先放下不談，即便真的如Mira所說(shuō)，也有網(wǎng)友并不認(rèn)賬：

OpenAI好像覺(jué)得，只要是公開(kāi)的數(shù)據(jù)就可以隨便用，呵呵

參考鏈接：
[1]https://www.youtube.com/watch?v=Srh1lut4Q2A（第53分鐘開(kāi)始）
[2]https://www.youtube.com/watch?v=mAUpxN-EIgU
[3]https://artificialcognition.net/posts/video-generation-world-simulators/