Ilya觀點得證！僅靠預測下一個token統一圖像文本視頻，智源發布原生多模態世界模型Emu3

夢晨 2024-10-21 12:41:12 來源：量子位

夢晨 發自 凹非寺
量子位 | 公眾號 QbitAI

OpenAI前首席科學家、聯合創始人Ilya Sutskever曾在多個場合表達觀點：

只要能夠非常好的預測下一個token，就能幫助人類達到通用人工智能（AGI）。

雖然，下一token預測已在大語言模型領域實現了ChatGPT等突破，但是在多模態模型中的適用性仍不明確。多模態任務仍然由擴散模型（如Stable Diffusion）和組合方法（如結合 CLIP視覺編碼器和LLM）所主導。

2024年10月21日，智源研究院正式發布原生多模態世界模型Emu3。該模型只基于下一個token預測，無需擴散模型或組合方法，即可完成文本、圖像、視頻三種模態數據的理解和生成。

Emu3在圖像生成、視頻生成、視覺語言理解等任務中超過了SDXL 、LLaVA、OpenSora等知名開源模型，但是無需擴散模型、CLIP視覺編碼器、預訓練的LLM等技術，只需要預測下一個token。

圖注：在圖像生成任務中，基于人類偏好評測，Emu3優于SD-1.5與SDXL模型。在視覺語言理解任務中，對于12 項基準測試的平均得分，Emu3優于LlaVA-1.6。在視頻生成任務中，對于VBench基準測試得分，Emu3優于OpenSora 1.2。

Emu3提供了一個強大的視覺tokenizer，能夠將視頻和圖像轉換為離散token。這些視覺離散token可以與文本tokenizer輸出的離散token一起送入模型中。與此同時，該模型輸出的離散token可以被轉換為文本、圖像和視頻，為Any-to-Any的任務提供了更加統一的研究范式。而在此前，社區缺少這樣的技術和模型。

此外，受益于Emu3下一個token預測框架的靈活性，直接偏好優化（DPO）可無縫應用于自回歸視覺生成，使模型與人類偏好保持一致。

Emu3研究結果證明，下一個token預測可以作為多模態模型的一個強大范式，實現超越語言本身的大規模多模態學習，并在多模態任務中實現先進的性能。通過將復雜的多模態設計收斂到token本身，能在大規模訓練和推理中釋放巨大的潛力。下一個token預測為構建多模態AGI提供了一條前景廣闊的道路。

目前Emu3已開源了關鍵技術和模型。（開源模型和代碼地址在文末）

Emu3一經上線便在社交媒體和技術社區引起了熱議。

有網友指出，“這是幾個月以來最重要的研究，我們現在非常接近擁有一個處理所有數據模態的單一架構。”

“Emu3 是一種非常新穎的方法（至少在我看來是這樣），它有機會將多模態合并為一，只需將它們都視為token即可。雖然還處于初期，但演示效果很不錯。想象一下，我們可以無限擴展視頻和生成多種模態。”

甚至有網友評價：“也許我們會得到一個真正開放的 OpenAI v2？”

對于Emu3的意義和影響，有評論指出：“Emu3 將徹底改變多模態AI領域，提供無與倫比的性能和靈活性。”

“Emu3在各行各業的廣泛適用性和開源靈活性將為開發者和企業解鎖人工智能創新能力的機會。”

“對于研究人員來說，Emu3意味著出現了一個新的機會，可以通過統一的架構探索多模態，無需將復雜的擴散模型與大語言模型相結合。這種方法類似于transformer在視覺相關任務中的變革性影響。”

“Emu3的統一方法將帶來更高效、更多功能的AI系統，簡化多模態AI的開發和應用以及內容生成、分析和理解的新可能性。”

“Emu3 改寫了多模態人工智能的規則…Emu3 重新定義了多模態AI，展示了簡單可以戰勝復雜。多模態AI的未來變得更加精煉與強大。”

效果展示

1. 視覺理解

Emu3 展現了強大的圖像及視頻的感知能力，能夠理解物理世界并提供連貫的文本回復。值得注意的是，這種能力是在不依賴于基礎LLM模型和CLIP的情況下實現的。

1.1 圖像輸入

1.2 視頻輸入

2. 圖像生成

Emu3通過預測下一個視覺token來生成高質量的圖像。該模型自然支持靈活的分辨率和不同風格。

3. 視頻生成

與使用視頻擴散模型以從噪聲生成視頻的Sora不同，Emu3只是通過預測序列中的下一個token來因果性的生成視頻。

4. 視頻預測

在視頻的上下文中，Emu3可以自然地擴展視頻并預測接下來會發生什么。模型可以模擬物理世界中環境、人和動物。

Emu3技術細節

1 數據

Emu3是在語言、圖像和視頻混合數據模態上從頭開始訓練的。

語言數據：使用與Aquila模型相同的語言數據，一個由中英文數據組成的高質量語料庫。

圖像數據：構建了一個大型圖像文本數據集，其中包括開源網絡數據、AI生成的數據和高質量的內部數據。整個數據集經過了分辨率、圖片質量、類型等方面的過濾過程。訓練了一個基于Emu2的圖像描述模型來對過濾后的數據進行標注以構建密集的圖像描述，并利用vLLM庫來加速標注過程。

視頻數據：收集的視頻涵蓋風景、動物、植物和游戲等多個類別。

整個視頻處理流程包括了場景切分、文本過濾、光流過濾、質量評分等階段。并使用基于圖像描述模型微調得到的視頻描述模型來對以上過濾后的視頻片段打標文本描述。

2 統一視覺Tokenizer

在SBER-MoVQGAN的基礎上訓練視覺tokenizer，它可以將4×512×512的視頻片段或512×512的圖像編碼成4096個離散token。它的詞表大小為32,768。Emu3的tokenizer在時間維度上實現了4×壓縮，在空間維度上實現了8×8壓縮，適用于任何時間和空間分辨率。

此外，基于MoVQGAN架構，在編碼器和解碼器模塊中加入了兩個具有三維卷積核的時間殘差層，以增強視頻token化能力。

3 架構

Emu3保留了主流大語言模型（即 Llama-2）的網絡架構。不同點在于，其擴展了Llama-2架構中的嵌入層，以容納離散的視覺token。網絡中使用RMSNorm進行歸一化。其還使用了GQA注意力機制、SwiGLU激活函數和一維旋轉位置編碼（RoPE）等技術，并并去除了注意力模塊中QKV層和線性投影層中的偏置。此外，還采用了0.1的dropout率來提高訓練的穩定性，使用QwenTokenizer對多語言文本進行編碼。詳細架構配置表。

4 預訓練

在預訓練過程中，首先要定義多模態數據格式。與依賴外部文本編碼器的擴散模型不同，Emu3 原生集成了用于生成圖像/視頻的文本條件信息。在視覺和語言的固有token中新增了五個特殊token來合并文本和視覺數據，以為訓練過程創建類似文檔的輸入。生成的訓練數據結構如下：

[BOS] {caption text} [SOV] {meta text} [SOT] {vision tokens} [EOV] [EOS]

其中，[BOS]?和?[EOS]?是QwenTokenizer中的原始特殊token 。

額外新增的特殊token包括：

• [SOV]表示視覺輸入（包含圖像和視頻的meta信息部分）的開始
• [SOT]表示視覺token的開始
• [EOV]表示視覺輸入的結束。

此外，特殊token?[EOL]?和?[EOF]?作為換行符和換幀符插入到了視覺token中。元文本包含圖像的分辨率信息，視頻則包括分辨率、幀率和持續時間，均以純文本格式呈現。在構建理解數據時，Emu3將部分數據中的 “caption text”字段移至[EOV] token之后。

訓練目標：由于 Emu3 中的視覺信號已完全轉換為離散token，因此只需使用標準的交叉熵損失進行下一個token預測任務的訓練。為了防止視覺token在學習過程中占據主導地位，對與視覺token相關的損失加權 0.5。

訓練細節：Emu3 模型在預訓練期間利用非常長的上下文長度來處理視頻數據。 為便于訓練，采用了張量并行（TP）、上下文并行（CP）和數據并行（DP）相結合的方法。同時將文本和圖像數據打包成最大上下文長度，以充分利用計算資源，同時需要確保在打包過程中不會分割完整的圖像。

預訓練過程分為兩個階段，第一階段不使用視頻數據，訓練從零開始，文本和圖像數據的上下文長度為 5,120；在第二階段，引入視頻數據，并使用 131,072 的上下文長度。

5 SFT階段

5.1 視覺生成

質量微調：在預訓練階段之后，對視覺生成任務進行后訓練，以提高生成輸出的質量。使用高質量數據進行質量微調。

直接偏好優化：Emu3在自回歸多模態生成任務中采用直接偏好優化（Direct Preference Optimization，DPO）技術，利用人類偏好數據來提高模型性能。

5.2 視覺語言理解

預訓練模型經過兩個階段的視覺語言理解后訓練過程：1) 圖像到文本的訓練以及 2) 指令調整。

第一階段：將圖像理解數據與純語言數據整合在一起，而與視覺token相關的損失則在純文本預測中被忽略。

第二階段：利用 LLaVA 數據集中的約 320 萬個問答對進行指令微調。低于 512 × 512 或高于 1024 × 1024 的圖片將被調整到較低或較高的分辨率，同時保持相應的長寬比，而其他圖片則保持原始分辨率。

開源地址

除了先前經SFT的Chat模型和生成模型外，智源研究院還在近日開源了Emu3生成和理解一體的預訓練模型以及相應的SFT訓練代碼，以便后續研究和社區構建與集成。

代碼：https://github.com/baaivision/Emu3
項目頁面：https://emu.baai.ac.cn/
模型：https://huggingface.co/collections/BAAI/emu3-66f4e64f70850ff358a2e60f

未來方向

Emu3為多模態AI指出了一條富有想象力的方向，有機會將AI基礎設施收斂到單一技術路線上，為大規模的多模態訓練和推理提供基礎。統一的多模態世界模型未來有廣泛的潛在應用，包括自動駕駛、機器人大腦、智能眼鏡助手、多模態對話和推理等。預測下一個token有可能通往AGI。