37項SOTA！全模態(tài)預訓練范式MiCo：理解任何模態(tài)并學習通用表示

明敏 2024-06-16 16:01:25 來源：量子位

MiCo團隊 投稿

量子位 | 公眾號 QbitAI

GPT-4o掀起一股全模態(tài)（Omni-modal）熱潮，去年的熱詞多模態(tài)仿佛已經(jīng)不夠看了。

要構(gòu)建全模態(tài)智能，意味著能夠理解任何模態(tài)并學習通用表示 (Universal Representations)。

現(xiàn)在，港中文、中科院等提出了一種大規(guī)模的全模態(tài)預訓練范式，稱為多模態(tài)上下文MiCo（Multimodal Context），它可以在預訓練過程中引入更多的模態(tài)，數(shù)據(jù)量，模型參數(shù)。

借助 MiCo，團隊預訓練的模型在多模態(tài)學習中表現(xiàn)出極為令人印象深刻的性能，在目前主流的三大類任務上的評估結(jié)果顯示出：

• 10種不同模態(tài)的單模態(tài)感知基準。
• 25種跨模態(tài)理解任務，包括檢索、問答、描述。
• 18種多模態(tài)大型語言模型基準，MiCo取得了37項最強性能的記錄。

大規(guī)模全模態(tài)預訓練

在AI的發(fā)展歷程中, 大規(guī)模的預訓練已經(jīng)逐漸成為一種非常有前景的途徑來實現(xiàn)通用智能（譬如大規(guī)模訓練的GPT-4o, LLaMA, Stable Diffusion）。

其中圖文對比學習是社區(qū)最有影響力的預訓練方法之一，比如，CLIP構(gòu)建起了數(shù)百萬的圖文數(shù)據(jù)對來實現(xiàn)跨模態(tài)的對比學習。

研究者將這樣的對比學習范式推廣到了更多的數(shù)據(jù)模態(tài)上（音頻，點云）同時也實現(xiàn)了更深入的語義理解（LLaVA, VideoChat）。

但是在這多模態(tài)與AIGC的時代里，越來越多的數(shù)據(jù)模態(tài)（比如，音頻，3D內(nèi)容等）被廣泛使用時，僅限于圖文預訓練的基礎模型帶來了包括多模態(tài)錯位、誤解、幻覺和偏見放大等問題，這些難題都阻礙了連貫的多模態(tài)理解（coherent multimodal understanding）。

因此，團隊希望提出一種能適用于全模態(tài)（不局限于僅圖文音視頻3D內(nèi)容）的大規(guī)模預訓練方法，如圖所示，團隊將視頻與相配對的音頻、文字描述、深度還有法線進行聯(lián)合預訓練。

如何設計全模態(tài)預訓練中的神經(jīng)網(wǎng)絡結(jié)構(gòu)？

參考人腦中多模態(tài)認知的過程，如下圖所示，根據(jù)理查德·梅耶的多媒體學習認知理論（Richard E Mayer. Multimedia learning. In Psychology of learning and motivation, volume 41,305 pages 85–139. Elsevier, 2002.），人腦對耳朵和眼睛的感知內(nèi)容（圖/文/視頻/音頻/3D）有兩個不同的通道來處理他們的感覺記憶。

感覺記憶通過文字將這些多模態(tài)信號與先驗知識整合在一起，將新的多媒體信息轉(zhuǎn)化為長期記憶。

由此團隊能推斷：1）大腦中的多媒體信號共享感知通道，2）文字在大腦中充當推理接口。

受此啟發(fā)，團隊將不同的模態(tài)分為兩類：“知識模態(tài)”和“接口模態(tài)”。

知識模態(tài)主要來自原始傳感器，以不同的形式貢獻知識。例如，圖像和深度圖提供視覺知識，而音頻和視頻提供聽覺和時空知識。人類語言模態(tài)本質(zhì)上更為抽象，自然地作為了接口模態(tài)，促進大腦學習、推理和知識的協(xié)調(diào)。

為此，團隊設計了一個全模態(tài)學習架構(gòu)（詳細嚴謹?shù)慕Y(jié)構(gòu)設計見文3.2），如上圖 (b) 所示，它有兩個不同的分支：一個用于知識模態(tài)，一個用于接口模態(tài)，即自然語言。知識和界面模態(tài)通過一種新穎的生成推理方法進行對齊（見方法3.4）。

大規(guī)模的全模態(tài)預訓練算法：多模態(tài)上下文與多模態(tài)尺度定律(Scaling Law)

“上下文”這一概念在本文指的是在注意力機制為序列中的每個標記分配一個唯一向量來強化了位置之間的潛在關聯(lián)。

不同的模態(tài)（例如，文本、圖像、音頻）提供了互補信息，因此學習多模態(tài)的上下文可以更全面、細致地理解數(shù)據(jù)，還可以利用每種模態(tài)的優(yōu)勢，引導模型理解不同類型信息之間的交互。因此，團隊尋求構(gòu)建跨越不同模態(tài)的上下文關系，使得模態(tài)之間能夠相互增強（見下圖）并將學習能力擴展到全模態(tài)。

多模態(tài)配對數(shù)據(jù)中的多模態(tài)上下文

首先團隊構(gòu)建了多模態(tài)配對數(shù)據(jù)的數(shù)據(jù)集 （圖像，深度，法線，圖像的配對文字，音頻，音頻配對文字，視頻，視頻配對文字）。

然后使用一個全模態(tài)編碼器(ViT) 提取多模態(tài)特征，然后使用文本編碼器提取文本特征。通過自上而下的設計構(gòu)建多模態(tài)上下文關系：

1. 對于整個多模態(tài)Embeddings，它們共享一套位置編碼，以構(gòu)建跨越不同模態(tài)的融合上下文關系。
   2.然后，對于每個特定模態(tài)的上下文，它們通過不同的模態(tài)標記來指示模態(tài)類別。
2. 在同一模態(tài)上下文中，團隊使用單獨的上下文編碼構(gòu)建單一模態(tài)上下文關系（詳見原文）上下文編碼取決于特定模態(tài)的樣本長度。

同時，不同模態(tài)的配對文本內(nèi)容可以簡單的拼接起來，其位置編碼同樣是共享的：

多數(shù)據(jù)集中的多模態(tài)上下文：圖-文/音頻-文字/視頻-文字等

團隊提出的范式還可以利用現(xiàn)有的大規(guī)模文本-圖像、文本-音頻和文本-視頻數(shù)據(jù)集，共同預訓練模型來學習通用表征。給定數(shù)據(jù)集 圖文/音頻-文字/視頻-文字數(shù)據(jù)集，每對數(shù)據(jù)擁有局部的簡單的上下文，例如，圖文數(shù)據(jù)對在CLIP中僅對應一個簡單的上下文，這可能會限制模型學習表征（工程中增大Batch Size來緩解）。團隊提出通過跨數(shù)據(jù)集的聯(lián)合采樣，使用采樣編碼(Sampling Embeddings) 標記同一個數(shù)據(jù)集的配對數(shù)據(jù)，再層次化地在多數(shù)據(jù)之間構(gòu)建多模態(tài)上下文。

通過這種方式，團隊成功地結(jié)合了現(xiàn)有的多種跨模態(tài)數(shù)據(jù)集，通過構(gòu)建更通用和復雜的多模態(tài)上下文（見上述公式）來預訓練模型，從而實現(xiàn)更好的泛化學習能力、更完善的模態(tài)擴展性和數(shù)據(jù)擴展性來超越現(xiàn)有的預訓練方法。

實驗結(jié)果

10種單模態(tài)感知基準: 7項SOTA

25種跨模態(tài)檢索、問答、描述基準: 20項SOTA

18種多模態(tài)大模型問答基準：10項SOTA

結(jié)論

在本文中，團隊提出了一個新的大規(guī)模預訓練框架 MiCo，用于訓練具有全模態(tài)理解能力的基礎模型。通過大規(guī)模的實驗，團隊得出結(jié)論，全模態(tài)學習的關鍵是模擬人腦的多模態(tài)認知過程。在 MiCo中，團隊使用RGB圖像、深度和法線圖來模擬人類視覺認知的基本視覺感知能力、距離空間感知和幾何感知。

此外，文字描述、音頻和視頻提供先驗知識、聽覺感知，時空感知能力，有效地提升了模型的對于多模態(tài)信息的理解能力，在未來的工作中，團隊計劃通過結(jié)合其他更多模態(tài)來繼續(xù)增強全模態(tài)聯(lián)合預訓練，包括光流、IMU 數(shù)據(jù)和事件文件等。

團隊相信MiCo中多模態(tài)上下文預訓練算法是人工智能模擬人腦多模態(tài)認知的重要嘗試，團隊期待它能夠啟發(fā)未來的工作，開發(fā)更強大的全模態(tài)基礎模型。

項目網(wǎng)站：https://invictus717.github.io/MiCo/
開源代碼：https://github.com/invictus717/MiCo
Hugging Face模型：https://huggingface.co/Yiyuan/MiCo-ViT-g-14-omnimodal-300k-b64K