多模態(tài)大模型的多語種文字理解能力還有很長的路要走，字節(jié)、華科聯(lián)合發(fā)布MTVQA Bench

夢晨 2024-06-21 15:54:56 來源：量子位

MTVQA Bench團(tuán)隊(duì) 投稿
量子位 | 公眾號 QbitAI

近期多模態(tài)大模型(MLLM)在視覺文本理解領(lǐng)域取得了顯著進(jìn)展，比如開源模型InternVL 1.5、MiniCPM-Llama3-V 2.5、TextMonkey, 閉源模型GPT-4o、Claude等，甚至在某些方面展現(xiàn)了超越人類的能力。

然而，當(dāng)前的評估主要集中在英文和中文的語言環(huán)境中，對于更具挑戰(zhàn)的多語種環(huán)境，研究還相對缺乏。在全球化的今天，多語言環(huán)境越來越多的出現(xiàn)在人們?nèi)粘Ｉ钪校步o人工智能的發(fā)展帶來了很大的挑戰(zhàn)。

MTVQA（Multilingual Text-Centric Visual Question Answering）基準(zhǔn)測試正是在這樣的背景下應(yīng)運(yùn)而生，專注于以多語言文字為中心的視覺問答,旨在填補(bǔ)現(xiàn)有評測基準(zhǔn)在多語種視覺文本領(lǐng)域的空白。

MTVQA涵蓋了阿拉伯語、韓語、日語、泰語、越南語、俄語、法語、德語和意大利語等9種語言，收集整理了自然場景和文檔場景下的多語種富文本圖片，如菜單、路標(biāo)、地圖、賬單、PPT、論文、圖表等。問答對都經(jīng)過人類專家的精心標(biāo)注，以確保視覺文本與問題及答案之間的高度一致性。

在MTVQA基準(zhǔn)的測試結(jié)果顯示，無論是開源模型還是最先進(jìn)的閉源模型如GPT-4o （Acc. 27.8%），準(zhǔn)確率不到30%，開源的文檔類專家大模型表現(xiàn)也不盡如人意。

無論從哪方面來看，多語種文字理解能力都還有較大的提升空間。MTVQA重點(diǎn)關(guān)注除中英文以外廣泛使用的語言，希望能促進(jìn)多語種文字理解能力的發(fā)展，將多模態(tài)大模型的成果普及到更多的國家和地區(qū)。

論文鏈接：https://arxiv.org/abs/2405.11985

項(xiàng)目鏈接：https://bytedance.github.io/MTVQA/

背景介紹

視覺文本理解能力是多模態(tài)大模型能力中的一個(gè)關(guān)鍵維度，現(xiàn)有的benchmark如DocVQA、TextVQA、STVQA等在GPT-4o、Gemini 、Internlm VL等先進(jìn)的閉源和開源MLLMs的測評中發(fā)揮了重要作用，評估了多模態(tài)大模型在不同維度的視覺文本理解能力，但是他們都專注于中英文能力的測評，缺少一個(gè)能夠測評其他語種理解能力的benchmark。針對這些不足，字節(jié)和華科的研究者提出了MTVQA，首個(gè)全面測評多場景多語種視覺文本理解能力的benchmark。

MTVQA的構(gòu)建過程

數(shù)據(jù)收集

測試集包括1220張泛文檔類的圖片和876張自然場景的圖片，數(shù)據(jù)來源可分為三部分:
(1) 網(wǎng)絡(luò)收集的圖片，如PPT、paper、logo等。
(2) 實(shí)地采集拍攝圖片，包括各種場景，時(shí)間跨度2023年3月到2024年3月。
(3) 現(xiàn)有公開數(shù)據(jù)，從ICDAR MLT19的公開圖片中采樣了一些具有代表性的場景文本圖片。

數(shù)據(jù)標(biāo)注

所有QA數(shù)據(jù)均為經(jīng)過培訓(xùn)的母語人士進(jìn)行標(biāo)注，并進(jìn)行多輪交叉驗(yàn)證，確保問題的豐富性和答案的準(zhǔn)確性。
標(biāo)注規(guī)則：

• 問題必須和圖片中的文字內(nèi)容有關(guān)
• 每張圖片包括3個(gè)可以直接問答的問題和2個(gè)需要進(jìn)行一定推理的問題
• 答案盡可能和圖片中的文字保持一致
• 答案盡可能簡短，不重復(fù)問題的內(nèi)容

交叉評估和修改：

• 評估問題和圖片中文本內(nèi)容的相關(guān)性
• 評估答案的準(zhǔn)確性和完整性
• 道德評估，判斷是否符合人類道德規(guī)范

數(shù)據(jù)集概覽

MLLMs在MTVQA Bench上的表現(xiàn)

在MTVQA上對19個(gè)先進(jìn)的MLLM進(jìn)行來測評，包括開源和閉源模型，測評結(jié)果如下:

實(shí)驗(yàn)結(jié)果發(fā)現(xiàn)：

多語種文字理解現(xiàn)階段任然是非常有挑戰(zhàn)性的任務(wù)。盡管GPT-4o在大部分語種和總體成績上取得了第一名的成績，但是平均準(zhǔn)確率只有27.8，相比于多模態(tài)大模型的英文理解能力，差距明顯，更別談和人類的差距了。

開源模型和閉源模型存在較大的差距。最優(yōu)的開源模型是MiniCPM-V 2.5，取得了18.9%的成績，但距離頂尖的閉源模型如QwenVL Max, Gemini Ultra, Claude3 Opus, GPT-4o等還比較遠(yuǎn)。

以文字理解為中心的多模態(tài)大模型并沒有明顯的優(yōu)勢。研究者選取了最近的3個(gè)以視覺文字理解為中心的MLLM，mPLUG-DocOwl 1.5，TextMonkey，TextSquare，發(fā)現(xiàn)最優(yōu)的TextSquare相比通用MLLM MiniCPM-V 2.5并沒有優(yōu)勢（15.6 vs. 18.9）。

不同語種的理解能力差距明顯。拉丁類的語種如意大利語、德語、法語的表現(xiàn)遠(yuǎn)好于非拉丁類語種如日語、韓語、俄語。這應(yīng)該是由于拉丁類語種在視覺和語義上都和英文更相似。

總結(jié)

來自字節(jié)跳動和華中科大的研究者們針對多語種視覺文本理解任務(wù)提出了新的測評基準(zhǔn)MTVQA Bench，并對多模態(tài)大模型的表現(xiàn)進(jìn)行了測評和分析。研究發(fā)現(xiàn)，多語種視覺理解任務(wù)難度很大，當(dāng)前多模態(tài)大模型表現(xiàn)較差，距離人類的水平還有很長的路要走。研究者們期待后續(xù)多模態(tài)大模型的研究和發(fā)展更加關(guān)注多語種場景，擴(kuò)大多模態(tài)大模型的應(yīng)用范圍，使得更多國家和地區(qū)的人們能夠參與其中，共享人工智能帶來的便利