OCR終結(jié)了？曠視提出支持文檔級(jí)OCR的多模態(tài)大模型，支持中英文
還能一鍵Markdown
國(guó)科大&曠視團(tuán)隊(duì) 投稿
量子位 | 公眾號(hào) QbitAI
想將一份文檔圖片轉(zhuǎn)換成Markdown格式？
以往這一任務(wù)需要文本識(shí)別、布局檢測(cè)和排序、公式表格處理、文本清洗等多個(gè)步驟——
這一次，只需一句話命令，多模態(tài)大模型Vary直接端到端輸出結(jié)果：
無(wú)論是中英文的大段文字：
還是包含了公式的文檔圖片：
又或是手機(jī)頁(yè)面截圖：
甚至可以將圖片中的表格轉(zhuǎn)換成latex格式：
當(dāng)然，作為多模大模型，通用能力的保持也是必須的：
Vary表現(xiàn)出了很大的潛力和極高的上限，OCR可以不再需要冗長(zhǎng)的pipline，直接端到端輸出，且可以按用戶的prompt輸出不同的格式如latex 、word 、markdown。
通過(guò)大模型極強(qiáng)的語(yǔ)言先驗(yàn)，這種架構(gòu)還可以避免OCR中的易錯(cuò)字，比如“杠桿”和“杜桿”等， 對(duì)于模糊文檔，也有望在語(yǔ)言先驗(yàn)的幫助下實(shí)現(xiàn)更強(qiáng)的OCR效果。
項(xiàng)目一出，引發(fā)了不少網(wǎng)友的關(guān)注，有網(wǎng)友看后直呼“kill the game！”
那么這樣的效果，是如何做到的呢？
受大模型啟發(fā)打造
目前的多模態(tài)大模型幾乎都是用CLIP作為Vision Encoder或者說(shuō)視覺(jué)詞表。確實(shí)，在400M圖像文本對(duì)訓(xùn)練的CLIP有很強(qiáng)的視覺(jué)文本對(duì)齊能力，可以覆蓋多數(shù)日常任務(wù)下的圖像編碼。
但是對(duì)于密集和細(xì)粒度感知任務(wù)，比如文檔級(jí)別的OCR、Chart理解，特別是在非英文場(chǎng)景，CLIP表現(xiàn)出了明顯的編碼低效和out-of-vocabulary問(wèn)題。
純NLP大模型（如LLaMA）從英文過(guò)渡到中文（對(duì)大模型來(lái)說(shuō)是“外語(yǔ)”）時(shí)，因?yàn)樵荚~表編碼中文效率低，必須要擴(kuò)大text詞表才能實(shí)現(xiàn)較好的效果。
正是這一特點(diǎn)給研究團(tuán)隊(duì)帶來(lái)了啟發(fā)。
現(xiàn)在基于CLIP視覺(jué)詞表的多模態(tài)大模型，面臨著同樣的問(wèn)題，遇到“foreign language image”，如一頁(yè)論文密密麻麻的文字，很難高效地將圖片token化。
而Vary就是這一問(wèn)題的一種解決方案，它可以在不重建原有詞表前提下，高效擴(kuò)充視覺(jué)詞表。
不同于現(xiàn)有方法直接用現(xiàn)成的CLIP詞表，Vary分兩個(gè)階段：
第一階段先用一個(gè)很小的decoder-only網(wǎng)絡(luò)用自回歸方式幫助產(chǎn)生一個(gè)強(qiáng)大的新視覺(jué)詞表；
然后在第二階段融合新詞表和CLIP詞表，從而高效地訓(xùn)練LVLM擁有新feature。
Vary的訓(xùn)練方法和模型結(jié)構(gòu)如下圖：
通過(guò)在公開(kāi)數(shù)據(jù)集以及渲染生成的文檔圖表等數(shù)據(jù)上訓(xùn)練，Vary極大增強(qiáng)了細(xì)粒度的視覺(jué)感知能力。
在保持vanilla多模態(tài)能力的同時(shí)，激發(fā)出了端到端的中英文圖片、公式截圖和圖表理解能力。
另外，研究團(tuán)隊(duì)注意到原本可能需要幾千tokens 的頁(yè)面內(nèi)容，通過(guò)文檔圖片輸入，信息被Vary壓縮在了256個(gè)圖像tokens中，這也為進(jìn)一步的頁(yè)面分析和總結(jié)提供了更多的想象空間。
目前，Vary的代碼和模型均已開(kāi)源，還給出了供大家試玩的網(wǎng)頁(yè)demo。
感興趣的小伙伴可以去試試了～
主頁(yè)：
https://varybase.github.io/
GitHub:
https://github.com/Ucas-HaoranW
- 論文自動(dòng)變漫畫(huà)PPT！Nano Banana同款用秘塔免費(fèi)生成，還有一對(duì)一語(yǔ)音講解2025-12-09
- 智能體A2A落地華為新旗艦，鴻蒙開(kāi)發(fā)者新機(jī)遇來(lái)了2025-12-06
- 14歲華人小孩，折個(gè)紙成美國(guó)天才少年2025-12-06
- 《三體》“宇宙閃爍”成真！免佩戴裸眼3D屏登Nature2025-12-06
相關(guān)閱讀
大語(yǔ)言模型擊敗擴(kuò)散模型！視頻圖像生成雙SOTA，谷歌CMU最新研究，一作北大校友
業(yè)內(nèi)首次證據(jù)證明
GPT-4o能拼好樂(lè)高嗎？首個(gè)多步空間推理評(píng)測(cè)基準(zhǔn)：閉源模型領(lǐng)跑
多模態(tài)大模型的真實(shí)“空間智商”究竟如何
北大最新多模態(tài)大模型開(kāi)源：混合數(shù)據(jù)集訓(xùn)練，圖像視頻任務(wù)直接用
3天訓(xùn)完130億參數(shù)通用VLM
