國產開源新標桿！20B大模型，性能媲美Llama2-70B，單卡可推理

明敏 發自 凹非寺

量子位 | 公眾號 QbitAI

國產新標桿：免費可商用的200億參數大模型，來了！

書生·浦語大模型（InternLM）20B版本正式發布，一舉刷新國內新一代大模型開源紀錄。

它由上海人工智能實驗室（上海AI實驗室）與商湯科技聯合香港中文大學和復旦大學共同推出。

在綜合性能上全面領先相近量級開源模型，包括Llama2-33B、Llama2-12B等。評測成績達到Llama2-70B水平——要知道后者參數量是InternLM-20B的3倍多。

此外它還具備以下幾方面亮點：

• 支持數十類插件、上萬個API功能，在ToolBench上獲得最佳結果
• 支持16K語境長度。
• 采用深結構，模型層數達60層
• 推理與編程能力顯著提升

另一邊，書生·浦語開源工具也做了全線升級，支持大模型從頭打造到落地應用。

如上所有成果發布即開源，支持向企業和開發者提供免費商業授權。最新模型也已在阿里云魔搭社區（ModelScope）上首發。

這也是書生·浦語系列大模型，再一次升級和開源。

自今年6月首發以來，書生·浦語大模型在短短三個月時間里先后開源7B版本、推出123B版本，并率先在業內開源全鏈條工具體系。

屬實是在開源這個方向上“卷”起來了~

而在這一系列緊鑼密鼓動作背后，其實是由趨勢、市場及自身使命共同推動。

上海AI實驗室領軍科學家林達華在解釋最新進展時表示，技術浪潮最終要帶來科技革命，科技革命如何向前發展，能沉淀下來什么非常關鍵。

上海AI實驗室想做的，就是帶來更多沉淀，更進一步引領國產力量在新一輪技術革命中搶占優勢身位。

作為實驗室，我們能提供基礎模型以及將各行業的Know-how融匯成數據、模型能力的一系列工具，并且將它們做的非常易用、教會更多人用，讓它們能在各個行業里開花結果。

那么，具體該怎么做？已經做到了什么？

來看看最新發布的InternLM-20B，就能找到答案。

同量級開源模型的“國貨之光”

目前大模型領域的開源工作，上海AI實驗室主要關注了兩部分：

大模型，以及生產大模型的工具。

先來看最新開源的200億參數規模大模型。

InternLM-20B是基于2.3T token預訓練語料從頭訓練的語言大模型。

相較于此前推出的InternLM-7B，訓練語料經過了更高水平的多層次清洗，補充了高知識密度和用于強化理解及推理能力的訓練數據。

所以，模型在理解、推理、數學、編程等方面能力更為突出。同時也兼具了工具調用能力，在安全和語境長度上也做了進一步加強。

多個測評性能領先

直觀對比可以參考OpenCompass大模型評測平臺結果。

研究人員在涵蓋語言、知識、理解、推理和學科能力等武大維度的50個主流評測集上，對InternLM-20B進行全面比較。

結果顯示，InternLM-20B在全維度上領先于開源13B量級模型，平均成績不僅明顯超越了Llama-33B，甚至優于被稱為開源模型的標桿Llama2-70B。

具體數據結果如下：

可以看出，InternLM-20B在語言、學科綜合評測上都超越Llama2-70B。

在推理能力評測上和Llama2-70B持平，而知識方面則仍有一定差距。

同時，InternLM-20B也在其他多個主流數據集上進行了對比。

首先來看綜合能力。

在MMLU上，InternLM-20B取得62.05的成績，接近Llama-65B的水平。

在包含中文學科考試的C-Eval和AGIEval上，InternLM-20B的表現超過了Llama2-70B。

其次是理解能力考察，這里使用了CMRC、CSL、RACE和XSum幾個數據集，它們分別面向百科知識、科技文獻、學生閱讀理解以及文獻摘要評測。

在這一維度，InternLM-20B表現突出，全面超越包括Llama2-70B在內的各個量級的開源模型。

然后是推理方面，這也是大模型能否支撐實際應用的關鍵能力。

WinoGrande、GSM-8K、PIQA、BigBench-Hard（BBH）分別考察模型在常識推理、數學推理、物理相關推理、以及有挑戰性的綜合推理方面的能力。

InternLM-20B均獲得明顯超越主流的13B開源模型的成績，在 WinoGrande、GSM8K和PIQA已經非常接近Llama-65B此類重量級模型的推理能力水平。

最后在編程方面，InternLM-20B也有明顯提升。

在HumanEval和MBPP兩個典型評測集上，全面超越了主流13B開源模型、Llama-33B和Llama-65B，接近Llama2-70B。

調用工具可“無師自通”

更進一步來看實際應用方面。

InternLM-20B對話模型支持了日期、天氣、旅行、體育等數十個方向的內容輸出及上萬個不同的 API。

在清華大學等機構聯合發布的大模型工具調用評測集ToolBench 中，InternLM-20B和 ChatGPT 相比,達到了63.5%的勝率，在該榜單上取得了最優結果。

值得一提的是，InternLM-20B模型還展現出一定的零樣本泛化能力。

即便是沒有學習過的工具，也能根據描述和提問作為引導，實現調用。

給它一個任務，同時提供AI工具，模型就能自己選擇好對應插件，進行規劃和推理，完成任務。

比如讓它描述圖片內容并且轉成語音。

模型能自己從鏈接里找到需要的工具：圖像描述和文字轉語音，并且給出了“思考步驟”，然后解決了問題。

另外，InternLM-20B在安全性和語境長度上也做了增強。

面對疑似帶有偏見的問題，模型不僅會拒絕回答，并且能給出不安全因素、正確價值觀引導。

語境長度上從原來的8K提升到了16K。

現在InternLM-20B能有效支持長文理解、長文生成和超長對話。

比如看一整篇醬香拿鐵的文章都沒問題，還能正確回答提問。

同時也提升了總結摘要能力。

全鏈條工具體系大升級

而對于開發者來說，僅有開源模型還不夠，好用的工具也也尤為關鍵。

由此，在今年7月InternLM-7B開源時，上海AI實驗室等就率先開源了覆蓋數據、預訓練、微調、部署和評測的全鏈條工具體系。

如今隨著更大規模模型的開源，這一工具體系也進行升級，并面向全社會提供免費商用。

數據方面，書生·萬卷是上海AI實驗室開源的多模態語料庫，包含文本數據集、圖文數據集、視頻數據集三部分，數據總量超過2TB。目前，書生·萬卷1.0已被應用于書生·多模態、書生·浦語的訓練。

預訓練部分，本次還開源了InternLM-Train。

它深度整合Transformer模型算子，提升訓練效率；同時提出Hybrid Zero技術，實現了計算和通信的高效重疊，訓練過程中的跨節點通信流量大大降低。能實現千卡并行計算，訓練性能達到了行業領先水平。

微調方面，低成本大模型微調工具箱XTuner也在近期開源，支持多種大模型和LoRA、QLoRA等微調算法。

通過XTuner，最低只需 8GB 顯存，就可以對7B模型進行低成本微調，20B模型的微調也能在24G顯存的消費級顯卡上完成。

部署方面提供了LMDeploy，它涵蓋大模型的全套輕量化、推理部署和服務解決方案，支持了從十億到千億參數的高效模型推理，在吞吐量等性能上超過了社區主流開源項目 FasterTransformer，vLLM，Deepspeed等。

評測部分則是上面提到過的OpenCompass平臺，它構建了包含學科、語言、知識、理解、推理五大維度的評測體系，支持了超過50個評測數據集和30萬道評測題目，支持零樣本、小樣本及思維鏈評測，是目前最全面的開源評測平臺。

發布后被阿里巴巴、騰訊、清華大學等數十所企業與科研機構廣泛應用于大語言模型和多模態模型研發。

最后，團隊還關注到了大模型領域的熱門應用智能體，開源了智能體框架Lagent，支持用戶快速地將一個大語言模型轉變為多種類型的智能體。

這套開源框架集合了多種類型的智能體能力，包括ReAct、AutoGPT 和 ReWoo 等，支持包括InternLM，Llama，ChatGPT在內的多個大語言模型。在Lagent加持下，這些智能體能夠調用大語言模型進行規劃推理和工具調用，并在執行過程中及時進行反思和自我修正。

總之，無論是從大模型本身，還是全鏈條工具體系出發，研究團隊都非常關注大模型的實際應用問題，并將這些思考體現在了實際開源工作里。

比如開源模型規模選擇了相對適中的200億參數級別；推出了低成本大模型微調工具箱XTuner，降低模型微調顯存要求。

甚至是模型的底層架構設計上，也有來自實際應用方面的思考。

InternLM-20B的模型層數設定為60，遠超過常見7B、13B模型采用的32層或者40層設計，同時內部維度保持在5120，處于適中水平。

這是因為研究人員發現，目前大模型在適配下游任務時，對準確性和推理能力提出更高要求，但同時大家運行太大規模的模型都相對吃力，所以希望出現一個規模適中、性能又好的大模型。

他們通過廣泛的對照實驗發現，提高模型深度更有利于提升復雜推理能力，由此提出了這一深結構的模型架構。

那么問題來了——

為什么要如此關注模型的開源、降門檻問題？

做開源是使命

背后原因，有趨勢方面的直接影響，也有內在因素驅動。

直接原因來自市場需求。

上海AI實驗室領軍科學家林達華介紹，今年上半年出現了多個70億參數級別的大模型，在一定程度上展現了不錯的能力。

但隨著趨勢演進，如今行業內外更加關注大模型的應用落地問題，70億參數大模型在滿足實際商業應用方面遇到了很多問題。

也就是說，當下需要更大規模的開源大模型。

而200億參數規模，剛好能兼顧高性能和低門檻。

林達華表示這是取了一個中間值。

7B規模屬于輕量級模型，70B屬于重量級，這之間差了十倍。而20B剛好是7B的三倍左右，同時也是65B-70B的三分之一左右。

同時20B規模給硬件層面提出的要求也不高。一臺服務器可完成訓練、微調，單卡即可搞定推理。

更大范圍還有來自趨勢的影響。

今年，大模型熱潮走入下半場，推理應用的需求不斷增長。

業內普遍認為，大模型的最終應用不會局限在幾家頭部公司，而是全社會、各個行業、不同企業都能深入其中。

同時大模型趨勢也需要非常多的開發者、企業、機構加入，帶來更多創造力，把大模型價值落地，才能讓這一波技術浪潮的影響更為廣泛。

林達華也透露，在他們日常接觸到的開發者/群體中，不乏中小企業、研究組，甚至是一個學生或者研究員。

他們有想法、有創新力，唯一缺的就是資源。

所以需要開源出來更為強大的基礎模型、更好用的開發工具，推動廣大開發者能在低成本情況下落地大模型，從而產生更多領域內價值。

最后，堅持開源是上海AI實驗室一直以來的使命，也是他們擅長的事。

在此之前，上海AI實驗室搭建了開源平臺體系OpenXLab，其中包括浦視視覺智能開源平臺OpenMMLab、浦策決策智能開源平臺OpenDILab、書生通用視覺開源開放平臺OpenGVLab等十余個開放平臺。

今年6月，InternLM千億參數語言大模型（104B）首次對外發布。

僅一個月后便推出開源的7B版本，供免費商用，并率先在業內開源了全鏈條工具體系。

8月，實驗室聯合多個大模型語料數據聯盟成員，共同發布“書生·萬卷1.0”多模態預訓練語料庫，開源了涵蓋文本、圖文和視頻在內總量超過2TB的大模型訓練數據。

由此，也就不難理解為什么InternLM-20B會在此時被推出。

而InternLM-20B的開源，不僅給開發者們帶來了實用的模型，同時也為開源社區本身提供了一些經驗參考。

具體來看可以體現在三方面：

• 內部驗證再開源
• 密切關注社區反饋
• 結合自身技術趨勢思考

林達華介紹，上海AI實驗室做開源的邏輯其實非常簡單，就是內部怎么做，便把這樣的技術體系分享出來。

這就是全鏈條工具體系開源的起點。

在開發書生·浦語大模型時，團隊內部沉淀出了一套研發體系，它由數據、預訓練、應用等團隊構成，模型訓練出來后也需要有專門團隊來做評測。

每個團隊在推進這些工作時，自然會沉淀下來一整套工具。他們就將自己研發過程中使用的東西，直接開源出來。

而且，這種開源是格外有底氣且有效率的——因為經過內部驗證后，可以確保工具好用，最終也一定會被更多人利用起來。

另一方面，開源模型、工具好不好用，還一個主要評判維度就體現在了細節上。

開發者們來自學術界、工業界，大家需求存在差異，開源團隊需要能及時關注到這些需求。

在這方面，上海AI實驗室已經構建了活躍的開源社區，有專門團隊看社區反饋，然后對模型進行迭代升級。同時也會對大家提出的各種問題進行解答。

以及團隊的開源步驟如何推進，也是最大限度從社區需求出發。

而除此之外，更為底層的開源邏輯在于，團隊本身是否對趨勢洞察足夠敏感，并能帶來原始性創新。

比如在InternLM-20B的開源工作中，林達華反復提及了團隊對于推理部分的重視。

在這背后其實是大模型趨勢再更進一步向實際應用傾斜。而對于這一點的洞察，團隊在今年3、4月就已意識到了。

并且團隊能夠在洞察趨勢后，給出提高應用能力的解決路線——提升數理、代碼、工具能力。

在數理方面，團隊不僅用常規數學數據訓練模型，更進一步將語料構建成了知識體系，形成一個知識密度、邏輯密度非常高的數據庫。某種程度上，在這里1個token相當于普通數據10個、甚至更多token的效力。由此能更進一步催生大模型能力。

代碼方面，InternLM-Chat-7B v1.1是首個具備代碼解釋能力的開源對話模型，支持Python解釋器、搜索引擎等外部工具來拓展能力邊界。

工具方面，林達華認為當下大模型的核心應用早已不局限在聊天這個范疇，更大的需求體現在如何讓大模型成為一個聰明的中央大腦。

所以在最新的開源工作中，我們看到了模型在工具調用方面的加強，并且具備反思修正能力。

總之，在開源方面，上海AI實驗室已經沉淀出了一套自己的方法論。

用最簡要的一句話來概括，那就是——

堅持完整、持續的開源

不可否認，年初的ChatGPT熱潮正在逐漸消散。

而熱浪褪去后的沉淀，才是推動技術革命向前發展的關鍵。

在這樣的背景下，上海AI實驗室想做的，就是帶來更多沉淀。

作為實驗室，我們能提供基礎模型以及將各行業的Know-how融匯成數據、模型能力的一系列工具，并且將它們做的非常易用、教會更多人用，讓它們能在各個行業里開花結果。

提出這樣宏大的愿景，底氣是什么？

當然有人才、算力、數據作為底層支柱，但更為關鍵的還是上海AI實驗室，已經形成了非常高效的研究閉環。

從頭開發大模型是一個相當復雜的系統工程，OpenAI、Google都沒有公布過具體研發細節，這意味著每一個發起攻堅的團隊都要自己摸索路線。

上海AI實驗室的做法是，把大模型需要突破的維度再細分成若干個不同維度，比如具體到語言、推理、編程、數理等方面，然后由不同小組團隊負責。

每個小組都會在解決一個問題后，沉淀出很多Know-how，實驗室在最后會將這些Know-how匯總，形成下一版模型訓練的配方。

換言之，在上海AI實驗室內部形成了一套異常嚴謹、高效、緊密合作的研發模式。

這便使得他們能以更快速度、進行更極致創新。

如今，上海AI實驗室的開源工作還在緊鑼密鼓進行中。據透露，他們下一步將逐步開源和應用結合更緊密的模型；同時也正在考慮開源一些產品級應用。

總之，從愿景落到實處，上海AI實驗室希望通過開源，不斷降低大模型門檻。

正如林達華所說：

大模型的最終價值和任何技術都一樣，都要在應用中產生價值。

而這或許才是當下大模型趨勢里，大家最應該“卷”的方向。

你覺得呢？