國(guó)產(chǎn)大模型推理能力已超GPT-3.5！沖進(jìn)OpenAI評(píng)測(cè)榜第一梯隊(duì)

唐璜 發(fā)自 凹非寺

量子位 | 公眾號(hào) QbitAI

OpenAI開(kāi)源的數(shù)學(xué)數(shù)據(jù)集，中國(guó)廠商新成績(jī)一舉沖到最前列！

就在9月16日，國(guó)產(chǎn)大模型在權(quán)威推理評(píng)測(cè)集GSM8K中，首次達(dá)到了80%正確率，大幅領(lǐng)先GPT-3.5（57.1%）和LLaMA2-70B（56.8%）。

而且這家廠商在大模型榜單上刷新全球紀(jì)錄，已經(jīng)不是第一次了。

它背后的公司在風(fēng)起云涌的大模型技術(shù)江湖中，也頻頻被提及，越來(lái)越受關(guān)注。

不賣(mài)關(guān)子，它正是天工大模型，由昆侖萬(wàn)維打造。

怎么做到的？具體來(lái)看。

大模型推理能力Benchmark躋身前列

天工大模型這次一戰(zhàn)成名的，是大模型數(shù)學(xué)推理能力評(píng)測(cè)基準(zhǔn)，GSM8K。

GSM8K由OpenAI發(fā)布，是一個(gè)涵蓋8500個(gè)小學(xué)水平高質(zhì)量數(shù)學(xué)題的數(shù)據(jù)集，設(shè)計(jì)原則有四：

高質(zhì)量、高多樣性、中等難度和自然語(yǔ)言解決方案。

所以這家伙現(xiàn)在一般被用做測(cè)試各家大模型推理能力的Benchmark。

上個(gè)月，微軟和中國(guó)科學(xué)院聯(lián)合發(fā)布了一項(xiàng)關(guān)于WizardMath的研究結(jié)果，主要在GSM8K和另一個(gè)常見(jiàn)數(shù)學(xué)基準(zhǔn)上測(cè)試了市面上主流開(kāi)閉源大模型的性能。

閉源模型上，拿下最高分的是GPT-4，正確率92%；GPT-3.5的正確率為57.1%。

開(kāi)源模型這邊，不同參數(shù)規(guī)模的LLaMA-2最高正確率56.8%，最高分則被微軟的WizardMath-70B拿走，正確率81.6%。

那么，天工大模型的成績(jī)?cè)趺礃樱?/p>

正確率80%。

這個(gè)成績(jī)，比目前最強(qiáng)數(shù)學(xué)垂域開(kāi)源模型的WizardMath-70B低了1.6%，與ChatGPT、540B參數(shù)的PaLM-2幾乎持平。

并且大幅超過(guò)GPT-3.5和各個(gè)規(guī)模的LLaMA2。

同時(shí)在小米公開(kāi)的中文數(shù)學(xué)測(cè)試集Cmath上，天工大模型平均準(zhǔn)確率為76.8%（ChatGPT 74.8%）。

為了做個(gè)驗(yàn)證，按照慣例，天工大模型和GPT-3.5面臨了來(lái)自GSM8K測(cè)試集的英文同題考驗(yàn)。

Round one

問(wèn)：每天，Wendi給每只雞喂三杯混合雞飼料，其中包括種子、黃粉蟲(chóng)和蔬菜，以幫助它們保持健康。她分三餐給雞喂食。上午，她給雞群喂15杯飼料。下午，她再給雞喂25杯飼料。

如果Wendi有20只雞，那么一天的最后一餐，她需要給雞喂多少杯飼料？

天工大模型答，一天的最后一餐中要喂20杯飼料，才能確保雞崽子們一天都吃飽。

GPT-3.5答，Wendi需要在一天的最后一餐中給雞崽子們喂21杯飼料。

OK，這一局，GPT-3.5輸了。

Round two

問(wèn)：道費(fèi)爾姐妹帶著從動(dòng)物收容所領(lǐng)養(yǎng)的7只小貓開(kāi)車(chē)回家時(shí)，媽媽打來(lái)電話，告訴她們家里的兩只貓剛生了小貓。媽媽說(shuō)，Patchy貓貓生了三倍于被領(lǐng)養(yǎng)數(shù)量的小貓，而另一只Trixie貓貓生了12只。

現(xiàn)在道費(fèi)爾一家一共有多少只小貓？

天工大模型答，當(dāng)然是有40只小貓啦～

GPT-3.5答，道費(fèi)爾一家現(xiàn)在共有33只小貓。

看來(lái)第二局還是天工大模型贏了。

Round 3

問(wèn)：巨龍高坐在法爾博山上，向1000英尺范圍內(nèi)的任何東西瘋狂噴火。波莉可以將壓制巨龍的武器投擲400英里，但當(dāng)她拿著藍(lán)寶石時(shí)，能比不拿寶石時(shí)把標(biāo)槍扔得遠(yuǎn)三倍。

如果拿著寶石，波莉能站在龍焰射程之外多遠(yuǎn)的地方，用金標(biāo)槍擊中龍？

天工大模型給出的解題思路如下，并且生成答案為200英尺。

GPT-3.5給出的解題思路也擺在這，最后答案也是200英尺。

這次二位打成了平局。

但是可以看到，相比GPT-3.5，天工大模型的解題思路更簡(jiǎn)單直接，解題步驟也更少更短。

一般來(lái)說(shuō)，目前主流大模型們最近不太流行公開(kāi)評(píng)測(cè)結(jié)果，但昆侖萬(wàn)維放話了：

雖然現(xiàn)在還是內(nèi)測(cè)階段，但天工大模型這次不僅對(duì)外公布了評(píng)測(cè)結(jié)果，還宣布后續(xù)會(huì)部署上線基座，供用戶體驗(yàn)。

更重要的是，天工大模型允許研究人員、開(kāi)發(fā)者申請(qǐng)API，對(duì)上述結(jié)果進(jìn)行驗(yàn)證。

PS申請(qǐng)方法：

提供“姓名”“手機(jī)號(hào)”“所屬機(jī)構(gòu)/單位”，發(fā)送至官方郵箱neice@kunlun-inc.com進(jìn)行申請(qǐng)。

若通過(guò)，三個(gè)工作日內(nèi)將收到回復(fù)郵件，內(nèi)含測(cè)試API及相關(guān)信息。

（截止時(shí)間為9月27日0點(diǎn)）

多個(gè)榜單躋身前列

除了GSM8K，另一個(gè)推理評(píng)測(cè)基準(zhǔn)HumanEval，以及兩個(gè)通識(shí)評(píng)測(cè)基準(zhǔn)MMUL、C-Eval上，天工大模型也有出色表現(xiàn)。

△根據(jù)公開(kāi)測(cè)試數(shù)據(jù)搜集整理

HumanEval同樣出自O(shè)penAI，是OpenAI為了評(píng)估Codex模型的有效性而創(chuàng)建的數(shù)據(jù)集。

通過(guò)這個(gè)數(shù)據(jù)集，研究人員可以對(duì)Codex模型進(jìn)行評(píng)估，并了解其在代碼生成方面的準(zhǔn)確性和效果。

在這個(gè)數(shù)據(jù)集上，天工大模型成績(jī)是37.2%。

MMLU是UC伯克利等打造，集合了科學(xué)、工程、數(shù)學(xué)、人文、社會(huì)科學(xué)等領(lǐng)域的57個(gè)科目。

其主要目標(biāo)，是對(duì)模型的英文跨學(xué)科專(zhuān)業(yè)能力進(jìn)行深入測(cè)試。天工大模型的成績(jī)是65%。

C-EVAL評(píng)測(cè)基準(zhǔn)由上海交大、清華以及愛(ài)丁堡大學(xué)聯(lián)合創(chuàng)建，是一個(gè)面向中文語(yǔ)言模型的綜合考試評(píng)測(cè)集，覆蓋了52個(gè)來(lái)自不同行業(yè)領(lǐng)域的學(xué)科。

天工大模型的得分為65，超過(guò)了GPT-3.5的54.4的成績(jī)。

成績(jī)亮眼的天工大模型，發(fā)布在今年4月。

其AI生成能力可滿足文案創(chuàng)作、知識(shí)問(wèn)答、代碼編程、邏輯推演、數(shù)理推算等多元化需求。

4月發(fā)布，9月能取得醬紫的成績(jī)，昆侖萬(wàn)維是怎么飼養(yǎng)天工大模型這匹黑馬的？

先拿模型實(shí)力來(lái)說(shuō)話。

這是一個(gè)雙千億大模型（指天工擁有千億預(yù)訓(xùn)練基座模型和千億RLHF模型。），目前版本最高支持1萬(wàn)字以上文本對(duì)話，實(shí)現(xiàn)20輪次以上用戶交互。

二者的“強(qiáng)強(qiáng)聯(lián)手”之下，天工大模型的優(yōu)勢(shì)便凸顯了出來(lái)。

而模型層之外，為大模型積攢實(shí)力的無(wú)外乎算法、算力、數(shù)據(jù)三大件。

算法層方面，天工大模型也有自己的秘籍。

通常來(lái)說(shuō)，市面上大模型們普遍采用Transformer架構(gòu)。在此基礎(chǔ)上，天工團(tuán)隊(duì)首次引入了蒙特卡洛搜索樹(shù)算法（AlphaGo背后也是這算法）。

再說(shuō)天工大模型背后的算力，基于中國(guó)最大的GPU集群之一。

強(qiáng)勁算力鼎力支持的，是天文數(shù)字版的數(shù)據(jù)量——按照借助“開(kāi)源力量”的策略，天工從數(shù)十萬(wàn)億的數(shù)據(jù)中，最終清洗、篩選出了近3萬(wàn)億單詞的數(shù)據(jù)。

現(xiàn)在，天工大模型在推理、通識(shí)多個(gè)榜單開(kāi)花，可以想見(jiàn)因?yàn)楸澈笏懔Α⑺惴ā?shù)據(jù)扎實(shí)儲(chǔ)備，天工大模型擁有的已經(jīng)不是模型規(guī)模優(yōu)勢(shì)，技術(shù)創(chuàng)新和推理性能方面，也有了新突破。

國(guó)產(chǎn)大模型繞不過(guò)的狠角色

其實(shí)，推理能力大幅超過(guò)GPT-3.5和LLaMA2，已經(jīng)不是昆侖萬(wàn)維攜天工大模型第一次拿成績(jī)炸場(chǎng)。

不久之前，天工大模型多模態(tài)團(tuán)隊(duì)的Skywork-MM用了大約50M的圖文數(shù)據(jù)，以遠(yuǎn)小于其他大模型的數(shù)據(jù)量（>100M），登頂了多模態(tài)榜單。

△MME感知榜第一，認(rèn)知榜第二，總榜第一

昆侖萬(wàn)維另一則引得眾人矚目的新聞，是AI大牛顏水成的加入。

他出任天工智能聯(lián)席CEO、2050全球研究院院長(zhǎng)，將在新加坡、倫敦、硅谷三地建立2050全球研究院的研究中心，并逐步開(kāi)展幾個(gè)領(lǐng)域的研究：

• 下一代Foundation Model的基礎(chǔ)研究和研發(fā)；
• Agent的研發(fā)和智能體進(jìn)化的研究；
• 生物智能等前沿技術(shù)領(lǐng)域的探索。

顏水成道出加盟昆侖萬(wàn)維的原因：

在通用人工智能領(lǐng)域，從研究、研發(fā)到產(chǎn)品是完整的鏈條，缺一不可，只有將三者完全打通，研究才能發(fā)揮最大價(jià)值。

在國(guó)內(nèi)，能將研究、研發(fā)、產(chǎn)品三線合一的平臺(tái)少之又少，昆侖萬(wàn)維布局了AI大模型、AI動(dòng)漫、AI社交、AI游戲、AI搜索和AI音樂(lè)六大方向，同時(shí)昆侖萬(wàn)維的核心業(yè)務(wù)面向全球市場(chǎng)，其能力矩陣和生態(tài)系統(tǒng)非常具有想象空間。

大模型潮流，浩浩蕩蕩。

今年以來(lái)國(guó)產(chǎn)大模型的發(fā)展勢(shì)頭迅猛，吸引越來(lái)越多的人才加入其中，由此助力各家大模型不斷地迭代升級(jí)，涌現(xiàn)出更強(qiáng)大的能力，適配更廣泛的應(yīng)用場(chǎng)景。

昆侖萬(wàn)維在大模型的變革中，戰(zhàn)略重視，動(dòng)作頻頻，而且也有業(yè)務(wù)場(chǎng)景。

可以不夸張地說(shuō)一句，昆侖萬(wàn)維和它家的天工大模型，已經(jīng)是大模型江湖中，一個(gè)繞不過(guò)去的狠角色了。