弱智吧竟成最佳中文AI訓(xùn)練數(shù)據(jù)？！中科院等：8項(xiàng)測(cè)試第一

夢(mèng)晨 2024-04-04 13:50:21 來(lái)源：量子位

夢(mèng)晨 西風(fēng) 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI

離大譜了，弱智吧登上正經(jīng)AI論文，還成了最好的中文訓(xùn)練數(shù)據(jù)？？

具體來(lái)說(shuō)，使用弱智吧數(shù)據(jù)訓(xùn)練的大模型，跑分超過(guò)百科、知乎、豆瓣、小紅書(shū)等平臺(tái)，甚至是研究團(tuán)隊(duì)精心挑選的數(shù)據(jù)集。

在問(wèn)答、頭腦風(fēng)暴、分類(lèi)、生成、總結(jié)、提取等8項(xiàng)測(cè)試中取得最高分。

沒(méi)錯(cuò)，論文中的Ruozhiba就是指百度貼吧弱智吧，一個(gè)充滿(mǎn)荒謬、離奇、不合常理發(fā)言的中文社區(qū)，畫(huà)風(fēng)通常是這樣的：

最離譜的是，弱智吧AI代碼能力也超過(guò)了使用專(zhuān)業(yè)技術(shù)問(wèn)答社區(qū)思否數(shù)據(jù)訓(xùn)練的AI，這下吧友自己都鬧不明白了。

其他平臺(tái)圍觀(guān)網(wǎng)友也紛紛蚌埠住。

這項(xiàng)研究來(lái)自中科院深圳先進(jìn)技術(shù)研究院、中科院自動(dòng)化研究所，滑鐵盧大學(xué)等眾多高校、研究機(jī)構(gòu)聯(lián)合團(tuán)隊(duì)。

作者之一也現(xiàn)身評(píng)論區(qū)，透露使用弱智吧數(shù)據(jù)訓(xùn)練AI屬于靈機(jī)一動(dòng)，以前只用來(lái)測(cè)試。

弱智吧數(shù)據(jù)究竟如何達(dá)成這一成就，具體到論文中看。

弱智發(fā)言成指令微調(diào)神器

這項(xiàng)研究起初為解決中文大模型訓(xùn)練中的諸多問(wèn)題：

• 中文數(shù)據(jù)集很多是從英文翻譯過(guò)來(lái)的，沒(méi)有很好地契合中文的語(yǔ)言習(xí)慣和文化背景
• 不少數(shù)據(jù)集是用AI生成的，質(zhì)量難以保證，容易出現(xiàn)事實(shí)性錯(cuò)誤
• 即使是人工標(biāo)注的數(shù)據(jù)集，也存在數(shù)據(jù)量小、覆蓋領(lǐng)域不全面等問(wèn)題

為了解決這些痛點(diǎn)，團(tuán)隊(duì)從中文互聯(lián)網(wǎng)的各種知識(shí)源頭直接收集數(shù)據(jù)，比如知乎、豆瓣、百科、小紅書(shū)等，經(jīng)過(guò)一系列嚴(yán)格的清洗和人工審核，打造成高質(zhì)量、多樣化的中文指令微調(diào)數(shù)據(jù)集COIG-CQIA。

除了探索不同數(shù)據(jù)源的作用，團(tuán)隊(duì)還專(zhuān)門(mén)從中抽取出一個(gè)精華子集CQIA-Subset。

在眾多數(shù)據(jù)來(lái)源中，弱智吧成了最特別的一個(gè)。

由500個(gè)點(diǎn)贊最高的帖子標(biāo)題+人工或GPT-4的回復(fù)組成指令微調(diào)數(shù)據(jù)集， 經(jīng)過(guò)人工審核后，最終留下了240組指令-回復(fù)數(shù)據(jù)對(duì)。

分別用各種數(shù)據(jù)集訓(xùn)練零一萬(wàn)物Yi系列開(kāi)源大模型，在BELLE-Eval測(cè)試集上使用GPT-4評(píng)分得到結(jié)果。

在規(guī)模較小的Yi-6B模型上，純?nèi)踔前砂姹究偡峙琶谌?，還不算太突出。

看來(lái)小模型還沒(méi)能領(lǐng)悟弱智的精髓。

到了Yi-34B，弱智吧版本表現(xiàn)就一騎絕塵了。

只有在改寫(xiě)和數(shù)學(xué)任務(wù)上沒(méi)能取得最高分，但成績(jī)也比較靠前。

另外，在安全評(píng)估上弱智吧版本也能排上第二。

對(duì)于這類(lèi)現(xiàn)象，研究人員在分析中也給出簡(jiǎn)單猜測(cè)：

可能是弱智吧問(wèn)題增強(qiáng)了AI的邏輯推理能力，從而使指令遵循任務(wù)受益。

當(dāng)然弱智吧并不是這項(xiàng)研究的全部，它的真正貢獻(xiàn)在于為中文大模型開(kāi)發(fā)提供了一個(gè)高質(zhì)量的指令微調(diào)數(shù)據(jù)集COIG-CQIA。

通過(guò)對(duì)各種中文互聯(lián)網(wǎng)數(shù)據(jù)源的探索，這項(xiàng)研究為構(gòu)建中文指令數(shù)據(jù)集提供了很多有益的啟示。比如社交媒體數(shù)據(jù)雖然開(kāi)放多樣，但也存在不少有害信息風(fēng)險(xiǎn)；而百科類(lèi)數(shù)據(jù)專(zhuān)業(yè)性強(qiáng)，但覆蓋面可能不夠廣。

弱智吧上大分

這項(xiàng)研究一發(fā)，網(wǎng)友集體笑不活。除了“XSWL、思路開(kāi)闊了”嬸兒的純圍觀(guān)，也有網(wǎng)友認(rèn)真討論起了弱智吧有如此奇效的原因。

大伙兒都比較認(rèn)可的一個(gè)原因是弱智吧題目的“異質(zhì)”。

像腦筋急轉(zhuǎn)彎，增加了指令多樣性，所以提升了模型最終性能：

通用數(shù)據(jù)集多半已經(jīng)在pretrain階段見(jiàn)過(guò)了，再訓(xùn)一遍只會(huì)加重overfitting。

另一個(gè)原因是弱智吧數(shù)據(jù)文本質(zhì)量很高，用詞準(zhǔn)確且簡(jiǎn)潔。

千言萬(wàn)語(yǔ)匯成一句話(huà)：把弱智吧只當(dāng)簡(jiǎn)單的段子合集真的是嚴(yán)重低估了它的價(jià)值！

雀食，要不此前弱智吧問(wèn)題也經(jīng)常被大伙兒用來(lái)測(cè)試大模型呢。

事實(shí)上從ChatGPT誕生之初，弱智吧就深度參與了大模型的發(fā)展，可以算是這一波AI浪潮的重要見(jiàn)證者了。

一開(kāi)始只是網(wǎng)友拿來(lái)拷打AI，搞搞節(jié)目效果。

后來(lái)大家發(fā)現(xiàn)，弱智吧問(wèn)題中充滿(mǎn)陷阱，剛好可以用來(lái)分辨AI能力高低。

還記得23年初那會(huì)兒，各家大模型第一版還不太能很好應(yīng)對(duì)這類(lèi)問(wèn)題，如2023年3月的文心一言：

后續(xù)版本也漸入佳境了，如2023年8月的文心一言：

知道今天，弱智吧問(wèn)題都是每個(gè)新發(fā)布大模型都必須要過(guò)的一關(guān)，被戲稱(chēng)為弱智吧Benchmark。

△秘塔寫(xiě)作貓

△Inspo

再后來(lái)，AI公司們自己也開(kāi)始重視起來(lái)，如百度官方就搞過(guò)聯(lián)動(dòng)直播。

當(dāng)初網(wǎng)友為了調(diào)戲大模型專(zhuān)門(mén)搜集的弱智吧問(wèn)題測(cè)試集，沒(méi)想到有一天也能搖身一變，成了訓(xùn)練集。

思路確實(shí)是被打開(kāi)了～

論文地址：
https://arxiv.org/abs/2403.18058

參考鏈接：
[1]https://x.com/9hills/status/1775358963724554410
[2]https://zhuanlan.zhihu.com/p/690640864
[3]https://tieba.baidu.com/p/8964992247