大模型學(xué)好編程，常識(shí)邏輯能力一起提升！網(wǎng)友：GPT-4更強(qiáng)的關(guān)鍵所在？

西風(fēng) 2023-05-24 04:19:04 來(lái)源：量子位

明敏 發(fā)自 凹非寺

量子位 | 公眾號(hào) QbitAI

大模型代碼能力強(qiáng)，順便還能提升其他能力？

最近CMU的一項(xiàng)研究突然在網(wǎng)上火了起來(lái)。

因?yàn)樗岢隽艘粋€(gè)結(jié)論，模型掌握好代碼能力后，在一些非代碼任務(wù)上也能表現(xiàn)出色。

類比于：學(xué)好數(shù)理化走遍天下都不怕的感覺(jué)。

這一下子把網(wǎng)友們的腦洞給打開(kāi)了。

難道說(shuō)GPT-4比GPT-3.5強(qiáng)的關(guān)鍵原因，就在這里？

有人提問(wèn)：這是否意味著掌握復(fù)雜編程，就能獲得更高的推理水平？

還有人好奇，是不是說(shuō)學(xué)編程有助于提升邏輯能力，真的有道理。

想要解釋這些疑問(wèn)，還要來(lái)看研究本身。

這篇論文首次發(fā)表于ChatGPT（GPT-3.5）面世以前，它提出了一種方法，驗(yàn)證了代碼語(yǔ)言大模型，在完成結(jié)構(gòu)性常識(shí)推理上非常擅長(zhǎng)。

甚至比一些通用大模型專門(mén)微調(diào)過(guò)的效果好，碾壓GPT-3、T5。

之所以又被人們熱議起來(lái)，或許是因?yàn)檫@項(xiàng)研究中的一些觀點(diǎn)為解釋ChatGPT、GPT-4的能力涌現(xiàn)，提供了一些啟發(fā)。

該論文被EMNLP 2022接收，相關(guān)數(shù)據(jù)和代碼已上傳至GitHub。

學(xué)學(xué)編程就能提升邏輯

該研究主要提出四方面工作：

1、代碼語(yǔ)言模型比自然語(yǔ)言模型能更好處理結(jié)構(gòu)化常識(shí)推理任務(wù)。

2、提出一種利用代碼語(yǔ)言模型進(jìn)行結(jié)構(gòu)常識(shí)推理的方法：CoCoGEN。

3、在3個(gè)結(jié)構(gòu)化常識(shí)推理任務(wù)上評(píng)估，證明CoCoGEN能優(yōu)于微調(diào)/少樣本測(cè)試下的自然語(yǔ)言大模型。

4、進(jìn)行消融試驗(yàn)，測(cè)試數(shù)據(jù)格式、模型大小和少樣本示例數(shù)量的影響。

大語(yǔ)言模型在挑戰(zhàn)摘要、翻譯、生成、問(wèn)答等方面都有了不錯(cuò)的表現(xiàn)，目前還存在的一個(gè)挑戰(zhàn)是如何進(jìn)行結(jié)構(gòu)化常識(shí)推理。

具體任務(wù)包括生成事件圖、推理圖、腳本、論證解釋等。

和傳統(tǒng)的常識(shí)推理任務(wù)不同，結(jié)構(gòu)化常識(shí)需要根據(jù)自然語(yǔ)言輸入，生成結(jié)構(gòu)化輸出。

這要求模型需要既理解語(yǔ)言內(nèi)容，還能預(yù)測(cè)和生成復(fù)雜的結(jié)構(gòu)。

而為了避免跨模態(tài)的復(fù)雜問(wèn)題，現(xiàn)有的結(jié)構(gòu)化常識(shí)生成模型都會(huì)修改問(wèn)題的輸出格式，比如將圖形“扁平化”為節(jié)點(diǎn)對(duì)的列表（下圖d），或者轉(zhuǎn)換為DOT這類規(guī)范語(yǔ)言（下圖c）。

但是大語(yǔ)言模型在處理這些輸出時(shí)依舊存在困難，因?yàn)檫@些序列化的結(jié)構(gòu)輸出和大部分預(yù)訓(xùn)練數(shù)據(jù)存在很大差異。

而且在自然語(yǔ)言中，語(yǔ)義相關(guān)的詞一般都離得很近，但是在結(jié)構(gòu)化表達(dá)中它們可能離得很遠(yuǎn)。

這就導(dǎo)致大語(yǔ)言模型可能無(wú)法很好理解拓?fù)浣Y(jié)構(gòu)，所以想要模型完成這類任務(wù)還要進(jìn)行特定訓(xùn)練。

與此同時(shí)，大語(yǔ)言模型在代碼方面的能力越來(lái)越突出，代碼也是一種結(jié)構(gòu)化數(shù)據(jù)。

所以研究人員就想到，與其進(jìn)行額外微調(diào)，為什么不利用代碼能力來(lái)搞定結(jié)構(gòu)化常識(shí)推理。

如下圖b就是利用該方法的結(jié)果：

研究人員將該方法命名為Code for Commonsenses Generation（常識(shí)生成代碼）模型，簡(jiǎn)稱為CoCoGEN。

CoCoGEN使用一個(gè)由k（5-10）個(gè)Python類組成的提示。

在推理過(guò)程中，測(cè)試輸入被轉(zhuǎn)換為一個(gè)部分類，如上所示，附加到提示中，并由代碼生成模型（如CodeX）完成。

研究人員使用CodeX發(fā)現(xiàn)它在生成代碼上表現(xiàn)很好，總是能輕松轉(zhuǎn)換成圖形。

然后，研究人員進(jìn)行了三項(xiàng)任務(wù)測(cè)試：

• 腳本生成
• 實(shí)體狀態(tài)跟蹤
• 解釋圖生成

在腳本生成任務(wù)中，T5模型進(jìn)行了微調(diào)，CURIE（text-curie-001）和DAVINCI（text-davinci-002）使用了15個(gè)示例進(jìn)行少樣本測(cè)試。

（CURIE和DAVINCI是基于GPT-3的兩個(gè)模型）

結(jié)果顯示，CoCoGEN的表現(xiàn)結(jié)果最好。

在以精確度（Precision）、召回率（Recall）和F1值作為評(píng)估指標(biāo)時(shí)，同樣是使用15個(gè)樣本訓(xùn)練后，CoCoGEN的效果優(yōu)于其他模型，并且優(yōu)于在100個(gè)樣本上微調(diào)過(guò)的T5模型。

另外兩項(xiàng)任務(wù)中，CoCoGEN的表現(xiàn)也都優(yōu)于其他模型。

同時(shí)該方法也驗(yàn)證了其他大模型在使用代碼提示后，表現(xiàn)也會(huì)更好。

換言之，在讓大模型精通編程后，它的結(jié)構(gòu)常識(shí)能力就會(huì)提升。

網(wǎng)友銳評(píng)：這不就是野生版柯里-霍華德同構(gòu)嘛？

據(jù)了解柯里-霍華德同構(gòu)建立了邏輯和類型理論之間的關(guān)聯(lián)，現(xiàn)實(shí)了推理系統(tǒng)和程序語(yǔ)言之間的相似性。

看來(lái)，推理可以等于證明，再等于編程了。

GPT-3也能涌現(xiàn)類似能力

與此同時(shí)，有人也發(fā)現(xiàn)了一個(gè)半年前的帖子，其中提出了一個(gè)觀點(diǎn)和這項(xiàng)研究由類似之處：

大模型具有復(fù)雜推理能力的思維鏈，可能同樣得益于代碼訓(xùn)練。

這個(gè)帖子中列舉了幾個(gè)例子。

最初的GPT-3沒(méi)有用代碼訓(xùn)練，它并不具有思維鏈能力（chain-of-thought，CoT）。

text-davincic-001雖然指令調(diào)優(yōu)了，但是執(zhí)行CoT的效果也不理想。

PaLM的訓(xùn)練數(shù)據(jù)中有5%是代碼，就能具備CoT了。

Copilot（據(jù)說(shuō)是12B版本），也能做到CoT。

……

這種相關(guān)性的確非常有趣。

還有人覺(jué)得用代碼訓(xùn)練大模型的好處可能有更多，比如語(yǔ)言模型預(yù)測(cè)下一個(gè)token往往是非常局部的，但是代碼方面通常要求能更加“遠(yuǎn)距離”一些，比如完成一個(gè)括號(hào)閉合的操作。

你怎么看？

論文地址：
https://arxiv.org/abs/2210.07128

GitHub地址：
https://github.com/madaan/

參考鏈接：
https://yaofu.notion.site/How-does-GPT-Obtain-its-Ability-Tracing-Emergent-Abilities-of-Language-Models-to-their-Sources-b9a57ac0fcf74f30a1ab9e3e36fa1dc1