OpenAI把GPT-4原始版給了他們：研究不微調只靠提示詞能走多遠

夢晨 2024-06-03 11:24:59 來源：量子位

夢晨 發自 凹非寺
量子位 | 公眾號 QbitAI

除了OpenAI自己，居然還有別人能用上GPT-4-Base版？？

也就是未經微調的預訓練版，還不會對話聊天，只會補全句子的模型。

EPFL（瑞士洛桑聯邦理工）團隊申請到了訪問權限，用于研究“上下文學習足以讓大模型跟隨指令嗎？”。

也就是不用監督微調、也不用RHLF或其他強化學習對齊方法，只靠提示詞能走多遠？

預訓練模型，究竟能不能一步登天，直接改造成聊天機器人或AI助手？

如果可行，將大大降低類ChatGPT大模型的開發難度。

免微調對齊靠譜嗎？

免微調對齊，讓剛出爐的預訓練模型不止會“文本補全”，只從提示詞中學會和用戶對話、跟隨指令，一直是業界關注的研究方向。

目前的SOTA方法URIAL來自艾倫研究所，使用系統提示詞+少數風格示例就能達到不錯的效果。

但EPFL團隊發現，URIAL仍無法完全彌補與指令微調模型的差距，尤其在多輪對話中的表現更差一些。

實驗中，在Llama系列、Mistral系列和一般人接觸不到的GPT-4-Base都觀察到這種現象。

其中GPT-4-Base的API訪問權限從OpenAI Researcher Access Program項目中申請到。

EPFL團隊從這里出發，嘗試了各種辦法來提升上下文學習的效果。

首先他們增加示例的數量，但發現幫助不大，沒有隨著例子數目增加性能就提升的趨勢。這一點跟圖像分類、機器翻譯等任務還不太一樣。

然后他們使用了貪心搜索算法，從一大堆示例中選擇最佳的添加到上下文。

這種方法可以進一步提高性能，但與指令微調模型的差距仍然存在，特別是在 AlpacaEval 2.0基準測試中。

此外他們還發現，貪心搜索為某個特定模型找到的最佳示例，對于其他模型不能可靠地遷移。

也就是說，不同的示例適合不同的模型。

團隊還進行了一系列消融實驗，以更多地了解上下文學習的工作原理。

他們發現，在MT-Bench這樣的綜合評測中，示例包含正確的“問題-答案對”至關重要。

這與此前大模型在分類任務中，只要有大量示例，部分標簽錯了也無所謂的發現非常不同。

所以最終得出的結論是：

即使采用更多復雜的改進方法，完全縮小上下文學習和指令微調之間的差距也有挑戰，即使對于非常長上下文的大模型也是如此。

論文最后分析，大語言模型可能通過上下文學習只學會了如何模仿例子里的回答風格，但還沒有真正理解執行指令的邏輯。

指令跟隨任務相對還是比較復雜和開放的，沒那么容易掌握。

想讓AI助手更“聽話”，暫時還是很難有捷徑可走。

論文地址：

https://arxiv.org/abs/2405.19874

參考鏈接：
[1]https://x.com/maksym_andr/status/1796574297894318136