Scaling Laws尺度定律科普報告｜量子位智庫

分析師 馬邦

量子位智庫 | 公眾號 AI123All

都在說Scaling Laws，但什么是Scaling Laws？

Scaling Laws，尺度定律，OpenAI在2020年提出，并在如今迅速成為AI行業共識的產業規律。尺度定律不僅影響著Transformer架構的大模型的發展，也影響著人工智能相關行業的發展。作為當前AI行業公認的大模型第一性原理，其揭示的有關模型規模、數據量和計算資源之間的關系，更是為企業提供了可預見性的前進方向。

為了更系統科普闡釋尺度定律，量子位智庫發布最新研究報告：《Scaling Laws尺度定律，如何影響AI研發和產業落地》。（下載地址后附）

報告中，量子位智庫將從尺度定律是什么、尺度定律如何影響AI研發、涌現能力、尺度定律如何影響AI落地以及尺度定律的局限性五個方向出發，立體解讀尺度定律。
報告涵蓋：

• 全面解析尺度定律
• 分析對AI研發的影響
• 探討涌現能力及涌現能力的代表模型
• 產業落地分析
• 對尺度定律局限性思考

尺度定律的意義

尺度定律指的是，以Transformer架構為研究目標的模型的性能和模型的大小，數據集的大小以及用于訓練的計算量之間存在冪律關系，并且這些關系在7個數量級的范圍內表現出穩定的趨勢。

自論文提出以來，引起了大模型開發行業的高度關注，各大廠家紛紛參考尺度定律，擴大模型和數據規模來提升模型性能。

尺度定律如何影響AI研發

OpenAI的GPT系列

GPT系列從GPT-2的15億參數到GPT-3的1750億參數，GPT-4的參數雖未具體公布，但據聲稱達到了1.76萬億。

數據集方面，GPT-4采用了更多的訓練樣本以及合成數據，使得模型在理解未知數據和數學準確度上有了顯著提升。

GPT-4在計算上使用了超算級別的計算資源以支持龐大的計算需求。

其他大模型中的尺度定律

根據圖上來看，從2019年至今，大模型進入軍備競賽。尺寸規模不斷擴張。
其中

• Google的PaLM達到了5400億參數。
• Meta的Llama 系列從70億參數到4000億參數不等，更注重優化數據和訓練方法。
• Anthropic的Claude系列，在Claude 3時，雖未公布具體數值，但據測算，達到了1.37萬億。而Claude 3.5 規模可能在5至15萬億，從而實現在編程能力上更勝GPT-4一籌。

涌現能力

智能涌現是隨著模型擴大而突然出現的能力，這種能力未被明確編程，也不可預測，所以稱之為智能涌現。

涌現能力最具代表的是自然語言理解與生成、多步驟推理、多模態理解與生成、少樣本零樣本學習。

智能涌現帶來了應用端側的實用性大幅度提高，產生了許多優秀的應用。

同時，一些企業也在尋找著不一樣的模型開發線路。Llama系列在同等規模下，實現了更強的性能。

模型大小并非涌現能力的唯一因素，數據的質量和數量以及訓練方法的優化同樣扮演著重要角色。

尺度定律如何影響產業落地

從尺度定律所包含的三個方向解讀，其主要發展困境如下圖所示：

因此所帶來的產業發展方向，量子位智庫將其劃分為四大部分：

數據行業

1. 公開數據資源的枯竭引發合成數據產業的大幅提升。英偉達和微軟已率先使用合成數據訓練3D生成模型以及大語言模型。
2. 專業領域價值凸顯。醫療影像公司以及金融科技公司長期積累的專業數據助力專業商用模型開發。

模型研發

1. 模型性能白熱化競爭。企業加大投入開發尺寸更大，性能更強的模型。
2. 模型規模和效率之間的平衡。對于非強需求高性能模型的企業，根據尺度定律，酌情選擇模型尺寸，平衡資源投入。

硬件開發

1. AI專用硬件需求上升。各頭部加大AI專用硬件投資，Google發布的TPU v5在訓練效果上是上一代的2-3倍。英特爾的GPU高墻優勢仍在。國產芯片也需繼續加大對專用芯片的研發生產。
2. 云平臺計算需求增加。微軟等企業開發云平臺為中小企業降低使用AI的門檻。

企業戰略

1. 企業需求長期數據戰略，積累優化數據資源。
2. 優化成本投入，參考尺度定律，指明了一定規模下的模型性能，支持企業有效分配投資預算。

尺度定律的局限性

最核心的還是核心的Transformer架構的自身局限性，因大多數模型采用壓縮的方式進行訓練，該方法帶來的是知識儲存量的增加，但智慧能力欠缺。如：人類基礎認知架構、常識推理、因果理解、多模態整合等方向大模型的水平尚未達到可應用的水平。

因此，量子位智庫認為尺度定律是通向AGI（通用人工智能）的重要組成部分，但可能不是全部答案。仍需要將不同學科底層打通，探索創新式架構等方式來解決通往AGI的更為廣泛和綜合的挑戰。

不過，作為大模型第一性原理，或者第一個達成共識的產業規律，尺度定律對于整個AI領域的研發、落地和應用，或許會像摩爾定律一樣，指引整個產業的潮水涌動方向。

完整報告下載地址：

https://jkhbjkhb.feishu.cn/wiki/W5D7wuDcbiPXDLkaRLQcAJpOn8f?fromScene=spaceOverview