兆級長文本，已是一線大模型機構標配能力丨上海AI Lab林達華

衡宇 2024-03-25 13:19:31 來源：量子位

衡宇 發自 阿拉上海

量子位 | 公眾號 QbitAI

“據我了解，國內多個一線大模型機構，都已經突破了兆級的長文本能力。”

以上，是“2024全球開發者先鋒大會”大模型前沿論壇會間隙，上海人工智能實驗室領軍科學家林達華與量子位的交談剪影。

林達華，深度學習與計算機專家，香港中文大學教授，他是商湯聯合創始人，也是商湯創始人湯曉鷗的學生，是國際上最具影響力的視覺算法開源項目OpenMMLab的主導發起人。在大模型時代，他帶領了書生·浦語InternLM開源大模型體系以及OpenCompass司南大模型評測體系的研發工作。

林達華預估，第一季度左右，各家都會對大模型上下文窗口兆級能力“亮劍”。

同時，他表達了與月之暗面同樣的態度，即大海撈針其實沒有那么難。

難的是海里不止一根針，應有無數的碎片化信息藏在各個地方，（大模型）把所有東西串接一起，做比較深層次的結論。
就像讀福爾摩斯偵探小說，讀完后綜合判斷兇手是誰——這就不是一個簡單的檢索問題。

近期，各家大模型于長文本賽道上卷生卷死，但是否應把它作為最主要的方向去打磨，大家有不同的判斷。

林達華點出，應該要評估衡量超長文本能力的計算代價，“無損長上下文窗口，每一次響應都是很昂貴的過程，對應用來說，這個性價比是不是最理想的？我覺得值得探討。”

長文本相關問題只是林達華表達自己思考和見解的一小個片段。

在這場大模型前沿論壇上，他以業界躬身入局者的身份，回望過去“群模亂舞”的一年，總結出大模型賽道的四點現狀：

• OpenAI引領技術潮流，Google緊緊追趕，Claude異軍突起；
• 上下文、推理能力、更高效的模型架構是技術探索的重點方向；
• 輕量級模型嶄露頭角；
• 開源模型快速發展，開放生態已成氣候。

林達華還表示，大模型時代，技術演進有兩股主要的驅動力量：

一是對AGI的追求，對Scaling Law的信仰；

二是對大模型帶來新一次產業變革的憧憬。

除此之外，更詳細的回望和前瞻性觀點，在林達華口中一一道來。

模型架構：從追求參數到追求更高效的Scale

Transformer架構對計算資源的消耗巨大。

前幾日的黃仁勛與Transformer七子路邊對話中，Transformer作者Aidan Gomez語氣堅定，“世界需要比Transformer更好的東西（the world needs something better than Transformers）”。

業界已經開始從追求參數，過渡轉換為追求更高效的規模。

其中，MoE值得關注，業界同時在探索Mamba模型等，以低復雜度的注意力架構更高效地處理上下文。

訓練數據：從追求數量到尋求規模化構造高質量數據的路徑

訓練數據包括三要素：

規模、質量、多樣性。

在規模方面，早在ChatGPT之前，DeepMind等研究報告已指出訓練數據要和模型參數同步增長。

而訓練數據的質量對模型水平影響很大，低質量數據對模型可能產生破壞性影響。增強數據的知識密度，能帶來更高的訓練效率。

此外，好的數據集是非常多樣化的，均衡分布在充分大的語義空間中。

互聯網語料數據的分布極不均勻，存在大量低水平重復的語言模式，可能帶來模型能力的塌縮，“10%的帶有重復模式的數據注入到訓練集里，有可能會使得模型降級到原來1/2的體量。”

合理的resampling（重采樣）策略能大幅度降低其負面影響。因此，業界也在從追求訓練數據數量，過渡向到尋求規模化構建高質量數據。

多模態：多模態融合將成為重要趨勢，技術探索仍在路上

多模態融合將成為重要技術趨勢，但技術探索仍在路上。

相比語言，多模態模型的訓練多了一個重要維度，即圖像和視頻的分辨率對多模態模型最終的性能表現有重要影響。

如果使用非常高的分辨率進行多模態的訓練和推理，模型能夠得到巨大提升，但高分辨率會帶來高計算成本。

“如何在高分辨率和合理計算成本之間取得最佳平衡，這為架構研究帶來了很大的創新空間。”

智能體：大模型應用的重要形態，但需要核心基礎能力的支撐

要讓大模型真正進入到應用的場景和生產的場景的時候，它需要跟系統、跟場景、跟里面所有的事情互動。因此，需要給大模型裝上手腳，然后就能不斷地發出指令做出反饋，這就是一個智能體，這就是場景應用價值的系統。

智能體并不是一個簡單的流程化過程。

它需要建立在一個非常堅實的基礎模型上，具有很強的指令跟隨能力、理解能力、反思能力和執行能力。如果這些能力都不具備，其實串接在一起仍然不然獲得你所理想中的那種智能體的能力。

這里面是實驗室把智能體具像化，智能體不一定是機器人，它可以是各種軟件系統。

計算環境：云側還在指數式成長，端側即將迎來黃金增長期

芯片進入到后摩爾定律時代，未來算力會變成體量的拓展，越來越多的芯片連接在一起，建成越來越大的計算中心，支撐對通用人工智能的追求。

最終瓶頸不再是芯片，而是能源。

現在，小規格的大語言模型已具備較強性能水平和實用可能性，優秀的模型越做越小，可以進入到手機直接運行。

林達華表示，隨著端側算力快速增長，端側即將迎來黃金增長期，云端協同將成為未來重要趨勢，由云側計算建立天花板，端側計算將支撐用戶使用大規模放量。

國內外差距：和GPT-4真正差距是推理能力

國內前列的模型在主客觀表現上都超過了GPT-3.5。

但同時需注意，國內大模型與GPT-4的真正差距在于推理能力。

林達華稱，特別是隨著推理難度的提升，GPT-4和其他模型，重量級模型和輕量級模型逐漸拉開差距。相比常識推理、演繹推理，歸納推理是差距最大的類型。

One More Thing

在對談中，林達華還表達了對國內大模型落地的看法。

觀國內當下的最大的優勢，是應用場景非常非常多。

如果有套生態，能夠讓大家用大模型去探索在哪些地方能用，哪些地方不能用，在應用上的探索速度和體量可能更快。

不過，他同時表示：

不能因為我們在應用落地上的繁花似錦，就掩蓋我們去思考另一個問題——歸于最終，還是要提升創新能力和原創水平。