非Transformer架構新模型爆火，從第一性原理出發，MIT CSAIL衍生團隊打造

西風 2024-10-01 20:02:53 來源：量子位

西風 發自 凹非寺

量子位 | 公眾號 QbitAI

挑戰Transformer，MIT初創團隊推出LFM（Liquid Foundation Model）新架構模型爆火。

LFM 1.3B、LFM 3B兩個不同大小的模型，性能超越同等規模Llama3.2等Transformer模型。

LFM架構還有很好的可擴展性，團隊還推出了基于MoE的LFM 40B（激活12B參數），能與更大規模的密集模型或MoE模型相媲美。

LFM用的是一種液態神經網絡（LNN），從第一性原理出發而構建，其計算單元植根于動態系統理論、信號處理和數值線性代數。

這種架構還有一個特點：在內存效率方面特別強。

基于Transformer的LLM中的KV緩存在長上下文中會急劇增長，而LFM即使在處理100萬個token時也能保持內存最小。

小巧便攜，使得它能夠直接部署在手機上進行文檔和書籍等分析。

LFM模型背后是一支MIT計算科學與人工智能實驗室衍生出來的小團隊，名叫Liquid AI。

其后訓練負責人Maxime Labonne在X上為自家模型瘋狂打Call：

這三個具有SOTA性能的模型，是我職業生涯中最值得驕傲的版本。

AI暢銷書《人工直覺》作者也表示看好。

一直等的就是這樣的模型，基于物理學或神經元的“第一性原理”

目前LFM系列模型還在預覽測試中，大伙兒可通過Liquid官方平臺、Lambda Chat、Perplexity AI來訪問。

基于液態神經網絡打造

具體來看看這三個模型的性能和特點。

LFM 1.3B在MMLU、MMLU-Pro、ARC-C、GSM8K基準上相較于下表其它模型，取得SOTA性能。

LFM 3B，還能和Mistral 7B、Llama3.1 8B兩倍大模型打得有來有回。

LFM 40B性能也可與比其自身更大的模型相媲美，MoE架構可實現更高吞吐可部署在更具成本效益的硬件上。

與Transformer架構相比，LFM的一個突出優勢就是內存占用更少。

對于長輸入效果更明顯，基于Transformer的LLM中的KV緩存隨著序列長度線性增長。通過有效壓縮輸入，LFM可以在同一硬件上處理更長的序列。

以下是LFM 3B與其它3B級模型的對比，LFM 3B能始終保持較小的內存占用。

處理100萬個token，LFM 3B只需16 GB內存，而Llama-3.2-3B模型則需48 GB+。

LFM上下文有效長度為32k。

當相應得分高于85.6時，長度被認為是“有效的”（Hsieh等人，2024 RULER）。

LFM 3B在32k的上下文長度上，仍能保持89.5的高分。

實驗結果中Llama 3.2生成128k上下文窗口，但實際只在4k上有效，也引起一波關注。

除此之外，LFM由結構化運算符組成，為基礎模型打開了一個新的設計空間。

不僅限于語言，還可以將其應用于音頻、時間序列、圖像等等其它模態。

還具有高適應性，可針對特定平臺（如蘋果、高通、Cerebras、AMD）優化架構，或匹配給定的參數要求和推理緩存大小。

Liquid AI團隊直接把目前LFM模型的優缺點都一一列了出來。

現在LFM語言模型擅長通用和專業知識、數學和邏輯推理、長上下文任務。

主要語言是英語，還支持西班牙語、法語、德語、中文、阿拉伯語、日語和韓語。

但LFM語言模型不擅長零樣本代碼任務、精確的數值計算、時效性信息，人類偏好優化相關技術也尚未廣泛應用。

有意思的是，Liquid AI團隊還明確表示LFM現在不會數“Strawberry”中“r”的數量。

經網友測試，它確實不會??。

關于LFM架構更多技術細節，官方表示將持續發布技術Blog。

背后團隊來自MIT CSAIL

下面簡單介紹一下LFM模型背后團隊——Liquid AI。

Liquid AI是一家從MIT計算機科學與人工智能實驗室衍生出來的公司。

目標是在每一個規模上構建能力強大且高效的通用人工智能系統。

聯合創始人共有四位。

CEO Ramin Hasani，MIT CSAIL人工智能科學家、前Vanguard Group首席人工智能和機器學習科學家。

博士論文研究主題就是關于液態神經網絡（Liquid Neural Networks），由維也納工業大學Radu Grosu教授和麻省理工學院Daniela Rus教授共同指導。

CTO Mathias Lechner，MIT CSAIL研究員。

維也納工業大學計算機科學的學士、碩士學位，奧地利科學與技術研究所（ISTA）博士學位。

專注于開發穩健可信的機器學習模型。

首席科學官Alexander Amini，在MIT完成了計算機科學學士、碩士和博士學位，同時輔修數學。

研究的領域包括自主系統的端到端控制學習、神經網絡的置信度公式化、人類移動性的數學建模以及復雜慣性精細化系統的構建。

另外一位聯合創始人是MIT CSAIL主任Daniela Rus，她還是MIT電氣工程與計算機科學系的Andrew&Erna Viterbi教授。

Liquid AI成立初就致力于從第一性原理出發構建新一代基礎模型，是一個基于深度信號處理和狀態空間層擴展語言模型的團隊。

之前研究有一籮筐：

感興趣的的家人們可以自行查閱：
https://www.liquid.ai/blog/liquid-neural-networks-research

對新模型感興趣的家人們可以測試起來了：
https://playground.liquid.ai/chat?model=cm1ooqdqo000208jx67z86ftk

參考鏈接：
[1]https://x.com/LiquidAI_/status/1840768722665189596
[2]https://venturebeat.com/ai/mit-spinoff-liquid-debuts-non-transformer-ai-models-and-theyre-already-state-of-the-art/