手機實現(xiàn)GPT級智能，比MoE更極致的稀疏技術(shù)：省內(nèi)存效果不減｜對話面壁&清華肖朝軍

量子位智庫
量子位 | 公眾號 QbitAI

在大模型爭霸的時代，算力與效率的平衡成為決定勝負(fù)的關(guān)鍵。

端側(cè)部署一直是大模型落地的最后一公里，卻因算力瓶頸困難重重。

面壁智能和清華走出了一條與MoE不同的路徑——神經(jīng)元級稀疏激活，讓模型在保持性能的同時大幅降低資源消耗。

這次技術(shù)探索的背后，是一個融合腦科學(xué)靈感與工程創(chuàng)新的故事。

△《Configurable Foundation Models: Building LLMs from a Modular Perspective》論文

本期「大模型創(chuàng)新架構(gòu)」主題訪談，量子位邀請到面壁智能&清華CFM論文作者肖朝軍，聊聊這場算力與效率的博弈以及大模型架構(gòu)創(chuàng)新的未來。

以下為量子位與面壁智能&清華CFM論文作者肖朝軍的對話實錄整理：

探索原生稀疏

量子位：能簡單介紹一下CFM（Configurable Foundation Models）技術(shù)的核心優(yōu)勢嗎？

肖朝軍：CFM是一種原生稀疏技術(shù)，利用模型本來就有的稀疏激活性質(zhì)，相比MoE可以極大提升模型參數(shù)效率。

量子位：參數(shù)效率是什么？極大提升參數(shù)效率意味著哪些優(yōu)勢？

肖朝軍：參數(shù)效率是指模型單位參數(shù)的有效性，一般能夠反映在相同參數(shù)規(guī)模下，模型是否表現(xiàn)更好。參數(shù)效率提升最直接的影響就是省顯存、省內(nèi)存。

尤其手機端不可能像云端一樣用好幾臺GPU服務(wù)器一起推幾千億參數(shù)規(guī)模的模型。手機內(nèi)存有限，操作系統(tǒng)占一部分，個人應(yīng)用需要一部分，如果大模型把內(nèi)存占滿，那手機基本上就不可用了，所以參數(shù)效率在端側(cè)應(yīng)用里非常重要。

量子位：CFM與MoE（Mixture of Experts）的區(qū)別在哪里？

肖朝軍：我們的稀疏粒度更細(xì)，更強調(diào)神經(jīng)元級別的稀疏，可以說CFM的顆粒度比其他許多在FFN層做稀疏化改進(jìn)的工作要更細(xì)，在稀疏化上走得更極致。

現(xiàn)在超大參數(shù)規(guī)模的MoE稀疏化可能已經(jīng)成為主流，但不適合端側(cè)。MoE的稀疏粒度是專家級別，CFM是神經(jīng)元級別，而且CFM動態(tài)性也強于MoE。MoE固定激活Top k個expert，CFM是靠模型自己的激活函數(shù)來定義具體激活多少expert。

任務(wù)難的話可能需要激活10-100個，任務(wù)簡單可能就激活1-2個。

△CFM積木式組合構(gòu)建高效任務(wù)模型

量子位：為什么MoE不使用你們這種更強的動態(tài)性？

肖朝軍：本質(zhì)是參數(shù)效率原因。

MoE的目的是增大模型參數(shù)，比如600B的模型無法在一臺機器上放下，必須在訓(xùn)練過程就卡死激活專家的數(shù)量，必須限制住最多激活top k或top p個專家，要不然就可能算不下了。

他們必須在訓(xùn)練階段就要有負(fù)載均衡的loss，使每個expert和每個token大致均衡。而我們參數(shù)效率高，所有參數(shù)可以放在一起像傳統(tǒng)稠密模型的FFN一樣計算。

△涌現(xiàn)模塊的形成過程示意圖

模型架構(gòu)之爭

量子位：你怎么看待像Mamba、RWKV這些計算復(fù)雜度為線性的非transformer架構(gòu)模型帶來的挑戰(zhàn)？

肖朝軍：從模型效果上來說，transformer仍是天花板最高的架構(gòu)。當(dāng)前所有其他的非transformer架構(gòu)探索都是在做效率，而不是效果。

我觀察目前優(yōu)化路徑大概有兩種：

一種是線性派，包括Mamba、Linear Attention、Gated Linear Attention、RWKV等；

另一種是基于transformer，但對KV cache做管理，比如KV eviction、KV compression等。做FFN改進(jìn)的其實不多，我們強調(diào)的稀疏可能是FFN改進(jìn)中非常重要的一點。

量子位：很多非transformer架構(gòu)都在多個測試集上打敗了主流transformer模型，你怎么看？

肖朝軍：需要辯證看待。

首先要考慮公平性，比如Mamba實際上有固定的memory，在短文本時可能memory size更大，這可能是用更多存儲換取更好效果。

像RULER等一系列長文本評測中，線性模型目前還是打不過transformer。大家報的結(jié)果都是”在某方面比transformer好”，但為什么沒有廣泛應(yīng)用？因為沒辦法全面打敗transformer。

量子位：今年1月份大模型六小強中的一家訓(xùn)的千億參數(shù)線性attention模型在RULER上打敗了GPT-4o、Claude-3.5-Sonnet等transformer模型，你怎么看？
肖朝軍：他們的模型是混合架構(gòu)，純線性很難做到同樣的表現(xiàn)。但能有這樣的成績說明他們混合之后的效果還是很厲害的。

量子位：如何才能客觀評價模型架構(gòu)之間的優(yōu)劣？

肖朝軍：確實很難有一個放之四海而皆準(zhǔn)的評判方式。transformer之所以取代CNN和RNN成為主流，是因為它真的能scaling。

之前的架構(gòu)是scaling不了的，transformer帶來了一種新可能性：我們可以訓(xùn)練很大的模型，用很多數(shù)據(jù)獲得更多智能。而且它不需要任何trick，不需要人為調(diào)參就能獲得好效果。

量子位：你認(rèn)為transformer成為主流架構(gòu)有偶然性嗎？

肖朝軍：既有偶然性也有必然性。有個概念叫“硬件彩票”。

軟件往往走在硬件前面，我們會開發(fā)很多算法，但真正實現(xiàn)加速的是被硬件廠商選中的那種。transformer高強度對著GPU設(shè)計，真能打滿GPU利用率，所以踩中了硬件彩票。

現(xiàn)在的Mamba、RWKV誰能踩中下一波硬件彩票，誰也說不準(zhǔn)。

△硬件彩票內(nèi)涵

小模型與智能未來

量子位：目前一個小模型的定義是多大size？最小能在什么尺寸的模型里壓縮進(jìn)主流大模型的能力？這個極限在哪？

肖朝軍：現(xiàn)在小模型的大小沒有明確定義，基本上端側(cè)的話，可能還是在2-3B的范圍算小模型。

關(guān)于模型壓縮極限，我們發(fā)表過Densing Law的論文，但極限在哪里我們確實還不知道。很多人問未來是不是用64個比特就能放下GPT-4，那顯然不可能，但具體極限還不明確。

量子位：智能的本質(zhì)是壓縮嗎？

肖朝軍：這樣說有點怪。之前有一篇“語言模型即壓縮”的論文，只是把壓縮率和PPL做了轉(zhuǎn)換，這很難說成本質(zhì)。

Ilya最早提出智能本質(zhì)是壓縮這個思想的時候，強調(diào)的是“壓縮器”能夠很好地建模數(shù)據(jù)分布規(guī)律，而不是直接用語言模型來構(gòu)建數(shù)據(jù)壓縮器。

Hinton說過，智能的本質(zhì)是學(xué)習(xí)，就是學(xué)習(xí)能力才是智能的本質(zhì)。我認(rèn)為抽象能力可能更接近智能本質(zhì)。你看語言本身就是一種符號，能表征世間萬物，承載人類知識，是抽象和總結(jié)的載體。

量子位：面壁智能的小模型落地情況如何？

肖朝軍：我們開源的最大模型是是MiniCPM-3-4B，也有一些未開源的項目級模型可能有幾十B。

我們的端側(cè)場景很廣泛，包括手機端、電腦端、智能家居等都在射程范圍。

△面壁智能官網(wǎng)

量子位：精度優(yōu)化方面，你們怎么看FP8等低精度計算？

肖朝軍：精度降低后模型效果會變差，需要非常多的設(shè)計才能保證效果。

但現(xiàn)在DeepSeek已經(jīng)開源FP8算子部分了，只要跟著做一些補全就行，現(xiàn)在再訓(xùn)新模型的只要有卡肯定都上FP8了，25年會更多人做FP8，做的更實用更激進(jìn)。未來還會有FP4，一步步發(fā)展。

量子位：小模型在多模態(tài)方面有限制嗎？

肖朝軍：效果都挺好的。小模型在多模態(tài)這塊，從打榜上看差異沒有那么大。你會發(fā)現(xiàn)多模態(tài)現(xiàn)在還沒有一個非常漂亮的scaling law。

而且也還沒有一個統(tǒng)一共識的多模態(tài)模型架構(gòu)。知識能力上，小模型可能還有差距，差距主要體現(xiàn)在對知識的調(diào)度和理解上。

量子位：你怎么看o1的這條技術(shù)路線？

肖朝軍：o1主要是用強化學(xué)習(xí)和高質(zhì)量數(shù)據(jù)，強調(diào)強化學(xué)習(xí)和推理的scaling。
當(dāng)前強化學(xué)習(xí)整個推理過程很慢，硬件利用率也不高，這會使強化學(xué)習(xí)過程需要使用大量算力但模型思考步數(shù)不深、探索空間不夠。

未來肯定會繼續(xù)往高效的深思考方向發(fā)展，讓模型能夠生成超長的思維鏈，之后會像pre-training一樣，先把強化學(xué)習(xí)的訓(xùn)練規(guī)模做上來，然后再往小做、往高效做。

量子位：超長文本推理會是transformer架構(gòu)的下一個突破點嗎？

肖朝軍：對，CoT（思維鏈）是目前很重要的方向。這種長思考一定是下一波大家要突破的點。

目前o1這種長思維鏈和普通的長文本大海撈針完全不同。大海撈針只是找到信息就完事了，而o1的長思維鏈需要回到當(dāng)時的狀態(tài)，重新做推理、重新搜索。

思考的時候走一條路走到底之后，可能還要繼續(xù)之前考慮過的另一條路。現(xiàn)有測試集都很難全面評測o1這種長思維鏈能力。

△直接推理與思維鏈區(qū)別示意

o1之后，我覺得下一步還有一個很重要的問題是創(chuàng)新能力的問題。就像OpenAI的技術(shù)規(guī)劃，到后面有個innovation。

現(xiàn)在的搜索還是在已有的語義空間去搜索，但是真的要讓AI去做創(chuàng)新出之前沒有的東西，去探索一些新的未知的事物的時候，它一定要跳出之前預(yù)訓(xùn)練階段見過的所有的東西去突破，但這個事情咋做？還不知道。

量子位：對于長文本推理，線性架構(gòu)會有優(yōu)勢嗎？

肖朝軍：目前沒有實證研究證明純RNN模型的推理能力，我個人認(rèn)為類RNN的線性架構(gòu)技術(shù)路線大概率會失敗，混合架構(gòu)另當(dāng)別論。

效果為王，解決不了效果問題，談效率是不現(xiàn)實的。

現(xiàn)有RNN模型其實等價于滑動窗口，在推理中會對記憶不斷乘一個遺忘系數(shù)。即使遺忘系數(shù)連續(xù)一萬步都是0.999這么大，那一萬步之前的內(nèi)容也會遺忘完，上限天然太低。

量子位：大模型不可能三角（大模型無法同時實現(xiàn)低計算復(fù)雜度、高性能和并行化）問題有解決方案嗎？

△大模型不可能三角示意

肖朝軍：這個問題依舊存在，Mamba也依然沒有解決。如果真解決了，現(xiàn)在大家都會用起來。

Mamba等線性模型在短文本上能與transformer打平或更好，但長文本上仍有壓縮，而壓縮一定代表信息損失。我們還是無法兼顧計算復(fù)雜度和效果。

這個問題也許長期來看可以解決，因為人類思考也不是O(n2)復(fù)雜度的，不需要把之前所有KV都算一遍。但人腦存儲可能是分級的，有長期記憶和短期記憶，還可能利用外部工具如筆記本。具體怎么解決，目前還沒有摸到答案。

論文地址：
https://arxiv.org/abs/2409.02877