首個開源MoE大模型發布！GPT-4同款架構，來自歐洲的OpenAI
夢晨 發自 凹非寺
量子位 | 公眾號 QbitAI
“取消今晚所有計劃！”，許多AI開發者決定不睡了。
只因首個開源MoE大模型剛剛由Mistral AI發布。
MoE架構全稱專家混合（Mixture-of-Experts），也就是傳聞中GPT-4采用的方案，可以說這是開源大模型離GPT-4最近的一集了。
沒有發布會、沒有宣傳視頻，只靠一個磁力鏈接，就產生如此轟動效果。
具體參數還得是網速快的人下載完之后，從配置文件里截圖發出來的：
7B參數x8個專家，對每個token選擇前兩個最相關的專家來處理。
以至于OpenAI創始成員Karpathy都吐槽，是不是少了點什么？
怎么缺了一個那種排練很多次的專業范視頻，大談特談AI變革啊。
至于吐槽的是誰，懂得都懂了。
以及他還解釋了為什么AI社區這幾天如此活躍：最大的深度學習會議NeurIPS即將在下周開啟。
MoE，開源大模型新階段？
為何這款開源MoE模型如此受關注？
因為其前身Mistral-7B本來就是開源基礎模型里最強的那一檔，經常可以越級挑戰13B、34B。
并且Mistral-7B以寬松的Apache-2.0開源協議發布，可免費商用，這次新模型很可能沿用這個協議。
在多個評測排行榜上，基于Mistral-7B微調的Zephyr-7B-beta都是前排唯一的7B模型，前后都是規模比他大得多的模型。
LLMSYS Chatbot Arena上，Zephry-7B-beta目前排第12。
AlpacaEval上，也排到第15。
目前這個新的MoE模型連個正式名字都還沒有，社區一般稱呼它為Mistral-7Bx8 MoE。
但在大家期待的期待中，新MoE模型對比單體Mistral-7B的提升幅度，就應該像GPT-4對比GPT-3.5那樣。
但是注意了，有人提醒大家MoE對于本地運行來說不是太友好，因為更占內存
但更適合部署在云端，跨設備專家并行，給公司處理并發需求帶來成本優勢。
行動比較快的公司是前PyTorch成員出走創辦的fireworks.ai。
第一次嘗試、沒有任何優化的情況下，需要兩張80GB內存的卡，優化版本即將推出。
Replicate上也有了可試玩版本，簡單試用發現中文水平也不錯。
其實Mistral AI也為大家準備了官方配套代碼，使用了斯坦福去年發布的輕量級MoE庫Megablocks。
創始人：小模型支持更多有意思的應用
Mistral AI由前DeepMind、前Meta科學家創辦。
剛剛完成一輪4.87億美元的新融資，最新估值逼近20億美元，已晉升獨角獸。
三位聯合創始人中，CEO?Arthur Mensch此前在DeepMind巴黎工作。
CTO?Timothée Lacroix和首席科學家Guillaume Lample則在Meta共同參與過Llama系列的研發，Lample是通訊作者之一。
Arthur Mensch曾在接受采訪時談到，讓模型變小是支持Agent發展的路徑之一。
如果能把計算成本降低100倍，就能構建起更多有意思的應用。
Mistral AI成立于今年5月，種子輪融資1.13億美元。
9月底，Mistral AI以磁力鏈接的形式發布第一個開源模型Mistral-7B，當時很多開發者試用后都覺得Llama-2不香了。
12月初，Mistral AI再次甩出開源MoE模型磁力鏈接，再次掀起一波熱潮。
這就是公司官號僅有的幾次發言。
不少人都拿來和最近谷歌的過度宣傳做對比。
最新的梗圖：磁力鏈接就是新的arXiv。
參考鏈接：
[1]https://x.com/MistralAI/status/1733150512395038967?s=20
[2]https://github.com/mistralai/megablocks-public
[3]https://replicate.com/nateraw/mixtral-8x7b-32kseqlen
- GPT-5-Thinking新訓練方法公開：讓AI學會懺悔2025-12-04
- GPT5.5代號“蒜你狠”曝光！OpenAI拉響紅色警報加班趕制新模型，最快下周就發2025-12-03
- 華爾街尬捧TPU學術界懵了：何愷明5年前就是TPU編程高手，多新鮮2025-11-30
- 混元OCR模型核心技術揭秘：統一框架、真端到端2025-11-30
相關閱讀
