14.9萬(wàn)元，滿血流暢運(yùn)行DeepSeek一體機(jī)抱回家！清華90后初創(chuàng)出品

十三 2025-04-29 18:31:17 來(lái)源：量子位

金磊 發(fā)自 凹非寺

量子位 | 公眾號(hào) QbitAI

滿血DeepSeek一體機(jī)，價(jià)格竟然被打到10萬(wàn)元級(jí)別了！

而且還不是量化版本，正是那個(gè)671B參數(shù)、最高質(zhì)量的FP8原版。

或許有小伙伴要問(wèn)了，那跑DeepSeek-R1/V3的速度，能跟官方一較高下嗎？

可以的，甚至是更快的那種。例如我們提個(gè)問(wèn)題，來(lái)感受一下這個(gè)feel：

一個(gè)漢字具有左右結(jié)構(gòu)，左邊是木，右邊是乞。這個(gè)字是什么？只需回答這個(gè)字即可。

視頻地址：
https://mp.weixin.qq.com/s/luK0nlylq5faBytZ6Pvc1Q

從視頻中不難看出，不僅答案精準(zhǔn)，一體機(jī)的速度也是肉眼可見(jiàn)地比DeepSeek官網(wǎng)快上一些，粗略估計(jì)是已經(jīng)接近了22 tokens/s。

那么這個(gè)一體機(jī)到底是什么來(lái)頭？

不賣(mài)關(guān)子，它就是由北京行云集成電路最新推出的產(chǎn)品——褐蟻HY90，具體價(jià)格定到了14.9萬(wàn)元。

而且除了產(chǎn)品，這家公司本身也是有不少的“標(biāo)簽”在身上的，其中最為吸睛或許當(dāng)屬CEO了：

季宇，清華90后博士、前華為“天才少年”、計(jì)算機(jī)學(xué)會(huì)CCF優(yōu)博獎(jiǎng)獲得者。

那么褐蟻HY90具體執(zhí)行起更多任務(wù)時(shí)，又會(huì)是什么樣的效果？

來(lái)，更多維度的一波實(shí)測(cè)走起。

實(shí)測(cè)10萬(wàn)元級(jí)的DeepSeek一體機(jī)

我們先在褐蟻HY90部署DeepSeek-R1，來(lái)測(cè)試一下它的推理能力。

有請(qǐng)AIME 2025的數(shù)學(xué)題：

Find the sum of all integer bases b>9 for which 17b is a divisor of 97b.

視頻地址：
https://mp.weixin.qq.com/s/luK0nlylq5faBytZ6Pvc1Q

從內(nèi)容生成的速度上來(lái)看，褐蟻HY90面對(duì)數(shù)學(xué)推理問(wèn)題，依舊是可以保持接近20+ tokens/s。

并且最終給到的答案也是精準(zhǔn)無(wú)誤：70。

再來(lái)一道新版類似“9.9和9.11哪個(gè)大”、“Strawberry里面有幾個(gè)‘r’”，極度迷惑一眾AI的難題：

讓7米長(zhǎng)的甘蔗通過(guò)2米高1米寬的門(mén)。

速度依舊在線，并且這個(gè)問(wèn)題已經(jīng)是難不倒DeepSeek，給出的答案也是正解。

而除了DeepSeek之外，我們還在褐蟻HY90上體驗(yàn)了一把類似Deep Research的功能：

視頻地址：
https://mp.weixin.qq.com/s/luK0nlylq5faBytZ6Pvc1Q

由此可見(jiàn)，無(wú)論是什么類型的題目，褐蟻HY90都能以相對(duì)較快的速度絲滑處理。

不過(guò)有一說(shuō)一，以往的一體機(jī)，即便是搭載Q4量化版本，成本動(dòng)輒就要達(dá)到200萬(wàn)元。

而褐蟻HY90在搭載滿血、未量化的DeepSeek情況下，不僅能夠保證速度，更是把價(jià)格打掉了一個(gè)數(shù)量級(jí)。

因此，接下來(lái)的一個(gè)問(wèn)題便是：

如何煉成的？

在我們聊“如何實(shí)現(xiàn)”之前，且需了解一下“什么在阻礙”。

首先，大家提到一體機(jī)，第一反應(yīng)大概率就是GPU，而它本身就或許構(gòu)成了短板。

因?yàn)閭鹘y(tǒng)GPU方案因顯存容量限制，例如671GB需求需多張A100顯卡，成本已經(jīng)超過(guò)了百萬(wàn)的級(jí)別。

而CPU方案則受限于內(nèi)存帶寬，因?yàn)榇竽Ｐ屯评硇枰l繁加載參數(shù)（如671B參數(shù)的FP8精度模型占用約671GB內(nèi)存）。

如果內(nèi)存帶寬不足，就會(huì)導(dǎo)致計(jì)算單元（CPU 核心）長(zhǎng)時(shí)間等待數(shù)據(jù)，形成“內(nèi)存墻”（Memory Wall），嚴(yán)重影響推理速度。

針對(duì)上述的短板，行云的褐蟻一體機(jī)采用雙路AMD 9005系列CPU，通過(guò)1TB/s的高內(nèi)存帶寬滿足基礎(chǔ)推理需求，同時(shí)搭配一張中高端消費(fèi)級(jí)GPU作為算力補(bǔ)充。

這種異構(gòu)計(jì)算架構(gòu)通過(guò)軟件協(xié)同優(yōu)化，既解決了純CPU方案在部分推理階段的算力不足問(wèn)題，又顯著降低了成本，將硬件投入壓縮至10萬(wàn)元以內(nèi)。

除此之外，行云自主研發(fā)的推理引擎框架通過(guò)算法優(yōu)化和任務(wù)調(diào)度，同樣對(duì)token生成速率起到了顯著的提升作用。

在FP8精度下，Decode階段速度穩(wěn)定在20TPS以上，且受上下文長(zhǎng)度影響較小（128K上下文仍保持15TPS）；Prefill階段在16K上下文內(nèi)首字延遲控制在80秒以內(nèi)。

這種高效推理能力尤其適合需要連續(xù)生成大量token的場(chǎng)景（如AI Agent），大幅縮短任務(wù)響應(yīng)時(shí)間。

不僅如此，團(tuán)隊(duì)還針對(duì)大模型運(yùn)行需求，精準(zhǔn)平衡了計(jì)算能力與內(nèi)存帶寬，支持滿血FP8精度的R1/V3模型，并預(yù)留擴(kuò)展能力，未來(lái)可支持1.5T參數(shù)量的模型。

通過(guò)參數(shù)壓縮技術(shù)（如INT4量化），進(jìn)一步將Decode速度提升至28TPS（1K上下文），滿足不同場(chǎng)景對(duì)速度與精度的靈活需求。

據(jù)了解，團(tuán)隊(duì)后續(xù)還將對(duì)MoE類的模型提供較好的支持。

褐蟻一體機(jī)的出現(xiàn)，可以說(shuō)是改寫(xiě)了行業(yè)的格局——

此前運(yùn)行滿血671B模型需百萬(wàn)級(jí)設(shè)備，而同類低配方案（如32B/70B模型）仍需20-40萬(wàn)元。

行云通過(guò)技術(shù)整合，將最高質(zhì)量的模型體驗(yàn)直接帶入10萬(wàn)元價(jià)位，為中小團(tuán)隊(duì)提供了低門(mén)檻、高擴(kuò)展性的AI部署方案。

這一技術(shù)突破不僅實(shí)現(xiàn)了“高性能+低成本”的平衡，更推動(dòng)了大模型在智能客服、數(shù)據(jù)分析等場(chǎng)景的普惠應(yīng)用。

清華90后創(chuàng)辦的公司

最后，正如我們剛才提到的，行云除了產(chǎn)品本身之外，創(chuàng)始團(tuán)隊(duì)同樣也有不少的亮點(diǎn)。

首先就是創(chuàng)始人兼CEO季宇，他本科就讀于清華大學(xué)物理系，后轉(zhuǎn)向計(jì)算機(jī)體系結(jié)構(gòu)方向，獲得清華大學(xué)計(jì)算機(jī)體系結(jié)構(gòu)博士學(xué)位。

在學(xué)術(shù)研究方面，他曾作為共同第一作者在頂級(jí)期刊《自然》（Nature）上發(fā)表計(jì)算機(jī)體系結(jié)構(gòu)相關(guān)論文，并榮獲中國(guó)計(jì)算機(jī)學(xué)會(huì)（CCF）優(yōu)秀博士學(xué)位論文獎(jiǎng)（CCF優(yōu)博獎(jiǎng)）。

在2023年8月成立行云集成電路之前，季宇曾在華為海思昇騰芯片團(tuán)隊(duì)，擔(dān)任昇騰AI芯片編譯器專家，負(fù)責(zé)多個(gè)昇騰編譯器項(xiàng)目，也曾入選“華為天才少年”。

在華為期間，正因長(zhǎng)期專注于AI編譯器優(yōu)化和處理器微架構(gòu)等挑戰(zhàn)性問(wèn)題，也讓他積累了豐富的AI芯片研發(fā)經(jīng)驗(yàn)。

除了季宇本人之外，CTO余洪敏擁有深厚的學(xué)術(shù)背景和豐富的行業(yè)經(jīng)驗(yàn)。

他本科畢業(yè)于華中科技大學(xué)，后在中國(guó)科學(xué)院半導(dǎo)體研究所獲得博士學(xué)位。

在職業(yè)履歷方面，余洪敏曾擔(dān)任百度昆侖芯、華為海思車載昇騰芯片等多款芯片的負(fù)責(zé)人，并曾在地平線擔(dān)任芯片研發(fā)總監(jiān)。

他長(zhǎng)期領(lǐng)導(dǎo)和管理超過(guò)100人的研發(fā)團(tuán)隊(duì)，精通芯片研發(fā)設(shè)計(jì)全流程，具備豐富的實(shí)戰(zhàn)經(jīng)驗(yàn)——成功主導(dǎo)10余款芯片的流片與量產(chǎn)，并多次推動(dòng)先進(jìn)工藝數(shù)據(jù)中心芯片的架構(gòu)設(shè)計(jì)、工程實(shí)現(xiàn)及大規(guī)模商用部署。

值得一提的是，在去年11月份，行云集成電路還得到了一眾明星資本的投資，包括智譜AI、峰瑞資本、嘉御資本、春華資本、聚合資本、中科創(chuàng)星、同創(chuàng)偉業(yè)、奇績(jī)創(chuàng)壇、水木清華校友基金等。

由此，從行云集成電路成立至今的發(fā)展來(lái)看，是有產(chǎn)品，有團(tuán)隊(duì)，更有市場(chǎng)的那種了。

但更重要的一點(diǎn)是，這家剛成立兩年的公司，一舉實(shí)現(xiàn)了一體機(jī)圈子里類似的DeepSeek的“高性能+低成本”——

嗯，“中國(guó)初創(chuàng)”的含金量還在持續(xù)上升。

一體機(jī)近期可從官方公眾號(hào)預(yù)約體驗(yàn)，更多詳情見(jiàn)↓