DeepSeek后更大的機(jī)遇：AI端側(cè)推理創(chuàng)新 | 智在終端

魚羊 2025-03-11 13:29:35 來源：量子位

明敏 魚羊 發(fā)自 凹非寺

量子位 | 公眾號(hào) QbitAI

每年開春的“新機(jī)潮”，今年出盡風(fēng)頭的是DeepSeek。

一時(shí)之間，幾乎所有主流消費(fèi)終端廠都在短時(shí)間內(nèi)完成DeepSeek的接入。

榮耀、OPPO、魅族、vivo、小米紛紛官宣自家AI助理上線DeepSeek-R1及其滿血版；甚至OPPO今年新發(fā)的旗艦大折疊Find N5，也強(qiáng)調(diào)了對(duì)DeepSeek的支持。

另一個(gè)被掀起鯰魚效應(yīng)的是車圈。

一個(gè)月內(nèi)，吉利、比亞迪、奇瑞、嵐圖、長城、理想等超過20家車企宣布接入DeepSeek，形成汽車與AI加速融合的一個(gè)切面。

熱潮之下是技術(shù)洪流不斷向前涌動(dòng)——

AI正在進(jìn)入推理創(chuàng)新時(shí)代。

如此趨勢(shì)認(rèn)知來自高通。DeepSeek效應(yīng)從AI領(lǐng)域向外輻射，從算法創(chuàng)新逐漸演變成對(duì)每個(gè)人生活工作的潛在影響。

輻射普羅大眾，消費(fèi)終端是關(guān)鍵橋梁。

由此，在當(dāng)下節(jié)點(diǎn)，一份對(duì)AI端側(cè)趨勢(shì)的梳理就變得尤為重要。高通最新發(fā)布的白皮書《AI變革正在推動(dòng)終端推理創(chuàng)新》，已梳理出四大趨勢(shì)：

• 先進(jìn)AI小模型已具有卓越性能
• 模型參數(shù)規(guī)模正在快速縮小
• 開發(fā)者能夠在邊緣側(cè)打造更豐富的應(yīng)用
• AI正在成為新的UI

透過這份行業(yè)分析，AI推理之于終端將產(chǎn)生哪些影響？也就有更明了了。

AI正在進(jìn)入推理創(chuàng)新時(shí)代

最首要的問題，DeepSeek這條“鯰魚”究竟改變了什么？

之于行業(yè)內(nèi)，大模型端側(cè)趨勢(shì)早已是暗流涌動(dòng)。在ChatGPT爆火后，高通就提出了混合AI的概念。

它強(qiáng)調(diào)，隨著生成式AI不斷發(fā)展，AI處理必須分布在云側(cè)和終端進(jìn)行，才能實(shí)現(xiàn)AI的規(guī)?；瘮U(kuò)展并發(fā)揮其最大潛能。它幾乎適用于所有生成式AI應(yīng)用和終端領(lǐng)域，包括手機(jī)、筆記本電腦、XR頭顯、汽車和物聯(lián)網(wǎng)。

從當(dāng)時(shí)來看，節(jié)省成本是推動(dòng)混合AI架構(gòu)的主要因素之一。一次AI問答所需的成本是傳統(tǒng)搜索的1000倍，混合AI能夠通過和終端設(shè)備協(xié)同算力的方式，降低云端計(jì)算的成本。同時(shí)兼顧個(gè)性化、隱私保護(hù)等需求。

這也造成了部分AI體驗(yàn)被閹割的問題。由于當(dāng)時(shí)推理Scaling Law（語言模型中的規(guī)模化法則行為）尚未被提出，模型能力與參數(shù)規(guī)模呈強(qiáng)烈正相關(guān)，盡管廠商們也陸續(xù)推出小型號(hào)模型適應(yīng)端側(cè)需求，但性能和精度水平仍舊受到限制。

在實(shí)際進(jìn)展上，高通在過去幾年先后發(fā)布的第三代驍龍8、驍龍X Elite和驍龍8至尊版等平臺(tái)上，開始強(qiáng)化終端芯片對(duì)生成式AI能力的支持。手機(jī)、PC廠商們?cè)诖嘶A(chǔ)上進(jìn)一步發(fā)力，陸續(xù)推出本地支持AI能力的新機(jī)，AI端側(cè)應(yīng)用迎來一波小趨勢(shì)，不僅手機(jī)助手都更加智能化，也衍生出AI一鍵消除路人、AI語音通話總結(jié)等原生AI端側(cè)應(yīng)用。

可以說，在過去幾年，端側(cè)AI已搭建好初步的框架和地基。若有更強(qiáng)勁的東風(fēng)，這股新趨勢(shì)便將進(jìn)一步爆發(fā)。

高通技術(shù)公司高級(jí)副總裁兼技術(shù)規(guī)劃和邊緣解決方案業(yè)務(wù)總經(jīng)理馬德嘉（Durga Malladi）近期的采訪，進(jìn)一步驗(yàn)證了外界的猜測(cè)：

我們?cè)谌ツ?1月份的時(shí)候已經(jīng)做出了這樣的預(yù)判，會(huì)有越來越多的高質(zhì)量模型在搭載驍龍平臺(tái)的終端側(cè)運(yùn)行，讓開發(fā)者能夠在邊緣側(cè)打造更豐富的應(yīng)用。

果然，在2025年，推理模型DeepSeek-R1這股東風(fēng)到來。它從模型層面為困擾端側(cè)AI已久的成本問題，提供了全新解決思路。

通過使用思維鏈推理數(shù)據(jù)和非推理數(shù)據(jù)微調(diào)，并進(jìn)行蒸餾，DeepSeek-R1實(shí)現(xiàn)了將推理能力賦予到小規(guī)模稠密模型上。

這意味著，高質(zhì)量且小規(guī)模的模型并非不可能實(shí)現(xiàn)。DeepSeek一聲驚雷過后，這樣的模型只可能比人們預(yù)想中的還要多、還要實(shí)惠。

由此，高通對(duì)當(dāng)下趨勢(shì)進(jìn)行梳理，在白皮書給出四大值得參考的方向。一方面是為了在發(fā)展中總結(jié)經(jīng)驗(yàn)，另一方面也是與行業(yè)一起探討前路方向。

其中，第一點(diǎn)被提及的還是快速進(jìn)化的AI模型。

現(xiàn)如今，不僅模型質(zhì)量在進(jìn)一步提高，開發(fā)方式其實(shí)也在變得更便捷。

經(jīng)過多年探索，目前AI領(lǐng)域內(nèi)針對(duì)不同模型需求，已經(jīng)形成了諸多范式。

比如針大規(guī)模模型，可以使用MoE（混合專家模型）、SSM（狀態(tài)空間模型）等架構(gòu)來降低計(jì)算開銷，同時(shí)保證模型質(zhì)量；使用思維鏈和自我驗(yàn)證等，能夠大幅提升模型在數(shù)學(xué)、編碼、推理等方面能力；對(duì)于小模型，蒸餾技術(shù)的普遍應(yīng)用能夠讓大模型“教學(xué)”小模型，保持準(zhǔn)確性的同時(shí)遷移知識(shí)，進(jìn)一步降低開發(fā)難度，一定程度上避免重復(fù)造輪子。

其次，從全行業(yè)范圍看，模型參數(shù)規(guī)模正在快速縮小。

量化、剪枝、蒸餾等技術(shù)下，大模型的性能可以很好遷移到小模型上。

基于通義千問模型和Llama模型的DeepSeek蒸餾版本，在GPQA基準(zhǔn)測(cè)試中，與GPT-4o、Claude 3.5 Sonnet和GPT-o1 mini等先進(jìn)模型相比，取得了相似或更高的分?jǐn)?shù)。

此外，讓模型更“濃縮精華”也是正在發(fā)生的趨勢(shì)。根據(jù)Epoch AI整理的數(shù)據(jù)，2024年發(fā)布的大規(guī)模AI模型中，超過75%的模型參數(shù)在千億規(guī)模以下。

第三，高質(zhì)量模型激增，開發(fā)者有了更多選擇，邊緣側(cè)的AI應(yīng)用正在滲透到普通用戶的日常用機(jī)習(xí)慣中。

比如文檔摘要、AI圖像生成和編輯以及實(shí)時(shí)語言翻譯，已經(jīng)成為如今AI手機(jī)上的常見功能。影像方面更是可以利用AI進(jìn)行計(jì)算攝影、物體識(shí)別和場(chǎng)景優(yōu)化。

這些都得益于AI推理在終端側(cè)的廣泛普及。

由此更進(jìn)一步，AI正在成為新的UI。

隨著大模型入駐手機(jī)、PC，傳統(tǒng)的屏幕交互正在被變革、顛覆，個(gè)性化多模態(tài)AI智能體可以簡化人機(jī)交互流程，高效地跨越各種應(yīng)用完成任務(wù)。

比如榮耀去年火出圈的“一句話點(diǎn)咖啡”，就是一個(gè)例子。

當(dāng)然還不止于手機(jī)、PC、汽車等消費(fèi)級(jí)終端，未來在機(jī)器人、無人機(jī)以及其他自主設(shè)備上，AI也有望實(shí)現(xiàn)實(shí)時(shí)決策，在動(dòng)態(tài)的真實(shí)環(huán)境中實(shí)現(xiàn)精確交互。

綜上，隨著AI進(jìn)入推理時(shí)代，終端側(cè)的創(chuàng)新與應(yīng)用落地被進(jìn)一步激發(fā)，AI格局甚至都將就此發(fā)生改變。

那么問題來了——

AI推理時(shí)代需要什么？

DeepSeek-R1的蒸餾模型，在問世不到兩周時(shí)間內(nèi)就被爭(zhēng)相接入各種終端，令不少業(yè)內(nèi)人士都驚嘆不已。

而在DeepSeek之外，值得關(guān)注的是，大部分接入的終端產(chǎn)品都是“高通芯”。

關(guān)鍵的一點(diǎn)是，在DeepSeek攪動(dòng)風(fēng)云之前，高通就已經(jīng)進(jìn)行了前瞻預(yù)判：AI計(jì)算處理將從云端向邊緣側(cè)擴(kuò)展。

2023年5月，高通發(fā)布了《混合AI是AI的未來》白皮書，其中提到：

AI處理必須分布在云端和終端進(jìn)行，才能實(shí)現(xiàn)AI的規(guī)?；瘮U(kuò)展并發(fā)揮其最大潛能。

而決定進(jìn)程的影響因素包括：終端能力、性能需求、隱私和安全需求，以及商業(yè)模式等諸多因素。

簡單歸納，核心回到3個(gè)問題：

• 硬件設(shè)計(jì)是否能滿足模型對(duì)終端算力的需求？
• 相比云端模型，終端“小”模型是否足夠好，足夠多，足夠便宜？
• 打通軟硬件的AI Infra（人工智能基礎(chǔ)設(shè)施，連接算力和應(yīng)用的AI中間層）是否完備，終端側(cè)的生態(tài)系統(tǒng)是否健全？

圍繞這3點(diǎn)，再回溯高通這兩年以來的技術(shù)布局，不難看出，高通在終端AI領(lǐng)域，再次引領(lǐng)了時(shí)代之先。

首先，是高性能、高能效的芯片設(shè)計(jì)。

高通長期致力于開發(fā)定制CPU、NPU、GPU和低功耗子系統(tǒng)，同時(shí)擁有封裝技術(shù)和熱設(shè)計(jì)的技術(shù)專長，構(gòu)成了其行業(yè)領(lǐng)先系統(tǒng)級(jí)芯片（SoC）產(chǎn)品的基礎(chǔ)。

這些SoC能夠直接在終端側(cè)提供高性能、高能效的AI推理。

比如，驍龍8至尊版除了在對(duì)AI最為關(guān)鍵的NPU上帶來一系列升級(jí)，在CPU和GPU上同樣做了不少文章，以更加充分地釋放SoC的AI能力。

包括引入自研Oryon CPU，應(yīng)對(duì)對(duì)時(shí)延敏感的AI任務(wù)，比如實(shí)時(shí)翻譯、AI助手命令響應(yīng)等，并負(fù)責(zé)將AI任務(wù)分配到其他核心上。

而驍龍8至尊版的Hexagon NPU，目前已經(jīng)可以支持70+ Tokens/秒、4K上下文的生成能力；并為應(yīng)對(duì)多模態(tài)AI任務(wù)增加了額外的內(nèi)核。

又比如驍龍X系列平臺(tái)，其專為實(shí)現(xiàn)高性能、高能效的生成式AI推理而打造的NPU核心，對(duì)定義全新AI PC品類發(fā)揮了關(guān)鍵作用。

△MWC2025高通展區(qū)畫面

其次，是覆蓋所有關(guān)鍵邊緣細(xì)分領(lǐng)域的可擴(kuò)展性。

不僅是手機(jī)、PC，在XR頭顯和眼鏡、智能汽車，以及工業(yè)互聯(lián)網(wǎng)等諸多終端場(chǎng)景中，高通的身影無處不在，并代表著最先進(jìn)的技術(shù)水平。

△MWC2025中高通展區(qū)展出搭載驍龍XR平臺(tái)的終端

而在所有這些場(chǎng)景中，高通始終在更加積極、極致地融入、提升AI能力。

比如在本屆MWC上，高通發(fā)布高通躍龍第四代固定無線接入（FWA）平臺(tái)至尊版，基于高通X85打造，支持長達(dá)14公里的毫米波遠(yuǎn)程通信——

高通提到，毫米波覆蓋范圍的擴(kuò)大得益于AI優(yōu)化和AI輔助波束選擇技術(shù)。

而其流量分類和智能網(wǎng)絡(luò)選擇等AI功能，也是基于X85這顆5G AI處理器的AI能力實(shí)現(xiàn)的。

又比如驍龍數(shù)字底盤解決方案，在其情境感知智能座艙系統(tǒng)中使用終端側(cè)AI，旨在增強(qiáng)汽車安全和駕駛體驗(yàn)。該系統(tǒng)利用先進(jìn)攝像頭、生物識(shí)別、環(huán)境傳感器以及先進(jìn)的多模態(tài)AI網(wǎng)絡(luò)，提供根據(jù)駕駛員狀態(tài)和環(huán)境條件而調(diào)整的實(shí)時(shí)反饋和功能。

針對(duì)自動(dòng)駕駛和輔助駕駛系統(tǒng)，高通開發(fā)了端到端架構(gòu)，利用大規(guī)模訓(xùn)練數(shù)據(jù)集，基于真實(shí)世界數(shù)據(jù)和AI增強(qiáng)數(shù)據(jù)的快速再訓(xùn)練、OTA更新以及包括車內(nèi)多模態(tài)AI模型和因果推理在內(nèi)的先進(jìn)軟件棧，應(yīng)對(duì)現(xiàn)代自動(dòng)駕駛和輔助駕駛的復(fù)雜性。

目前，高通的硬件和軟件解決方案已賦能數(shù)十億智能手機(jī)、汽車、XR頭顯和眼鏡、PC以及工業(yè)物聯(lián)網(wǎng)等終端，為廣泛行業(yè)帶來高性能、經(jīng)濟(jì)實(shí)惠、快速響應(yīng)和關(guān)注隱私的變革性AI體驗(yàn)。

值得關(guān)注的是，硬件之外，通過高通AI軟件棧、高通AI Hub和開發(fā)者協(xié)作，高通已構(gòu)建起完備的生態(tài)系統(tǒng)策略，面向不同邊緣終端領(lǐng)域的模型部署提供工具、框架和SDK，賦能開發(fā)者在邊緣側(cè)加速AI智能體和應(yīng)用的落地。

也可以這樣理解——通過高通生態(tài)的支持，開發(fā)者面向不同平臺(tái)進(jìn)行重復(fù)開發(fā)時(shí)，只需一次開發(fā)，即可輕松實(shí)現(xiàn)跨多平臺(tái)高效部署。

毫無疑問，大模型從云端擴(kuò)展到終端的過程中，蘊(yùn)藏著巨大的機(jī)會(huì)——

甚至可以說，這是這場(chǎng)“模力時(shí)代”變革之中，能最快觸達(dá)最多人群、引發(fā)新爆點(diǎn)的應(yīng)用領(lǐng)域之一。

而機(jī)會(huì)總是率先青睞有準(zhǔn)備的人，每一次技術(shù)變革中，引領(lǐng)潮流的都是有更長遠(yuǎn)預(yù)判，以及孜孜不倦深耕、賦能行業(yè)未來的企業(yè)、團(tuán)隊(duì)。

現(xiàn)在，在AI推理創(chuàng)新時(shí)代的開端，以高通為代表的技術(shù)上游已經(jīng)站上潮頭，亮出越來越令外界驚喜的手牌，推動(dòng)著整個(gè)行業(yè)加速發(fā)展。

更多的創(chuàng)新創(chuàng)造，正在涌流。

至少終端側(cè)的智能新可能，已經(jīng)在2025，初現(xiàn)曙光。