高通Ziad Asghar：AI處理的重心從云端向邊緣側(cè)轉(zhuǎn)移，智能手機是最佳平臺 | MEET 2023

蕭簫 整理自 MEET 2023
量子位 | 公眾號 QbitAI

從Stable Diffusion到ChatGPT，這半年AI算法應(yīng)用可謂突飛猛進。

但對于硬件領(lǐng)域而言，AI計算的下一個突破口或未來趨勢究竟是什么？

尤其是AI應(yīng)用最大的領(lǐng)域之一——移動端，大量AI算法在這里遭遇考驗，也在這里部署落地。

作為移動硬件領(lǐng)域?qū)K端側(cè)AI最有話語權(quán)的芯片廠商之一，高通對于未來AI計算的發(fā)展方向是如何預(yù)測的？

在MEET2023智能未來大會上，高通技術(shù)公司產(chǎn)品管理高級副總裁Ziad Asghar分享了自己對于提升AI處理性能、以及未來AI計算發(fā)展方向的思考：

數(shù)據(jù)會不斷從邊緣側(cè)產(chǎn)生，因此AI處理的重心正在持續(xù)向邊緣轉(zhuǎn)移。

邊緣側(cè)是進行AI處理的最佳選擇。

為了完整體現(xiàn)Ziad Asghar的分享及思考，在不改變原意的基礎(chǔ)上，量子位對他的演講內(nèi)容進行了編輯整理。

關(guān)于MEET智能未來大會：MEET大會是由量子位主辦的智能科技領(lǐng)域頂級商業(yè)峰會，致力于探討前沿科技技術(shù)的落地與行業(yè)應(yīng)用。今年共有數(shù)十家主流媒體及直播平臺報道直播了MEET2023大會，吸引了超過300萬行業(yè)用戶線上參會，全網(wǎng)總曝光量累積超過2000萬。

演講要點

• 數(shù)據(jù)會不斷從邊緣側(cè)產(chǎn)生，因此AI處理的重心正在持續(xù)向邊緣轉(zhuǎn)移。
• 消費者希望有更好的數(shù)據(jù)隱私，所有的終端數(shù)據(jù)能夠留在終端上，希望數(shù)據(jù)可靠，處理結(jié)果即時獲取。因此，邊緣側(cè)是進行AI處理的最佳選擇，而高通一直在推動這場變革。
• AI處理的最佳平臺是智能手機，因為它隨時隨地可用，且人人都有、人人可用。
• 過去所有的AI推理都在云端進行，如今大量推理工作正在被轉(zhuǎn)移至邊緣側(cè)完成。
• 終端側(cè)的實際數(shù)據(jù)可能讓模型的訓(xùn)練效果產(chǎn)生重要變化，同時提升其泛化能力。
• 自動駕駛領(lǐng)域充滿挑戰(zhàn)，它必須能高精度分辨人類和障礙物，否則后果不堪設(shè)想，這也恰好是AI的用武之地。

（以下為Ziad Asghar演講實錄整理）

AI處理下一階段：邊緣計算

今天我將和大家分享的主題是，高通如何讓智能網(wǎng)聯(lián)邊緣（Connected Intelligent Edge）成為現(xiàn)實。

這幾年來，我們的團隊研發(fā)了不少前沿AI技術(shù)，也一直在不斷提升終端側(cè)的智能水平。

在此期間，我們“將很多不可能變成可能”，不僅打造了一些全新的應(yīng)用案例，增強和改進了現(xiàn)有產(chǎn)品的體驗，還通過AI技術(shù)提升了終端側(cè)和產(chǎn)品的性能。

聚焦終端，我們會發(fā)現(xiàn)數(shù)據(jù)不斷從邊緣側(cè)產(chǎn)生，因此我們認為，AI處理的重心正在持續(xù)向邊緣轉(zhuǎn)移。

主要有兩方面原因：

一方面，消費者希望保護個人數(shù)據(jù)隱私，即將終端數(shù)據(jù)保留在終端設(shè)備上；另一方面，消費者又需要可靠的數(shù)據(jù)、并即時獲得處理結(jié)果。

因此，邊緣側(cè)是進行AI處理的最佳選擇，而高通一直在推動這場變革。

著眼當下，高通已經(jīng)在智能手機領(lǐng)域取得了突破性的成果，也將不少AI算法應(yīng)用到了影像、圖形處理等功能中。

隨著我們不斷向前發(fā)展，這些技術(shù)還會被集成到XR眼鏡、PC、物聯(lián)網(wǎng)、汽車等產(chǎn)品當中，而這些產(chǎn)品也會應(yīng)用更多AI技術(shù)，目的是帶來更好的體驗、突破更多瓶頸。

所以，高通究竟運用了哪些讓產(chǎn)品脫穎而出的技術(shù)？

首先，高通專注于基于“統(tǒng)一的技術(shù)路線圖”進行產(chǎn)品開發(fā)。

作為能夠全面覆蓋智能網(wǎng)聯(lián)邊緣、實現(xiàn)規(guī)?；瘮U展的技術(shù)，它涵蓋了邊緣AI、前沿的視覺效果和視覺技術(shù)、圖形和游戲技術(shù)、新穎的多媒體效果、極快處理速度，以及5G連接能力等特性。

我們將這些技術(shù)進行規(guī)?；瘮U展，從耳機等較低復(fù)雜度的產(chǎn)品，一直延伸到汽車、ADAS系統(tǒng)等高復(fù)雜度的產(chǎn)品。

這張圖片展示了AI技術(shù)的一系列應(yīng)用場景，當然這還只是終端設(shè)備中的一小部分：

至于這些AI技術(shù)，則包含了自然語言處理、面部識別等多種不同的能力。

然后就是高通AI引擎了。得益于這一核心成果，目前高通的AI技術(shù)已經(jīng)賦能20億終端。

高通AI引擎包含圖形處理單元、CPU、以及更關(guān)鍵的Hexagon處理器，其中Hexagon處理器又包含標量、向量和張量處理器。

如果從神經(jīng)網(wǎng)絡(luò)架構(gòu)來看，你會發(fā)現(xiàn)標量、向量和張量處理器能很好地與神經(jīng)網(wǎng)絡(luò)模型的不同部分實現(xiàn)匹配，這正是我們模仿自然界的神經(jīng)網(wǎng)絡(luò)模型、從而打造Hexagon處理器的原因。

那么，高通AI引擎具體能做些什么？

根據(jù)一些基準測試數(shù)據(jù)，高通AI引擎表現(xiàn)十分出色，顯著超越了同行產(chǎn)品性能。

從第一代驍龍8到第二代驍龍8，我們都非常專注于自然語言處理（NLP）、目標檢測等模型的性能優(yōu)化。

以MobileBERT模型為例。正如圖片所展示，針對這個NLP模型，我們將處理速度提升了超過4倍：

我們還會持續(xù)優(yōu)化性能、不斷突破模型極限，在邊緣側(cè)實現(xiàn)更多能力。

此外，我們還開發(fā)了具有高度可擴展性的硬件架構(gòu)。

高通的移動平臺，通常會配置一個Hexagon處理器實例；但如果擴展到計算等其他業(yè)務(wù)時，也可以使用兩個Hexagon處理器實例；面向汽車、云和邊緣，則可以使用多個Hexagon處理器實例來提高算力。

但這也需要針對性地面向可擴展性進行開發(fā)。而高通已經(jīng)具備這樣的獨特算法和架構(gòu)，讓這種技術(shù)成為可能。

從性能和能效角度來看（既定功耗下可以釋放多少性能），我們已經(jīng)多方面超越了競爭對手，這是基于過去幾年積累的技術(shù)不斷提升的成果。

例如根據(jù)性能基準測試AITuTu，在排名前十的AI平臺性能列表中，驍龍平臺就占據(jù)了前四名，包括第二代驍龍8、以及此前發(fā)布的第一代驍龍8、驍龍8+和驍龍888。

這其中甚至還有驍龍7系產(chǎn)品入榜，也是我們技術(shù)實力的體現(xiàn)之一。

如今，我們的目標是讓AI無處不在——

因此，AI處理的最佳平臺應(yīng)該是智能手機，因為它隨時隨地可用，而且人人都有、人人能用。

如何提升端側(cè)AI處理性能？

為了讓AI在終端側(cè)發(fā)揮最大作用，我們帶來了哪些技術(shù)呢？

其中之一，是支持INT4精度推理。

相比于INT8，INT4能夠?qū)崿F(xiàn)60%的能效提升和90%的AI推理速度提升。如果從INT8轉(zhuǎn)化到INT4、或從浮點計算轉(zhuǎn)化到整數(shù)計算，在同樣的算力下我們就能夠處理更多數(shù)據(jù)。

如果把32位浮點模型轉(zhuǎn)化為INT4模型，這個能效甚至可以提升到64倍。

這些是我們已經(jīng)在邊緣側(cè)實現(xiàn)的技術(shù)。

可以看到，將模型從INT8轉(zhuǎn)化為INT4時，推理精準度和畫面質(zhì)量均沒有受到影響。這也得益于我們打造的前沿工具和軟件，用它們能夠讓前沿技術(shù)與我們的硬件方案充分結(jié)合。

除了持續(xù)提升性能、并應(yīng)用Hexagon處理器引擎以外，在芯片子系統(tǒng)中，我們還集成了一個小型、“始終在線”的引擎，稱之為高通傳感器中樞。

它能同時處理多路數(shù)據(jù)流，包括傳感器、語音和音頻、連接和始終感知的攝像頭等，有了它我們就能實現(xiàn)更多應(yīng)用案例。

實際上，我們將高通傳感器中樞的AI能力提高了一倍，通過增加50%的存儲，提升它安全方面的性能，包括人身安全、數(shù)據(jù)安全、健康等等。

舉例來說，讓它具備識別隱患聲音的能力，比如半夜傳來的玻璃破碎聲，這樣就能使用AI賦能的高通傳感器中樞進行監(jiān)測、并采取對應(yīng)的預(yù)警措施。

通過高通傳感器中樞，我們還能提升平臺包括關(guān)鍵詞識別、異常檢測、圖像分類能力在內(nèi)的AI能力。從第一代驍龍8到第二代驍龍8，這些性能提升了近九倍。

如今，我們已經(jīng)有了全面的解決方案，這里就包括業(yè)界領(lǐng)先的軟件產(chǎn)品，高通AI軟件棧。

高通AI軟件棧能夠?qū)崿F(xiàn)“模型一次開發(fā)，跨所有高通產(chǎn)品線進行擴展”。也就是說，用戶只需開發(fā)一次模型，就能在所有不同產(chǎn)品中使用它。

這不僅為高通、也為消費者和客戶帶來了獨特體驗，讓他們真正感受到這項技術(shù)帶來的便利。

高通AI軟件棧支持所有主流框架，包括TensorFlow、PyTorch和ONNX等等，也提供數(shù)學(xué)庫、編譯器等全面的工具支持，讓客戶能夠充分利用高通獨特AI硬件的優(yōu)勢。

但正如我前面提到的，包括INT4在內(nèi)的特性和體驗，都需要特別的工具能力。因此，我們開發(fā)了全新的工具產(chǎn)品，即Qualcomm AI Studio。

如下面這個視頻所示，Qualcomm AI Studio可以實現(xiàn)模型全面管理，包括模型創(chuàng)建、運行情況監(jiān)測，模型分析等，從開發(fā)到運行實現(xiàn)全面支持。

這讓我們能夠充分發(fā)揮INT4的能力，給用戶帶來更好的體驗。

下面這張圖清晰展示了我們對于模型完整生命周期的規(guī)劃，它可以被應(yīng)用到我們所有的業(yè)務(wù)和產(chǎn)品線，成為高通產(chǎn)品中一種獨特的優(yōu)勢。

我們還支持神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索（NAS）等功能和體驗，它允許開發(fā)者設(shè)定某些模型優(yōu)化目標，比如具體功耗優(yōu)化、時延或者精準度等，同時我們還與谷歌就Google Vertex AI NAS展開了合作。

這些不同的產(chǎn)品線讓我們大幅改善了時延、并顯著提升精準度，下圖的1.3%就是一個相當顯著的精度提升。

OPPO率先與高通基于Vertex AI NAS展開了合作，提升終端AI的體驗。

邊緣AI下一步往哪走？

接下來的AI發(fā)展方向是什么？

過去所有的AI推理都在云端進行。如今，大量推理工作正在被轉(zhuǎn)移至邊緣側(cè)終端完成。

下一步，就是實現(xiàn)完全的分布式AI，即轉(zhuǎn)向終端側(cè)學(xué)習(xí)的工作方式。這一點至關(guān)重要，正如我前面提到的，我們已經(jīng)開始用AI模仿一些自然行為。

現(xiàn)在AI像人類一樣具備一定的推理能力，能夠區(qū)分圖片中的皮膚、毛發(fā)、織物或布料，接下來我們還會持續(xù)提升推理能力，讓終端更加智能。

但問題是，我們?nèi)缃褚涯茏龅揭欢ǔ潭鹊慕K端側(cè)學(xué)習(xí)，這能帶來什么收益呢？

目前典型的模型訓(xùn)練方式，通常是基于一定數(shù)量的數(shù)據(jù)進行訓(xùn)練。但終端側(cè)的實際測試數(shù)據(jù)，卻可能讓模型的訓(xùn)練效果發(fā)生重大變化。這就是終端側(cè)學(xué)習(xí)能保持甚至提升精準度的原因，同時也能提升模型的泛化能力。

這也能讓用戶的終端體驗變得更加個性化，遠超當前終端側(cè)所能實現(xiàn)的能力，而這正是我們在努力的方向，高通正在采取不同的方式實現(xiàn)這一點。

我們的研究團隊關(guān)注了很多不同的研究方向，包括小樣本學(xué)習(xí)、無監(jiān)督持續(xù)學(xué)習(xí)、聯(lián)邦學(xué)習(xí)和低復(fù)雜度的終端側(cè)訓(xùn)練，我會對其中的部分研究方向進行介紹。

基于此大家可以看出，我們已經(jīng)進入了第二階段，在邊緣進行終端側(cè)學(xué)習(xí)時，需要做到極低的功耗。

以關(guān)鍵詞識別為例，利用小樣本學(xué)習(xí)就可以實現(xiàn)大幅提升，甚至在現(xiàn)實情況下，能讓AI做到看完某一人的筆跡或者書面文字后，快速進行辨認。

我們也能做到在用戶錄入數(shù)據(jù)時進行局部模型適應(yīng)，憑借非常少量的樣本數(shù)據(jù)和出色的數(shù)據(jù)標記能力，大幅提升關(guān)鍵詞識別的表現(xiàn)。

舉例來說，當遇到說話有特定口音的用戶時，針對異常值數(shù)據(jù)檢測，借助小樣本學(xué)習(xí)讓關(guān)鍵詞檢測算法的檢測率提升30%左右，讓這個模型真正做到靈活運用。

我們探索的另一條路徑是聯(lián)邦學(xué)習(xí)。云端創(chuàng)建的模型被下發(fā)到邊緣側(cè)終端后，基于一定程度的離線學(xué)習(xí)，邊緣側(cè)終端就可以根據(jù)消費者實際情況調(diào)整模型。

同時，由于終端側(cè)學(xué)習(xí)的過程會產(chǎn)生噪聲，所以還能將之回傳云端并進一步提升模型泛化能力。

舉例來說，如果一輛汽車不斷在多個不同國家、不同路況行駛，云端模型就可以持續(xù)進行適應(yīng)，假以時日模型經(jīng)過優(yōu)化，就能夠打造更優(yōu)秀的自動駕駛汽車模型，這是我們通過打造平臺，支持終端側(cè)聯(lián)邦學(xué)習(xí)的又一范例。

沒錯，包括出色的推理、機器學(xué)習(xí)或者INT4等能力在內(nèi)，這些技術(shù)對于汽車同樣大有用武之地。

汽車是一個充滿挑戰(zhàn)的獨特領(lǐng)域，它的系統(tǒng)必須能夠分辨人類和障礙物、并做到高精準度，否則后果將是災(zāi)難性的，這也恰好是AI技術(shù)的體現(xiàn)。

借助出色的5G能力，我們就能以超低時延將數(shù)據(jù)傳輸?shù)浇K端，大幅提升安全性。

另一個AI落地的關(guān)鍵領(lǐng)域是元宇宙。

例如，用AR眼鏡與周圍世界互動時，要實現(xiàn)雙手交互功能，就需要用到AI手勢檢測技術(shù)；同時，AR給平面上放置虛擬物體的功能，也需要將AI應(yīng)用其中……還有不少地方也都會用到AI。

整體而言，我們非常高興能夠跨所有業(yè)務(wù)線，憑借業(yè)界領(lǐng)先的軟硬件結(jié)合能力，以及高通AI軟件棧和Qualcomm AI Studio，引領(lǐng)市場向著充分利用智能網(wǎng)聯(lián)邊緣的方向發(fā)展。

我堅信，目前我們所利用的終端側(cè)AI能力只是冰山一角。

未來，終端側(cè)AI需求還會變得越來越多，我們十分期待能夠沿著這個方向繼續(xù)推進，讓智能網(wǎng)聯(lián)邊緣成為現(xiàn)實。