云計算：ChatGPT的“中樞神經”

量子位的朋友們 2023-03-17 15:57:48 來源：量子位

2023年2月17日，由中國信息通信研究院、CNCF、華為云聯合主辦的創原會·云原生技術創新峰會在四川成都圓滿閉幕。會上，中國信息通信研究院云計算與大數據研究所副所長栗蔚分享了《云原生助力數字原生企業崛起》主題演講，關于ChatGPT，關于云計算、關于數字原生新實體，栗蔚帶來的思考和研究如下：

“OpenAI與云計算的聯姻，就像大腦找到了中樞神經，不僅僅催生出ChatGPT這樣的爆款產品，更是充分釋放出以云計算為中樞神經構建的數字生命體的競爭力。”

“ChatGPT是同時擁有模型算法（腦區）和云計算（中樞神經）的系統化人工智能。云計算能夠感知和調度巨量的分布式應用信息單元，促進多維腦區（模型算法）的進化，使ChatGPT越來越智慧。”

“云原生技術為ChatGPT超大規模的模型提供了大規模計算的統一分布式調度系統。云原生的每個節點就像數字世界的神經元，通過承載的不同類型模型參數，彼此調度鏈接通信，形成人工智能的不同機能。”

……

以下，便是栗蔚在主題演講中分享的最新研究詳情。

一、云計算是數字世界的中樞神經

數字化時代，云計算本質已經發生根本改變，實現了由最初的虛擬化技術向數字世界的中樞神經演升，從以服務化資源交付向云原生化價值賦能轉變。云計算正在成為數字生命體的中樞神經，成為企業數字化轉型的胎生力量。

只有腦區而沒有中樞神經的智能是靜止的智能。傳統人工智能側重模型算法創新，卻忽略了智能是一個復雜的系統化工程，就像人的智慧是建立在完善的中樞神經之上的。模型算法實現的是機器學習能力，相當于人類大腦的認知腦區（腦力功能區的簡稱），人類有600多個腦區，但人類整體的智能應該包括腦區部分和中樞神經，中樞神經是由腦和脊髓組成（腦和脊髓是各種反射弧的中樞部分），比起早期腔體動物和節肢動物只能處理單維信息的中樞神經不同，人類的中樞神經可以同時、分布式傳遞和處理所有來自眼耳鼻舌身意的超高量信息至不同的認知腦區，并相互連接他們，促進腦區不斷發育。

模型算法和云計算恰好分別扮演了腦區和中樞神經的角色。OpenAI與云計算的聯姻，充分釋放出以云計算為中樞構建的數字生命體的競爭力，大多企業和用戶在聚焦模型算法優化改良時，不可忽略云計算作為中樞神經的作用。ChatGPT是構建在云上的人工智能，就像生物的進化一樣，是腦區與中樞神經系統關系在數字世界的成功演繹。

ChatGPT的兩個被津津樂道的創新是系統化工程的創新，這其中云計算功不可沒，一是情景學習模式以及多模態（文本、代碼、圖片等多維度信息）輸入；二是人類反饋強化學習（RLHF）的微調訓練機制和提示導引模式。這兩個創新中云計算的應用部署和離混部技術發揮了重要作用。

云計算作為中樞神經，作用有三：

一是數字世界腦區（應用）調度算力的系統。云計算分布式調度超高量異構高性能計算GPU和通用計算CPU資源，支持ChatGPT模型的1750億參數，對于異構的計算資源，云計算屏蔽了復雜的部署框架，給大規模參數一個標準化計算環境，可以高效使用異構算力，降低了大量開發的開銷和運行的成本，提高了效率。

二是數字世界多維腦區（多維應用）接入、部署和連接的基礎環境。云計算實現了多維模型參數的標準化部署，使得ChatGPT可以圍繞某個主題同時學習多維（圖像、語音、文本等）信息，大部分傳統人工智能就像早期腔體動物只有一個腦區，只能學習訓練單一維度參數，云計算可以將不同應用參數通過云原生容器等技術標準化部署在不同節點，并相互連接處理，通過云原生數據庫等實現多維數據的統一處理，就像人類的大腦中樞神經一樣連接處理不同層級和不同維度的腦區。

三是數字世界實現存儲記憶（離線訓練）和各個腦區反饋（在線提示引導）的機制。通過云原生離線混部技術支持ChatGPT離線訓練，在線提示引導的算法實現，就像人類中樞神經會不斷傳遞經驗和現實信息給大腦進行大腦信息修正，在用戶看來ChatGPT可以根據交流調整答案，非常智能。

二、ChatGPT是“數字原生”人工智能，云原生理念和技術是其勝出的重要因素之一

ChatGPT是長在云計算上的“數字原生”人工智能，就像生物進化先進化中樞神經一樣，ChatGPT天生擁有中樞神經、多維腦區、開放學習能力和智慧創新的四位一體的智慧能力。云原生是中樞神經整體實現的關鍵技術內核，容器在其中就像上千上億的神經元承擔了不同應用計算能力和信息傳遞能力，算法在計算時將前端后端的神經元部署在不同的容器上，去進行每一個計算、傳遞和通信。

一是云原生技術為ChatGPT提供超大規模并行計算的統一調度分發服務能力，顯著降低ChatGPT訓練成本。GPT走大規模訓練路線，GPU只負責提供底層算力，而云原生則負責實現中間的分布式。GPT有1750億個參數，這1750億個參數在底層進行運算和計算時，使用Ray的訓練框架。

底層基于云原生K8S服務將1750億的參數模型根據不同的維度分布成超高量級節點的調度，進行分布式的節點計算，如果沒有云原生，異構算力調度存在壁壘，GPU池化受阻，支撐千億參數模型訓練的多機多卡分布式訓練環境無法高效打通，網絡、存儲、計算、通信能力下降，ChatGPT每次訓練時間將被一再拉長。

另一方面，人工智能模型計算所需要消耗的計算資源每3~4個月就要翻一倍，資金也需要通過指數級增長獲得匹配，而運用云計算后過去兩年半，GPT-3等模型的訓練成本下降了80%以上，從首次訓練開銷1200萬美元降至140萬美元。如果沒有云原生發揮極致彈性能力，時間成本和經濟成本雙向上升。

二是云原生技術能夠實現多維應用部署。云原生容器是數字生命體的神經元，承載著模型參數類型以及調度連接的容器節點，具有標準化部署多維應用的能力，對“眼耳鼻舌身意”多維信息部署處理，加速數字大腦，也就是人工智能算法的進化，使ChatGPT更具智慧。如果沒有云原生，多元異構數據難以標準化接入，單一維度應用難以標準化統一部署，模型的信息集成、處理效率、計算精度、能力輸出將大打折扣，缺乏組合能力的ChatGPT的成功概率會大幅下降。

三是云原生離混部技術實現離散訓練，在線微調。ChatGPT基于大量優質的數據語料訓練，實現對話意圖識別和內容生成能力的突破，這主要由于ChatGPT具有強大的智能算法學習和記憶調用基礎，通過云原生離線混部和極致彈性調用機制，離線訓練千億級別的超大規模參數，形成了ChatGPT的存儲記憶資源池，通過在線補充完成人類反饋強化學習（RLHF）的微調訓練機制和提示導引模式，模擬各個腦功能區的反饋，實現多任務單詞、句子、圖片之間關系的小規模反饋下的自我監督學習。ChatGPT模型訓練需要消耗超大規模計算資源，基于K8s的資源隔離和資源調度實現的在離線混部技術，極大的提升資源利用率，節約模型訓練成本。

四是云原生+AI原生開啟全新商業模式形成良性生態循環。開發側，ChatGPT 生長在云上， 依賴于云計算服務，多年來OpenAI共收到了上百億的投資，這些資金幫助 OpenAI 在平臺上運行和訓練其模型；產品側，OpenAI 基于Cloud Native進行應用開發，基于云計算提供的便捷高性能計算運算模型和打磨算法，并對外銷售產品和 API；而投資方基于 AI Native 來提升搜索、繪畫等產品，未來會在Office、Teams甚至操作系統等產品中用到 OpenAI 提供的能力。

以上關于ChatGPT與云計算的關系，也得到了ChatGPT本身回答的驗證。“ChatGPT，你的底層有沒有用到云原生技術？”ChatGPT的答案是肯定的，“底層基于離線混布技術，離線負責預訓練，在線處理微調。”“云原生發揮了什么功能”？“分布式計算。”“分布式計算的節點是什么？”“規模太大了，無法告訴你，是一個超高量級的。”

三、云計算同樣是數字經濟時代企業的中樞神經，希望其意義被更廣泛認知

根據信通院調研，當下企業上云率總體較低，在30%左右，行業上云用云呈現階梯狀特征，金融、電信、互聯網等行業到達努力實現用好云、管好云的階段，傳統的制造業、農業、醫療衛生等行業還處在努力實現上好云的階段。大部分企業對于云計算的認識仍停留在資源集約方面，沒有認識到云計算中樞神經的作用。未來，企業對云計算的認知需要超越資源層面，云計算作為企業中樞神經的意義應該被更廣泛認知。

就像云計算實現了ChatGPT多維信息綜合處理，異構算力資源一體化調度，作為企業中樞神經的云計算，能夠打通從上游采購到下游客戶的全流程業務鏈條，打破煙囪式流程，實現采購、生產、銷售、渠道、用戶消費、人財物等全業務流程再造和創新，以及各環節數據統一匯聚和處理。云計算結合人工智能、大數據等技術，幫助企業成為擁有“中樞神經”和“大腦”的完整智能體，即轉型升級為“數字原生新實體”。數字原生新實體是技術和思想的跨越，是企業數字原力的覺醒。

認知之上，需要針對不同行業、規模、類型的企業分類施策，以充分發揮云計算中樞神經的作用。對于中小企業，云廠商供給即插即用云計算中樞神經能力；對于大企業，建立自己的云計算中樞神經。第三方通過建立全方位標準體系指引，和供給方共同打造高質量有針對性的云原生產品生態，中國信通院已經建立定位企業數字化轉型成熟度IOMM和云原生成熟度CNMM的評估體系，未來將同業界伙伴共同推進、持續完善。

*本刊獲授權轉載，觀點僅為作者所有

— 完 —