商湯絕影王曉剛：未來一兩年是智能汽車突破關(guān)鍵期，大模型是基礎(chǔ) | MEET2024

西風 2024-01-03 19:02:18 來源：量子位

編輯部 整理自 MEET2024

量子位 | 公眾號 QbitAI

“未來一到兩年，智能汽車其實處在一個關(guān)鍵突破的時間點?！?/p>

在MEET 2024智能未來大會現(xiàn)場，商湯聯(lián)合創(chuàng)始人、首席科學家、絕影智能汽車事業(yè)群總裁王曉剛這樣講道。

他還指明了具體會出現(xiàn)的三件事情：

一是端到端數(shù)據(jù)驅(qū)動的自動駕駛；

二是以大模型為核心、為基礎(chǔ)的座艙大腦的出現(xiàn)；

三是駕艙融合，所有座艙和駕駛的體驗在同一顆芯片、同一個域控上實現(xiàn)，大幅降低成本和算力。

而所有這些都是以大模型為基礎(chǔ)的。

商湯科技從2018年開始布局大模型，而商湯絕影則是商湯旗下的智能汽車業(yè)務(wù)板塊，堅持駕、艙、云三位一體的發(fā)展策略。

在大會上，王曉剛以回顧過去十幾年AI的發(fā)展引入，探討了通用人工智能和大模型給智能汽車帶來的技術(shù)突破和未來發(fā)展。

為了完整體現(xiàn)王曉剛關(guān)于大模型賦能智能汽車的思考，量子位在不改變原意的基礎(chǔ)上，對他的演講內(nèi)容進行了編輯整理。

關(guān)于MEET智能未來大會：MEET大會是由量子位主辦的智能科技領(lǐng)域頂級商業(yè)峰會，致力于探討前沿科技技術(shù)的落地與行業(yè)應(yīng)用。今年共有數(shù)十家主流媒體及直播平臺報道直播了MEET2024大會，吸引了超過300萬行業(yè)用戶線上參會，全網(wǎng)總曝光量累積超過2000萬。

演講要點

• 通用人工智能大模型的發(fā)展，軟硬件基礎(chǔ)設(shè)施的能力必不可少。
• 能在強大的基礎(chǔ)設(shè)施上不斷高效探索，才能夠在短時間內(nèi)積累大量的know-how，才能夠訓練好千億規(guī)模甚至更大規(guī)模的模型。
• 大模型的出現(xiàn)讓打造智能座艙的大腦成為可能，通過一個大模型可以調(diào)動艙內(nèi)的各種APP和硬件設(shè)備。
• 未來一到兩年，智能汽車處在一個關(guān)鍵突破點。

（以下為王曉剛演講分享全文）

軟硬件基礎(chǔ)設(shè)施必不可少

今天分享一下通用人工智能和大模型給我們智能汽車帶來的技術(shù)突破和未來發(fā)展的機遇。

回顧過去十幾年人工智能的發(fā)展，2012年人工智能的突破使機器人臉識別超過肉眼識別率，帶起了一系列人工智能在工業(yè)上的落地和應(yīng)用。

但是它的問題是針對不同的任務(wù)，需要定制化的模型定制解決方案。

在過去的幾年里，商湯科技輸出的商業(yè)化模型超過3萬個，一方面我們看到AI廣泛的被應(yīng)用，另一方面也看到研發(fā)成本大、研發(fā)周期較長。

去年年底ChatGPT的出現(xiàn)，帶來了人工智能新的范式，基于一個或者幾個非常強大的大模型能夠解決眾多開放式的任務(wù)，給人工智能的規(guī)?；a(chǎn)業(yè)應(yīng)用打開了一個新的道路。

過去幾十年人工智能的發(fā)展都是解決小樣本的問題，當時數(shù)據(jù)量非常小。我們用到的這些計算資源、模型的規(guī)模也都是比較小的。

但是2012年隨著深度學習的出現(xiàn)，我們看到算力得到了大幅的增長，包括后面出現(xiàn)了Transformer，還有大模型的出現(xiàn)，算力更是增長到了更大規(guī)模。

在智能汽車領(lǐng)域，我們的行業(yè)標桿是特斯拉。

今天特斯拉有14000塊GPU，到明年，它的算力要增加10萬塊。這樣一個增長規(guī)模背后，強大的算力支撐給我們未來行業(yè)發(fā)展指引了一些方向，也是今天國內(nèi)很多主機廠難以匹敵的投入。

商湯從2018年開始布局大模型，在上海臨港投入了50多億，建造了一個人工智能數(shù)據(jù)中心。

當時很多人都奇怪，作為一個做算法的公司，為什么在基礎(chǔ)設(shè)施的建設(shè)上有這樣大的投入？

今天，我們看到通用人工智能大模型的發(fā)展，軟硬件基礎(chǔ)設(shè)施的能力是必不可少的。

我們目前有3萬塊高端GPU，包括6500P的算力，實際上到明年這個算力還會大規(guī)模地增加，預(yù)計增加到16500P的算力。

我們談到的大模型，包括感知的模型，各種生成式的模型，文生圖多模態(tài)的模型，還有決策智能的各種模型，所有的這些，都是建立在強大的軟硬件基礎(chǔ)設(shè)施系統(tǒng)能力的之上。

我們做了一些統(tǒng)計，在過去的幾個月里面，像百億規(guī)模參數(shù)級的模型，訓練都超過了100次，10億規(guī)模超過1000次。

正是經(jīng)過在強大基礎(chǔ)設(shè)施的基礎(chǔ)上不斷進行高效探索，才能夠在短時間內(nèi)積累大量的know-how，才能夠訓練好千億規(guī)模甚至更大規(guī)模的模型。

而且這些模型之間也有很大的關(guān)聯(lián)度，比如多模態(tài)的模型是在語言模型，還有視覺等模型的基礎(chǔ)上發(fā)展起來的。

我們的決策智能的模型也是利用了語言模型的強大的推理能力。

大模型賦能智能駕駛

在智能汽車里面有很多應(yīng)用例子，比如自動駕駛從高速到城區(qū)有很多復(fù)雜的場景。

基于大模型可以打破以前我們對于手寫規(guī)則的依賴，可以針對場景進行一些復(fù)雜地推理。

例如左邊給了這樣一張照片，問“去黃石東路應(yīng)該怎么走？”，模型會告訴我們今天的天氣狀況、前方行駛的車輛、路標、根據(jù)路牌的指示應(yīng)該走左側(cè)車道。

在右邊這幅圖里面，我們看到在一個復(fù)雜路口的場景中，問“白色的小轎車應(yīng)該做出怎樣的決策？”。

我們的大模型也可以根據(jù)圖像對路口交通狀況進行分析，而且能夠看到這里面有救護車出現(xiàn)，也知道應(yīng)該做出怎樣的避讓。

絕影是商湯智能汽車的業(yè)務(wù)板塊。我們在智能汽車的時代作為大模型和通用智能的核心供應(yīng)商，主要是聚焦智能駕駛、智能座艙和AI云服務(wù)。

在智能駕駛方面，提供軟硬一體的智能駕駛的解決方案，也離不開大模型。

因為未來智能駕駛的發(fā)展趨勢更多是基于視覺，而且是通過一個大模型、神經(jīng)網(wǎng)絡(luò)，端到端地實現(xiàn)自動駕駛的系統(tǒng)，之前我們也做出了UniAD的工作。

在智能座艙方面，現(xiàn)有的智能座艙是由各個AI的供應(yīng)商去提供一些單點AI的功能，主機廠基于一些規(guī)則把這些功能組織起來，形成一些產(chǎn)品或者一些方案。

大模型的出現(xiàn)使我們有可能打造出智能座艙的大腦，通過一個大模型可以調(diào)動艙內(nèi)的各種APP和硬件設(shè)備。

這其中也依賴了強大的AI的云服務(wù)。今天很多主機廠他們也希望能夠擁有AI基礎(chǔ)設(shè)施，包括形成數(shù)據(jù)的閉環(huán)。

從大量的量產(chǎn)汽車里面采集海量的數(shù)據(jù)，快速高效低成本地針對這些數(shù)據(jù)進行分析、處理和標注，這里面也體現(xiàn)出大模型的優(yōu)勢。

我們會基于大模型建立一整套研發(fā)體系，從大模型的訓練、低成本的部署，包括模型層，還有數(shù)據(jù)生產(chǎn)的管線。在此之上，這些連接層里面各種Function Call、數(shù)據(jù)模型的技術(shù)支撐駕駛和座艙，包括車路協(xié)同的應(yīng)用。

在智能座艙里面打造座艙的大腦，座艙大腦的核心也是基于語言模型的能力控制艙里面各種軟硬件。車內(nèi)和車外有各種各樣的傳感器，通過多模態(tài)的模型就能夠全方位的感知環(huán)境和乘客，包括駕駛員的需求。

我們有記憶模塊，對乘客和駕駛員有長短期的記憶，通過外掛知識庫跟大模型的結(jié)合，進行知識融合，就能夠形成千人千面的服務(wù)。

AIGC也能夠?qū)崿F(xiàn)AI虛擬的助手，提供各種擬人化的服務(wù)，還有通過大模型進行各種智能控制。

下面給大家看到的是基于大模型在智能座艙里面開發(fā)的一系列智能座艙的應(yīng)用和產(chǎn)品，包括隔空繪畫、內(nèi)容生成、AI說明書、健康問診、旅游規(guī)劃等等，能夠把我們在座艙的智能化體驗提升到新的層次。

未來是用大模型實現(xiàn)端到端自動駕駛

我們看到，智能駕駛未來發(fā)展的趨勢，第一是往純視覺的方向發(fā)展。

今天智能駕駛系統(tǒng)還是依賴各種傳感器，在硬件上更多依賴攝像頭，大幅降低硬件的成本。

智能駕駛系統(tǒng)實際上有很多模塊，有感知、融合、預(yù)測、定位、決策、規(guī)控，現(xiàn)在只有感知這一部分用的是AI、神經(jīng)網(wǎng)絡(luò)，其它的很多都是基于手寫規(guī)則。

當我們自動駕駛覆蓋的場景從相對來說比較簡單的高速領(lǐng)航到更加復(fù)雜的城區(qū)的時候，場景的復(fù)雜度大幅增加，這時候依靠手寫的規(guī)則解決各種Corner case，更多需要依賴數(shù)據(jù)驅(qū)動。

背后通過一個模型將感知、融合、定位、決策、規(guī)控，所有的模塊串聯(lián)起來，用數(shù)據(jù)驅(qū)動覆蓋盡可能多的場景，這也是行業(yè)里面能夠看到的未來自動駕駛發(fā)展的路線。

今年9月份，特斯拉宣布未來量產(chǎn)的自動駕駛的路線就是端到端的基于大模型的解決方案。

去年年底，我們提出了UniAD，用一個神經(jīng)網(wǎng)絡(luò)實現(xiàn)預(yù)處理、感知、預(yù)測、決策，各個模塊的連通，這項工作還獲得了今年CVPR最佳論文獎。

在這項工作中我們可以看到，通過網(wǎng)絡(luò)數(shù)據(jù)驅(qū)動，可以使里面各個模塊的性能都得到大幅的提升，未來低成本視覺的方案、擺脫對高精度地圖的依賴成為了可能。

而且我們的多模塊大模型，更多的語言輸出也能夠給我們自動駕駛的各種決策提出更多的語言解釋，現(xiàn)在自動駕駛就不再是一個黑盒子，做出每一個決策能夠給我們推理和邏輯。

還能夠跟人對話，通過語音控制自動駕駛的各種行為。

我們也能建造世界模型，通過大模型生成各種逼真的自動駕駛仿真數(shù)據(jù)，實現(xiàn)自動駕駛的數(shù)據(jù)驅(qū)動和端到端的訓練。

最后我們可以看到，未來一到兩年里，智能汽車其實是處在一個關(guān)鍵突破的時間點，實際上有三件事：

一是端到端數(shù)據(jù)驅(qū)動的自動駕駛；

二是以大模型為核心、為基礎(chǔ)的座艙大腦的出現(xiàn)；

三是駕艙融合，所有座艙和駕駛的體驗在同一顆芯片，同一個域控上實現(xiàn)，大幅降低成本和算力，在產(chǎn)品級實現(xiàn)更好的融合，實現(xiàn)更好的智能駕駛和座艙的智能化的體驗。

所有這些也都是以大模型為基礎(chǔ)的。

我們非常期待未來智能駕駛能成為安全可靠的司機，智能座艙能成為懂你的溫馨的好管家，實現(xiàn)更好的人機共駕。