蔚來AI大模型正式上車：NOMI進化無限暢聊，有問必答
表情更多更聰明，一句話生成任務場景
曹原?發自?副駕寺
智能車參考?|?公眾號?AI4Auto
蔚來大模型NOMI?GPT，正式上線。
語音助手NOMI現在不僅更聰明，擁有各種各樣的用車、百科知識。
還能懂“感覺”，根據用戶要求生成對應氛圍燈，比如這是春游的氛圍：
更進一步的是，NOMI還可以一句話創建任務場景。比如小孩上車時打開兒童鎖和后排屏幕鎖；工作日我上車時自動導航去公司、并且空調打開到23度。
原來大模型是這么用的？
都進化了啥功能
這次升級，NOMI升級后首先會擁有5大功能，官方給出的名稱分別是大模型百科、用車問答、無限趣聊、趣玩表情和魔法氛圍。
其中大模型百科和用車問答功能顧名思義，就是無論是關于用車相關的問題、還是其他百科、出行攻略、創作文案、總結整理信息等等問題，NOMI都能解決。
比如問儀表盤上有人背著大寶劍的圖標是什么意思？NOMI會回答：
或者讓NOMI推薦5個周末適合帶娃去的公園，NOMI會介紹：
并且NOMI的回答還能支持表格展示，比如讓NOMI把周杰倫每張專輯的發布時間列個表格出來。
其次的無限趣聊則是可以與NOMI不限輪次談天說地。
比如可以讓NOMI吹吹你的彩虹屁、在你不開心時安慰一下你；或者聊聊你感興趣的音樂、影視類內容，讓NOMI分享它喜歡某一首歌的哪句歌詞；還能一起玩猜字謎、猜動物的語言游戲；還有角色扮演，可以讓NOMI扮演李白和你對話。
趣玩表情意思是升級后的NOMI，表情更多更豐富，包括160+個。你可以讓它直接做個鬼臉、吹泡泡；還能匹配指令顯示對應表情。
比如這是春節收到很多紅包的表情：
另外還能展示表情九連拍，讓NOMI連續展示一連串的表情。
最后的魔法氛圍就是可以讓NOMI營造各種氛圍，可以直接和NOMI說，來個XX氛圍的氛圍燈，NOMI就會從超過1670萬種的氛圍燈中選出它覺得最適合的那種。
比如這是照亮前程的氛圍燈：
而除了以上這些功能，這次的重頭戲就是上線AI場景生成功能，支持一句話創建場景任務，還能取個名字。
基礎一點的有，“工作日早上我上車時就自動導航去公司，把熱點打開，空調調到23度，然后播放NIO?Radio資訊充電站”，NOMI就會生成場景，并命名為“上班通勤”模式。
并且不只是車主，也能創建其他用車人員的模式。比如：當副駕上車的時候，打開座椅按摩并對他說加班辛苦了，NOMI就會創建為“歸來舒緩”模式。
并且還能讓NOMI提醒車主下車時不要忘記攜帶隨身物品，或者到達出游地點后提醒大家先合個影等等。
那么這些能力，又是怎么實現的？
蔚來NOMI?GPT大模型上車
此次升級，一大核心就是NOMI?GPT端云多模態大模型上線。
基于蔚來自研端側多模態感知能力，參數規模數十億，可以收集圖像、音頻，還有從車身傳感器的多模態的信息，讓NOMI能“看見”、“聽見”，并且感受車內和車外的人和環境。
另外，NOMI還擁有認知中樞，能根據收集到的多模態信息，通過推理分析形成復雜任務的處理能力，包括中控分發、多模拒識、跨域繼承&跳轉和多Agent決策環節。
也就是說NOMI根據所說內容，結合對話上下文、感知以及狀態信息，去判斷這里需要調用任務型交互、問答閑聊還是用車助手；并且綜合判斷這是在和NOMI交互，還是在和車內其他人聊天，如果是后者，NOMI就無需插嘴。
對此蔚來還宣布首創模態內外多維度對比學習技術，并應用于NOMI的對話系統中，讓NOMI的誤識別率和誤拒識率均在2%以內，以及調度分發單輪準確率達到98%以上，長距離多輪分發準確率達到95%以上。
即升級后的NOMI處理用戶指令時更準確和可靠，在單次交互和連續多輪對話中都能保持高準確度，提升用戶體驗。
并且，新的NOMI還擁有情感引擎。
此前NOMI已經擁有記憶能力，包括短期記憶和長期記憶，情感引擎則是在此基礎上幫助NOMI通過實時反饋、事后反思、人為訓練等方式，變得更聰明、掌握新技能和新知識。
NOMI甚至可以擁有人設，包括性格、三觀、夢想等等，讓回答不僅符合自己的人設，還貼合用戶的使用習慣。
同時，蔚來還預告，由于新一代電子電器架構已經打通智艙和智駕，座艙內模型計算可以調用智駕芯片算力，再加上蔚來認為自己擁有行業最牛智駕算力——4顆英偉達Orin?X，?共1016TOPS，所以未來還會有更多的功能上線。
另外，由于多模態能力包括識別用戶、穿著等比較私人的信息，蔚來還承諾新系統做到敏感信息不出車、賬號之間互相隔離、車載通信端到端加密等，保證數字安全。
包含大模型百科、用車問答、無限趣聊、趣玩表情、魔法氛圍以及AI場景生成功能，會和Banyan·榕?2.4.5?CN版本從今日開始推送，大概會在一周內推送完畢。
車主可將車機版本升級至Banyan?2.4.5、NOMI應用版本升級至20.4.20.192，就能開始使用以上這些功能，
而NOMI的端側多模態感知能力正在內部測試，預計在年內推送上車。
不難發現，打通座艙內任務調用，一句話調用車內功能已經是最基本的能力，而且語音助手能完成用車知識、百科知識問答，也逐漸成為座艙標配，相關能力已經從“有沒有”發展到“好不好”的競爭。
并且蔚來認為，雖然行業內語音助手功能也有很多家做得好，甚至做得久，比如小愛和小度，但對于座艙的理解蔚來擁有自己的優勢。
再加上蔚來一直在思考大模型能力和整車進行更深入的融合，這份思考非常扎實；以及思考背后帶來的各種各樣的技術，包括算法、工程、服務等等，蔚來的這些優勢也不是別人很容易就能追得上的。
那這份優勢是否能轉換成行業口碑，還要等全量推送后，看看車主的評價。
這次蔚來NOMI升級的能力，有戳中你心巴的嗎？
- 哪吒沖刺港交所IPO，上市起點碾壓蔚小理，然而一步慢步步慢2024-06-28
- 注意，北京無人車接送機不免費了2024-06-28
- 廣東造車新勢力，爆雷了2024-06-25
- 百億造車新勢力破產清算！市值縮水超99%，欠債超10億，債權人還吵起來了2024-06-24
相關閱讀
