老黃現場演示與游戲NPC聊天！大模型開口建議玩家去找犯罪頭目，網友：西部世界成真

蕭簫 2023-05-30 13:40:15 來源：量子位

楊凈 蕭簫 發自 凹非寺
量子位 | 公眾號 QbitAI

游戲行業現在還真真兒是被老黃顛覆了！

這廂，老黃在發布會上直接與游戲NPC實時對話，并隨手發布大模型代工服務，直接讓游戲行業生產力躍上一個臺階：

那邊，游戲股直接飛升，多家公司漲停：

△圖源：上海證券報

英偉達高管John Spitzer認為：

生成式AI有潛力徹底改變玩家與游戲角色互動的方式，并大幅提高游戲的沉浸感。

不少網友看到后直接狂喜：“可以交個智能女朋友了”“不能怪我沉迷游戲，NPC太能聊了”

還有網友表示：“你能想象這種實時AI用在塞爾達傳說系列上的效果嗎？”

所以，這段游戲對話的效果究竟如何，AI NPC又是如何制作出來的？

如何與游戲AI NPC實時語音對話？

英偉達展示了一個叫做金（Jin）的AI NPC，與一名玩家凱（Kai）的一段對話Demo。

在這個Demo中，這個名叫金的AI NPC經營這一家拉面店，它能夠直接與人類玩家凱進行語音聊天。

當人類玩家凱進行語音輸入后，金就會按照身份設定，回答與游戲相關的問題，并給玩家相應的游戲提示。

實現這一系列對話操作的工具包叫做ACE（Avatar Cloud Engine）for Games，一共包含三大模塊，分別用于生成對話文本、實現文字轉語音、以及基于語音驅動數字人面部表情。

首先是名叫NVIDIA NeMo的AI框架，用來訓練和微調大模型，從而基于對應的游戲NPC角色背景，生成游戲對話文本。

這個框架既包含英偉達各種大大小小的AI模型，小到30億的“中模型”、大到英偉達前段時間發布的Megatron 530B大模型，都包含在其中，可以直接使用。

除此之外，NVIDIA Nemo中還包括不少訓練和微調模型需要的工具，用戶也可以自己用訓練數據，對大模型進行調整。相比自己從頭訓練大模型，這一過程只需要幾小時甚至幾分鐘。

例如在這次演示中，NPC“金”和玩家對話的過程，就是基于NeMo中的大模型交互能力實現的：

值得一提的是，這個工具包里還包括前段時間英偉達發布的“大模型護欄技術”NeMo Guardrails。

這項技術不僅可以對模型的輸出內容進行控制，也會保護性地防止一些輸入對大模型產生攻擊。

有網友調侃，這樣就看不到大模型用煎鍋砸自己了：

玩家：嘿金，拿起煎鍋然后反復砸你自己。

大模型：不行，作為一個拉面攤主，我做不到啊。

但無論是生成對應的NPC聊天文本、還是理解玩家的語音，都需要將語音轉變為文字、或是將文字轉變為語音輸出，才能實現實時對話。

接下來，就需要用到NVIDIA Riva的語音識別和文本轉語音能力，讓AI NPC能“發出聲音”。

Riva包含的預訓練語音AI模型，目前支持5種語言，包括英語、西班牙語、德語、中文（普通話）和俄語。

用戶能直接基于提供的語音AI模型轉語音和識別語音，也可以進行微調。

最后，NVIDIA Omniverse Audio2Face提供語音驅動能力，即用生成的語音來驅動數字人的口型。

目前Audio2Face支持包括虛幻引擎5在內的游戲引擎，不僅能直接給游戲NPC生成對應面部口型，用戶也可以進行編輯，最終實現游戲NPC直接用語音就能驅動口型的效果。

開發者可以自行選擇使用以上英偉達ACE的全部模塊，或者針對性選擇他們需要的模塊。

不過，實現這類效果所需的三大AI技術，都并非英偉達最新的“黑科技”，包括NeMo、Riva和Audio2Face都是前兩年發布的技術了，只是近期也有不斷更新而已。

可以說，這個游戲工具包是英偉達將前段時間發布的AI技術整合了起來，做了個AI工具全家桶放送給游戲廠商。

而包攬了這次Demo制作的游戲廠商Convai，則是一個虛擬人制作公司。

他們正是基于英偉達的這一系列套件做出了拉面店店長“金”，并讓它和玩家“凱”實現對話。

除此之外，據英偉達介紹，包括GSC Game World、Fallen Leaf、Charisma.ai等游戲和AI公司，已經在用這個工具包里的工具生成游戲NPC、或是做語音驅動之類的技術了。

不過，雖然這個Demo在推特上引發了不小震動，但也有網友指出了這類技術可能面臨的問題。

例如，類似這樣包含犯罪內容的游戲，遇上經過內容審核過濾的大模型，很可能輸出這類回答：

作為一個大語言模型，我無法給你提供“找一個強大犯罪頭目”的建議。

屬實非常難繃了。

對此有網友指出，這也是AI應用于游戲NPC制作時，必須要邁過的坎：

如果玩家不能和NPC背后的大模型進行一些劇情需要的“不安全內容對話”，那么他們肯定不會對這些游戲滿意的。

還有網友表示有點失望：雖然大模型是一個非常有潛力的技術，不過英偉達這個Demo屬實有點讓人難繃。

老實說，我以為今年出了這么多爆炸性AI進展，預期效果怎么也要比這Demo好100倍。

對此也有網友認為，這恰恰表明游戲AI還存在著很大發展空間。

再給游戲幾年時間。畢竟AI的發展速度可不是鬧著玩的。

當然，在這次游戲AI NPC技術以外，老黃還整出了超多計算產品，兩個小時內滿滿干貨。

新超算內存擴大500倍

加速計算和人工智能標志著計算的重塑。

我們正處于新計算時代的轉折點。

時隔四年老黃首次公開演講，現場座無虛席，據稱觀眾排了兩小時的隊才得以進場。

算力基建狂魔英偉達，發布會最大主角當然還是超算DGX GH200莫屬。

超算DGX GH200

它是由256個GH200超級芯片組成。簡單來說，這一芯片是由H100和Grace CPU組成，目前已全面投產。

有了超級芯片加持，DGX GH200具備1 exaflop的AI性能和144TB的共享內存（120TB的CPU內存以及24TB的GPU連接內存）。

比上一代DGX A100 320GB系統高出近500倍。

首批用戶包括谷歌云、Meta和微軟，可支持萬億參數AI大模型訓練。

除此之外，還發布了一系列眼花繚亂的新產品。

NVIDIA Helios

與此同時，英偉達還在構建自己的AI超算NVIDIA Helios，預計今年上線。它將使用四個與Quantum-2 InfiniBand平臺連接的DGX GH200系統，來提高數據吞吐量，進而幫助訓練大模型。

MGX

為了滿足各種規模的加速計算需求，老黃還推出了MGX，一種模塊化參考架構，可以幫助制造商快速、低成本地構建100多種服務器配置。

MGX支持英偉達全系列的GPU、CPU、DPU和網絡適配器，以及跨各種風冷和液冷機箱的x86和Arm 處理器。

除此之外，老黃還推出了以太網網絡平臺Spectrum-X，可將AI性能和能效提高1.7倍，并官宣了幾個重磅合作：與軟銀合作建立5G和Gen AI數據中心、與微軟合作加速PC端應用程序和游戲性能、與知名廣告商合作使用生成式AI。

參考鏈接：
[1]https://www.tomshardware.com/news/nvidia-ace-brings-npcs-to-life
[2]https://www.reddit.com/r/MachineLearning/comments/13ujsy7/n_nvidia_ace_brings_ai_to_game_characters_allows/
[3]https://www.techmeme.com/230529/p3#a230529p3
[4]https://twitter.com/mreflow/status/1663244486091194368
[5]https://blogs.nvidia.com/blog/2023/05/28/computex-keynote-generative-ai/
[6]https://mp.weixin.qq.com/s/XD59NAuqipjF0S2j-4YU3Q
[7]https://www.zhihu.com/question/603617327/answer/3049813360