Agent：OpenAI的下一步，亞馬遜云科技站在第5層

豐色 夢晨 發自 凹非寺
量子位 | 公眾號 QbitAI

大模型下半場拉開序幕。

Agent成為最受重視的方向。

OpenAI創始成員Andrej Karpathy就在黑客馬拉松演講中表示，相比大模型訓練，OpenAI內部目前更關注Agent領域。

每當有新的Agent論文出來的時候，團隊都會很興奮并且認真地討論。

你們（開發者們）都正站在Agent開發的最前沿，這個領域OpenAI也沒什么積累。

什么是Agent？

在大模型語境下，可以理解成能自主理解、規劃、執行復雜任務的系統。

以AutoGPT和BabyAGI為代表的技術演示型項目，今年4月短暫的火了一陣，但離真正應用到業務中還有一段距離。

現在，Agent第二輪爆發正在醞釀中，標志就是新一輪應用與場景結合更緊密了。

不出意外，先行動起來的又是編程開發行業。

最近的熱門開源項目Sweep，直接與GitHub的Issue和Pull Request場景整合，自動“清掃”bug報告和功能請求，直接完成對應代碼。

創業公司中，也有OpenAI支持的Cursor代碼編輯器，把生成代碼抬到了一句話生成整個項目框架的高度。

接下來，Agent也將成為新的起點，成為各行各業構建新一代AI應用必不可少的組成部分。

對此，初創公司Seednapse AI創始人提出構建AI應用的五層基石理論，受到業界關注。

• Models，也就是我們熟悉的調用大模型API。
• Prompt Templates，在提示詞中引入變量以適應用戶輸入的提示模版。
• Chains，對模型的鏈式調用，以上一個輸出為下一個輸入的一部分。
• Agent，能自主執行鏈式調用，以及訪問外部工具。
• Multi-Agent，多個Agent共享一部分記憶，自主分工相互協作。

創業先鋒之外，連AI基礎設施的巨頭也已經開始在Agent上發力。

比如亞馬遜云科技紐約峰會上宣布的Amazon Bedrock Agents新功能，便是這種趨勢最有代表性的體現。

Amazon Bedrock Agents在全托管基礎模型服務的基礎上，又把開發、部署和管理多個Agent的能力打包集成在一起。

如果按照前面的五層基石理論，這類服務相當于直接從第五層開始，大大降低開發門檻。

正如亞馬遜云科技在發布會上所形容：

只用幾次點擊，搞定能執行任務的生成式AI應用。

可以預見的是，降低了門檻的Agent應用也將在各行各業全面爆發。

Agent，AI應用新時代的起點

怎樣才算一個Agent應用？OpenAI華人科學家翁麗蓮給出直觀的“配方”：

Agent = 大模型+記憶+主動規劃+工具使用

以亞馬遜云科技平臺為例，開發Agent應用首先要根據具體任務場景給Agent選擇合適的基礎模型。

Amazon Bedrock上除了自家的Amazon Titan大模型，還集結了擅長安全可控的Anthropic、擅長檢索匯總信息的Cohere、以及專攻文生圖的stability.ai等各家模型。

選好后，把要執行的任務指令直接用文字描述出來，讓Agent明白要扮演的角色和要完成的目標。

指令可以是包括一系列“問題-思考步驟-行動步驟-示例”的結構化提示詞，在ReAct（協同推理和行動）技術支持下，基礎模型可以通過推理和決策找出相應的解決方案。

接下來的重頭戲便是Add Action Group（添加動作組）。

Agent要完成的具體任務，以及能使用的工具如企業系統API、Lambda函數等都是在這里設置。

官方演示中是一個保險索賠管理場景，Agent通過提取未結索賠的列表、確定每個索賠的未完成文書工作并向保單持有人發送提醒來管理保險索賠。

所有動作組設置好后，創建Agent和部署都是幾次點擊就能完成。

部署完成后，在測試中就可以看到Agent理解用戶請求、將任務分解為多個步驟（收集未結保險索賠、查找索賠ID、發送提醒）并執行相應的操作。

Amazon Bedrock通過向導式交互界面，減少了配置基礎模型所需的編碼工作量。

動作組提供調用API實現特定功能，以及使用自己的數據構建差異化應用程序，又讓基礎模型能夠完成更復雜的實際業務任務。

在整個流程中，還可以配合亞馬遜云科技平臺上的各種安全服務。比如使用PrivateLin建立基礎模型和本地網絡之間的私有連接，所有流量都不會暴露給互聯網。

又通過提供完全托管的服務，讓開發者不需要管理底層系統就能發揮基礎模型的能力。

最終縮短從基礎模型到實際應用的周期，加速基礎模型為業務創造的價值。

加速大模型應用，還應關注什么

有了Amazon Bedrock的Agent能力，我們得以快速將大模型投入實際業務，為企業實現降本增效或創新。

但要真正利用生成式AI的全部價值、發揮全部潛力，并與其他競爭對手拉開潛力，私有數據才是其中根本。

換言之，大模型應用落地的關鍵，是企業自己寶貴的行業數據。

如何集成這些豐富的資源到我們的Agent之中，保證我們的大模型應用在執行任務時能夠高效訪問到正確的信息——是當下每一個企業都要面對的問題。

當然，這一切都必須以保證隱私為前提。

除了私有數據的集成和調用，在大模型應用落地的路上，最為底層的支撐，算力，也始終是一個百說不厭的話題。

眾所周知，當下的顯卡資源異常稀缺，且價格不菲。

譬如有調查就發現，像英偉達的H100，今年4月中旬在海外電商平臺就已炒到超4萬美元，甚至標價6.5萬美元的也不算罕見。

無論是購買還是租用，這都成了全球各企業在探索生成式AI應用上的一大筆支出。

如何讓這一筆花銷更為經濟實惠？這也是每個企業的思慮所在。

值得關注的是，以馬遜云科技為代表的領先供應商，正在針對生成式AI落地過程中的這些挑戰和痛點提供系統性的解決方案，對上述問題一一破解。

針對個性化數據問題，亞馬遜云科技宣布為三款數據服務提供向量引擎，用來助力生成式AI應用與業務整合。

我們知道，在生成式AI爆發之后，向量數據庫也實在火爆不已。因為相比傳統的關系數據庫，它能給予與模型上下文更相關的響應（如下圖所示）。

亞馬遜云科技這一最新服務，就是將我們的私有數據存儲到具有向量引擎的數據庫中，在進行生成式AI應用時，通過簡單的API調用就能方便地查詢企業內部的數據。

而根據當前數據存儲位置、對數據庫技術的熟悉程度、向量維度的擴展、Embeddings的數量和性能需求等不同需求，亞馬遜云科技提供了3個選項來滿足：

-Amazon Aurora PostgreSQL兼容版關系型數據庫，支持pgvector開源向量相似性搜索插件；
-分布式搜索和分析服務 Amazon OpenSearch，帶有k-NN（k最近鄰）插件和適用于Amazon OpenSearch Serverless的向量引擎；
-兼容 PostgreSQL的Amazon RDS（Amazon Relational Database Service）關系型數據庫，支持pgvector插件。

當然，最值得說道的是這次最新推出的Amazon OpenSearch Serverless服務，它最大的優點就是讓企業只關心向量數據的存儲和檢索，而不用背上任何底層運維的負擔。

解決完數據集成問題，在底層支撐上，亞馬遜云科技這次也直接推出H100支持的全新Amazon EC2 P5實例，這一曾經對于大多數企業都相當難得的算力資源，現在也變得“唾手可得”了。

據了解，該實例包含8個英偉達H100 Tensor Core GPU，640GB高帶寬GPU內存，同時提供第三代AMD EPYC處理器、2TB 系統內存和30TB本地NVMe存儲，以及3200Gbps的聚合網絡帶寬和GPUDirect RDMA支持，可實現更低延遲和高效的橫向擴展性能。

相比上一代基于GPU的實例，Amazon EC2 P5可以讓訓練時間最多可縮短6倍（從幾天縮短到幾小時），降低高達40%的訓練成本。

再加上亞馬遜云科技之前基于自研芯片發布的Amazon EC2 Inf2和Amazon EC2 Trn1n等性能也表現不錯的實例，我們在算力需求這一問題上，可以說是有了非常多的按需選擇空間。

除了以上這些基礎支持，各種開箱即用的AI服務也不“缺席”：

如針對開發環節的AI編程助手Amazon CodeWhisperer，現在它與Amazon Glue實現集成，將AI代碼生成的場景又擴展到一個新人群：數據工程師，只需自然語言（比如“利用json文件中的內容創建一個Spark DataFrame”），這些開發人員即可搞定各種任務；

再如針對商業智能（BI）的Amazon QuickSight，也能夠讓業務分析師們使用自然語言執行日常任務，在幾秒鐘內創建各種數據可視化圖表；

還有Amazon HealthScribe，可以用于醫療行業生成臨床文檔，節省醫生時間。

這些工具都是主打讓企業專注于核心業務，提高生產效率。

最后，簡單總結，我們能夠發現：

從今年4月起，亞馬遜云科技就結合自身定位并基于真實用戶需求出發，正式宣布進軍生成式AI市場，為一切想要利用生成式AI技術加速或創新業務的企業提供服務。

在短短的4個月期間，亞馬遜云科技已推出了各類底座資源，從基礎模型到算力支撐，從私人數據存儲到高效開發工具，應用盡有。

而這次在紐約峰會釋出的最新動向，則是繼續加碼生成式AI應用開發所需的一切。

從Amazon EC2 P5實例代表的算力層、到Amazon OpenSearch Serverless向量引擎、Amazon Bedrock Agents代表的工具層、再到Amazon QuickSight等代表的應用層，一項端到端的解決方案已然形成。

在這之中，亞馬遜云科技不斷降低生成式AI的門檻，無論是初創企業還是傳統行業，無論是處于生成式AI進程的哪一層，都能在這里找到合適的工具，無需耗費太多精力在底層邏輯之上，便可快速投入實際業務。

如亞馬遜云科技數據庫、數據分析和機器學習全球副總裁Swami Sivasubramanian所說：

我相信生成式AI將改變每一個應用程序、行業和企業。

在各行各業都全力奔赴的這場全新技術變革之下，亞馬遜云科技的這一系列服務，無疑為普通玩家贏得了寶貴的時間和機會。

我們可以期待：越來越多的生成式AI應用將被開發出來，生成式AI的創造力也得以滲透到各個領域，去改變、去顛覆每一個行業。

如果想了解更多構建生成式AI應用的資料，可以復制下面鏈接。

https://aws.amazon.com/cn/generative-ai/?social0731=&sc_channel=sm&campaign=genaikol

參考鏈接：
[1]https://www.youtube.com/watch?v=zyLOJEXm-lk&t=280s
[2]https://twitter.com/cristobal_dev/status/1684211808947650564
[3]https://twitter.com/lilianweng/status/1673535600690102273
[4]https://aws.amazon.com/cn/blogs/aws/preview-enable-foundation-models-to-complete-tasks-with-agents-for-amazon-bedrock/