本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

# 模擬和測試平台代理程式
<a name="simulation-and-test-bed-agents"></a>

模擬和測試平台代理程式在虛擬或受控制的環境中操作，它們在其中進行推理、行動和學習。這些代理程式會先在可重複的設定中模擬行為、模型結果和訓練策略，再套用到實際環境。

此模式適用於反覆開發、強化學習 (RL)、自動決策評估和緊急行為測試。模擬代理程式通常在封閉迴圈中操作，接收來自其環境的意見回饋並相應地調整其行為，這使得它們對於涉及空間推理、即時控制或複雜系統動態的任務至關重要。

## Architecture
<a name="architecture-simulation-and-test-bed"></a>

下圖顯示模擬或測試平台代理程式：

![\[模擬和測試平台代理程式。\]](http://docs.aws.amazon.com/zh_tw/prescriptive-guidance/latest/agentic-ai-patterns/images/simulation-and-test-bed-agents.png)


## Description
<a name="description-simulation-and-test-bed"></a>

1. 啟動環境
   + 代理程式會啟動模擬環境 （例如，3D world、物理引擎、CLI 沙盒或合成資料串流）。
   + 代理程式會以初始任務、目標或政策載入環境。

1. 感知代理程式
   + 代理程式會透過模擬遙測 （例如，感應器模擬、虛擬攝影機和結構化日誌） 來感知目前狀態。

1. 擷取目標和記憶體
   + 代理程式會擷取其指派的目標、案例指示或內容目標。
   + 它也可能擷取先前的記憶體，包括下列項目：
     + 長期策略或政策
     + 環境地圖或已知限制條件
     + 類似模擬過去的成功或失敗

1. 原因和計劃
   + LLM 會解譯模擬狀態、任務目標和學到的知識。
   + 它會產生行動計劃或控制命令。

1. 執行模擬動作
   + 代理程式會執行計劃、修改狀態、導覽空間或與虛擬實體互動。

1. 了解
   + 客服人員評估動作結果
   + 根據代理程式的組態，它可能會執行下列動作：
     + 執行 RL
     + 記錄未來微調的結果
     + 即時調整策略

## 功能
<a name="capabilities-simulation-and-test-bed"></a>
+ 在合成或虛擬環境中操作
+ 支援trial-and-error學習、政策精簡和系統建模
+ 低風險測試行為、故障處理和邊緣案例
+ 在多代理程式設定中啟用緊急代理程式行為分析
+ 支援封閉迴路控制和human-in-the-loop探勘

## 常用案例
<a name="common-use-cases-simulation-and-test-bed"></a>
+ 機器人、無人機和遊戲的強化學習
+ 虛擬道路上的自動車輛訓練
+ DevOps 和測試平台案例的模擬 UIs 或 CLIs 
+ 社交模擬中的緊急行為實驗
+ 生產前決策邏輯的安全驗證

## 實作指引
<a name="implementation-guidance-simulation-and-test-bed"></a>

您可以使用下列工具和 建置模擬和測試平台代理程式 AWS 服務：


| 
| 
| **元件** | **AWS 服務** | **用途** | 
| --- |--- |--- |
| Environment | Amazon SageMaker Studio 實驗室中的 Amazon ECS、Amazon EC2 或自訂模擬器 | 執行虛擬世界 (Gazebo、Unity、Unreal) 或沙盒 CLIs | 
| 代理程式邏輯 | Amazon Bedrock、Amazon SageMaker 或 AWS Lambda | LLM 型規劃器或 RL 代理程式 | 
| 回饋迴圈 | Amazon SageMaker 強化學習、Amazon CloudWatch 或自訂日誌 | 獎勵追蹤、結果評分和行為記錄 | 
| 記憶體和重播 | Amazon S3、Amazon DynamoDB 或 Amazon RDS | 持久性狀態、片段歷史記錄或案例資料 | 
| 視覺效果 | Amazon CloudWatch 儀表板或 Amazon SageMaker 筆記本 | 觀察政策變更、結果和訓練指標 | 

以下是其他應用程式：
+ [AWS SimSpace Weaver](https://aws.amazon.com/simspaceweaver/) 適用於大規模空間模擬
+ [AWS IoT Core](https://docs.aws.amazon.com/iot/latest/developerguide/iot-device-shadows.html) 用於測試陰影裝置
+ 用於代理程式評估和基準測試的 [Amazon SageMaker 實驗](https://docs.aws.amazon.com/sagemaker/latest/dg/mlflow.html) 

## 摘要
<a name="summary-simulation-and-test-bed"></a>

在部署到生產系統之前，模擬和測試平台代理程式用於結構化探勘。使用這些代理程式來訓練自動導覽政策、在合成環境中測試業務流程，以及評估協調模式的扭曲。