模擬和測試平台代理程式 - AWS 方案指引
Architecture說明功能常用案例實作指引Summary

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

模擬和測試平台代理程式

模擬和測試平台代理程式在虛擬或受控制的環境中操作，它們在其中進行推理、動作和學習。這些代理程式會在可重複的設定中模擬行為、模型結果和訓練策略，然後再將其套用至真實環境。

此模式適用於反覆開發、強化學習 (RL)、自主決策評估和緊急行為測試。模擬代理程式通常在封閉迴圈中操作，接收來自其環境的意見回饋並相應地調整其行為，這使得它們對於涉及空間推理、即時控制或複雜系統動態的任務至關重要。

Architecture

下圖顯示模擬或測試平台代理程式：

模擬和測試平台代理程式。

說明

  1. 啟動環境

    • 代理程式會啟動模擬環境 （例如，3D world、物理引擎、CLI 沙盒或合成資料串流）。

    • 代理程式會以初始任務、目標或政策載入環境。

  2. 感知代理程式

    • 代理程式會透過模擬遙測 （例如，感應器模擬、虛擬攝影機和結構化日誌） 來感知目前狀態。

  3. 擷取目標和記憶體

    • 代理程式會擷取其指派的目標、案例指示或內容目標。

    • 它也可能擷取先前的記憶體，包括下列項目：

      • 長期策略或政策

      • 環境地圖或已知限制條件

      • 類似模擬過去的成功或失敗

  4. 原因和計劃

    • LLM 會解譯模擬狀態、任務目標和學到的知識。

    • 它會產生行動計劃或控制命令。

  5. 執行模擬動作

    • 代理程式會執行計劃、修改狀態、導覽空間或與虛擬實體互動。

  6. 了解

    • 客服人員評估動作結果

    • 根據代理程式的組態，它可能會執行下列動作：

      • 執行 RL

      • 記錄未來微調的結果

      • 即時調整策略

功能

  • 在合成或虛擬環境中操作

  • 支援trial-and-error學習、政策精簡和系統建模

  • 低風險測試行為、故障處理和邊緣案例

  • 在多代理程式設定中啟用緊急代理程式行為分析

  • 支援封閉迴路控制和human-in-the-loop探勘

常用案例

  • 機器人、無人機和遊戲的強化學習

  • 虛擬道路上的自動車輛訓練

  • DevOps 和測試平台案例的模擬 UIs 或 CLIs

  • 社交模擬中的緊急行為實驗

  • 生產前決策邏輯的安全驗證

實作指引

您可以使用下列工具和 建置模擬和測試平台代理程式 AWS 服務：

元件

AWS 服務

用途

Environment

Amazon SageMaker Studio 實驗室中的 Amazon ECS、Amazon EC2 或自訂模擬器

執行虛擬世界 (Gazebo、Unity、Unreal) 或沙盒 CLIs

代理程式邏輯

Amazon Bedrock、Amazon SageMaker 或 AWS Lambda

LLM 型規劃器或 RL 代理程式

回饋迴圈

Amazon SageMaker 強化學習、Amazon CloudWatch 或自訂日誌

獎勵追蹤、結果評分和行為記錄

記憶體和重播

Amazon S3、Amazon DynamoDB 或 Amazon RDS

持久性狀態、片段歷史記錄或案例資料

視覺效果

Amazon CloudWatch 儀表板或 Amazon SageMaker 筆記本

觀察政策變更、結果和訓練指標

以下是其他應用程式：

Summary

在部署到生產系統之前，模擬和測試平台代理程式用於結構化探勘。使用這些代理程式來訓練自動導覽政策、在合成環境中測試業務流程，以及評估協調模式的扭曲。