仿真和测试平台代理 - AWS 规范性指导
Architecture描述功能常见使用案例实施指导Summary

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

仿真和测试平台代理

仿真和测试平台代理在虚拟化或受控环境中运行，在那里他们可以推理、行动和学习。这些代理在将策略应用于现实环境之前，先在可重复的环境中模拟行为、建模结果并训练策略。

这种模式对于迭代开发、强化学习 (RL)、自主决策评估和紧急行为测试非常有用。仿真代理通常在闭环中运行，接收来自其环境的反馈并相应地调整其行为，这使得它们对于涉及空间推理、实时控制或复杂系统动力学的任务至关重要。

Architecture

下图显示了仿真或测试平台代理：

仿真和试验台代理。

描述

  1. 启动环境

    • 代理启动模拟环境（例如，3D 世界、物理引擎、CLI 沙盒或合成数据流）。

    • 将代理加载到环境中，并附有初始任务、目标或策略。

  2. 感知特工

    • 代理通过仿真遥测（例如，传感器仿真、虚拟摄像机和结构化日志）感知当前状态。

  3. 检索目标和记忆

    • 代理检索其分配的目标、场景说明或上下文目标。

    • 它还可以检索以前的内存，包括以下内容：

      • 长期战略或政策

      • 环境地图或已知限制

      • 类似模拟中过去的成功或失败

  4. 原因和计划

    • 法学硕士解释模拟状态、任务目标和所学知识。

    • 它生成行动计划或控制命令。

  5. 执行模拟动作

    • 代理执行计划、修改状态、在空间中导航或与虚拟实体交互。

  6. 学习

    • 代理评估行动结果

    • 根据代理的配置，它可能会执行以下操作：

      • 执行 RL

      • 记录结果以备将来微调

      • 实时调整策略

功能

  • 可在合成环境或虚拟环境中运行

  • 支持 trial-and-error学习、策略完善和系统建模

  • 针对行为、故障处理和边缘案例的低风险测试

  • 支持在多智能体设置中进行紧急代理行为分析

  • 支持闭环控制和探索 human-in-the-loop

常见使用案例

  • 机器人、无人机和游戏的强化学习

  • 在虚拟道路上进行自动驾驶车辆训练

  • 模拟 UIs 或 CLIs 针对 DevOps 和试验台场景

  • 社交模拟中的紧急行为实验

  • 在生产前对决策逻辑进行安全验证

实施指导

您可以使用以下工具和以下工具构建仿真和测试平台代理： AWS 服务

组件

AWS 服务

目的

环境

亚马逊 ECS EC2、Amazon 或亚马逊 SageMaker工作室实验室中的自定义模拟器

运行虚拟世界（凉亭、Unity、虚幻）或沙盒 CLIs

代理逻辑

亚马逊 Bedrock SageMaker、Amazon 或 AWS Lambda

基于 LLM 的策划者或 RL 代理商

反馈回路

亚马逊 SageMaker 强化学习 CloudWatch、Amazon 或自定义日志

奖励跟踪、结果评分和行为记录

记忆和重播

亚马逊 S3、亚马逊 DynamoDB 或亚马逊 RDS

永久状态、剧集历史记录或场景数据

可视化

亚马逊 CloudWatch 控制面板或亚马逊 SageMaker 笔记本

观察政策变化、结果和培训指标

以下是其他应用程序：

Summary

仿真和测试平台代理用于在部署到生产系统之前进行结构化探索。使用这些代理来训练自主导航策略，在合成环境中测试业务流程，并评估群体的协调模式。