シミュレーションエージェントとテスト床エージェント - AWS 規範ガイダンス
アーキテクチャ説明機能一般的なユースケース実装のガイダンス概要

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

シミュレーションエージェントとテスト床エージェント

シミュレーションエージェントとテスト床エージェントは、理由、行動、学習を行う仮想化環境または制御された環境で動作します。これらのエージェントは、実際の環境に適用する前に、動作、モデルの結果をシミュレートし、繰り返し可能な設定で戦略をトレーニングします。

このパターンは、反復開発、強化学習 (RL)、自律的な意思決定評価、および緊急行動テストに役立ちます。シミュレーションエージェントは多くの場合、クローズドループで動作し、環境からフィードバックを受け取り、それに応じて動作を調整するため、空間推論、リアルタイム制御、複雑なシステムダイナミクスを含むタスクにとって不可欠です。

アーキテクチャ

次の図は、シミュレーションエージェントまたはテスト床エージェントを示しています。

シミュレーションエージェントとテスト床エージェント。

説明

  1. 環境を開始する

    • エージェントはシミュレートされた環境 (3D ワールド、物理エンジン、CLI サンドボックス、合成データストリームなど) を開始します。

    • エージェントは、初期タスク、目標、またはポリシーを使用して環境にロードされます。

  2. エージェントを認識する

    • エージェントはシミュレーションテレメトリ (センサーエミュレーション、仮想カメラ、構造化ログなど) を通じて現在の状態を認識します。

  3. 目標とメモリを取得します。

    • エージェントは、割り当てられた目標、シナリオ手順、またはコンテキスト目標を取得します。

    • また、以下を含む以前のメモリを取得することもできます。

      • 長期戦略またはポリシー

      • 環境マップまたは既知の制約

      • 同様のシミュレーションの過去の成功または失敗

  4. 理由と計画

    • LLM は、シミュレートされた状態、タスク目標、学習した知識を解釈します。

    • アクションプランまたはコントロールコマンドを生成します。

  5. シミュレートされたアクションを実行します

    • エージェントは、プランの実行、状態の変更、スペースのナビゲート、仮想エンティティとのやり取りを行います。

  6. 学習

    • エージェントはアクションの結果を評価します

    • エージェントの設定によっては、以下を行う場合があります。

      • RL を実行する

      • 将来のファインチューニングのログ結果

      • リアルタイムで戦略を適応させる

機能

  • 合成環境または仮想環境内で動作

  • trial-and-error学習、ポリシーの改良、システムモデリングをサポート

  • 動作、障害処理、エッジケースの低リスクテスト

  • マルチエージェント設定で緊急エージェント動作分析を有効にする

  • クローズドループ制御とhuman-in-the-loop探索の両方をサポート

一般的なユースケース

  • ロボット、ドローン、ゲームの強化学習

  • 仮想道路での自動車両トレーニング

  • DevOps およびテスト床シナリオ用のシミュレートされた UIs または CLIs

  • ソーシャルシミュレーションにおける緊急の動作実験

  • 本番稼働前の決定ロジックの安全性検証

実装のガイダンス

次のツールと を使用して、シミュレーションエージェントとテスト床エージェントを構築できます AWS のサービス。

コンポーネント

AWS のサービス

目的

環境

Amazon SageMaker スタジオラボの Amazon ECS、Amazon Amazon EC2、またはカスタムシミュレーター

仮想ワールド (Gazebo、Unity、Unreal) またはサンドボックス CLIs を実行する

エージェントロジック

Amazon Bedrock、Amazon SageMaker、または AWS Lambda

LLM ベースのプランナーまたは RL エージェント

フィードバックループ

Amazon SageMaker 強化学習、Amazon CloudWatch、またはカスタムログ

報酬の追跡、結果のスコアリング、動作のログ記録

メモリとリプレイ

Amazon S3、Amazon DynamoDB、または Amazon RDS

永続的な状態、エピソード履歴、またはシナリオデータ

視覚的表現

Amazon CloudWatch ダッシュボードまたは Amazon SageMaker ノートブック

ポリシーの変更、結果、トレーニングメトリクスを観察する

追加のアプリケーションは次のとおりです。

概要

シミュレーションエージェントとテスト床エージェントは、実稼働システムにデプロイされる前に構造化された探索用です。これらのエージェントを使用して、自律ナビゲーションポリシーのトレーニング、合成環境でのビジネスプロセスのテスト、調整パターンのスワームの評価を行います。