View a markdown version of this page

시뮬레이션 및 테스트베드 에이전트 - AWS 권장 가이드
아키텍처설명기능일반 사용 사례구현 지침요약

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

시뮬레이션 및 테스트베드 에이전트

시뮬레이션 및 테스트 기반 에이전트는 추론, 행동 및 학습을 하는 가상화되거나 제어된 환경에서 작동합니다. 이러한 에이전트는 동작을 시뮬레이션하고, 결과를 모델링하고, 전략을 실제 환경에 적용하기 전에 반복 가능한 설정으로 전략을 훈련합니다.

이 패턴은 반복 개발, 강화 학습(RL), 자율 의사 결정 평가 및 긴급 동작 테스트에 유용합니다. 시뮬레이션 에이전트는 종종 닫힌 루프에서 작동하여 환경으로부터 피드백을 받고 그에 따라 동작을 조정하므로 공간 추론, 실시간 제어 또는 복잡한 시스템 역학과 관련된 작업에 매우 중요합니다.

아키텍처

다음 다이어그램은 시뮬레이션 또는 테스트베드 에이전트를 보여줍니다.

시뮬레이션 및 테스트베드 에이전트.

설명

  1. 환경을 시작합니다.

    • 에이전트는 시뮬레이션된 환경(예: 3D 월드, 물리 엔진, CLI 샌드박스 또는 합성 데이터 스트림)을 시작합니다.

    • 에이전트는 초기 작업, 목표 또는 정책을 사용하여 환경에 로드됩니다.

  2. 에이전트를 인식합니다.

    • 에이전트는 시뮬레이션 원격 측정(예: 센서 에뮬레이션, 가상 카메라 및 구조화된 로그)을 통해 현재 상태를 인식합니다.

  3. 목표 및 메모리를 검색합니다.

    • 에이전트는 할당된 목표, 시나리오 지침 또는 컨텍스트 목표를 검색합니다.

    • 또한 다음을 포함하여 이전 메모리를 검색할 수 있습니다.

      • 장기 전략 또는 정책

      • 환경 맵 또는 알려진 제약 조건

      • 유사한 시뮬레이션의 과거 성공 또는 실패

  4. 이유 및 계획

    • LLM은 시뮬레이션된 상태, 작업 목표 및 학습된 지식을 해석합니다.

    • 작업 계획 또는 제어 명령을 생성합니다.

  5. 시뮬레이션된 작업을 실행합니다.

    • 에이전트는 계획을 실행하거나, 상태를 수정하거나, 공간을 탐색하거나, 가상 엔터티와 상호 작용합니다.

  6. 학습

    • 에이전트가 작업 결과 평가

    • 에이전트의 구성에 따라 다음을 수행할 수 있습니다.

      • RL 수행

      • 향후 미세 조정을 위한 로그 결과

      • 전략을 실시간으로 조정

기능

  • 합성 또는 가상 환경 내에서 작동

  • trial-and-error 학습, 정책 세분화 및 시스템 모델링 지원

  • 동작, 장애 처리 및 엣지 케이스에 대한 위험이 낮은 테스트

  • 다중 에이전트 설정에서 긴급 에이전트 동작 분석 활성화

  • 폐쇄 루프 제어와 human-in-the-loop 루프 탐색을 모두 지원합니다.

일반 사용 사례

  • 로봇, 드론 및 게임을 위한 강화 학습

  • 가상 도로에서의 자율 차량 훈련

  • DevOps 및 테스트베드 시나리오를 위한 시뮬레이션된 UIs 또는 CLIs

  • 소셜 시뮬레이션에서 발생한 행동 실험

  • 프로덕션 전 결정 로직의 안전성 검증

구현 지침

다음 도구 및를 사용하여 시뮬레이션 및 테스트용 에이전트를 빌드할 수 있습니다 AWS 서비스.

구성 요소

AWS 서비스

용도

환경

Amazon SageMaker 스튜디오 랩의 Amazon ECS, Amazon Amazon EC2 또는 사용자 지정 시뮬레이터

가상 세계(Gazebo, Unity, Unreal) 또는 샌드박스 CLIs 실행

에이전트 로직

Amazon Bedrock, Amazon SageMaker 또는 AWS Lambda

LLM 기반 플래너 또는 RL 에이전트

피드백 루프

Amazon SageMaker 강화 학습, Amazon CloudWatch 또는 사용자 지정 로그

보상 추적, 결과 점수 및 동작 로깅

메모리 및 재생

Amazon S3, Amazon DynamoDB 또는 Amazon RDS

영구 상태, 에피소드 기록 또는 시나리오 데이터

시각화

Amazon CloudWatch 대시보드 또는 Amazon SageMaker 노트북

정책 변경 사항, 결과 및 훈련 지표 관찰

다음은 추가 애플리케이션입니다.

요약

시뮬레이션 및 테스트용 에이전트는 프로덕션 시스템에 배포되기 전에 구조화된 탐색을 위한 것입니다. 이러한 에이전트를 사용하여 자율 탐색 정책을 훈련하고, 합성 환경에서 비즈니스 프로세스를 테스트하고, 조정 패턴에 대한 스웜을 평가할 수 있습니다.