기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

# 시뮬레이션 및 테스트베드 에이전트
<a name="simulation-and-test-bed-agents"></a>

시뮬레이션 및 테스트 기반 에이전트는 추론, 행동 및 학습을 하는 가상화되거나 제어된 환경에서 작동합니다. 이러한 에이전트는 동작을 시뮬레이션하고, 결과를 모델링하고, 전략을 실제 환경에 적용하기 전에 반복 가능한 설정으로 전략을 훈련합니다.

이 패턴은 반복 개발, 강화 학습(RL), 자율 의사 결정 평가 및 긴급 동작 테스트에 유용합니다. 시뮬레이션 에이전트는 종종 닫힌 루프에서 작동하여 환경으로부터 피드백을 받고 그에 따라 동작을 조정하므로 공간 추론, 실시간 제어 또는 복잡한 시스템 역학과 관련된 작업에 매우 중요합니다.

## 아키텍처
<a name="architecture-simulation-and-test-bed"></a>

다음 다이어그램은 시뮬레이션 또는 테스트베드 에이전트를 보여줍니다.

![\[시뮬레이션 및 테스트베드 에이전트.\]](http://docs.aws.amazon.com/ko_kr/prescriptive-guidance/latest/agentic-ai-patterns/images/simulation-and-test-bed-agents.png)


## 설명
<a name="description-simulation-and-test-bed"></a>

1. 환경을 시작합니다.
   + 에이전트는 시뮬레이션된 환경(예: 3D 월드, 물리 엔진, CLI 샌드박스 또는 합성 데이터 스트림)을 시작합니다.
   + 에이전트는 초기 작업, 목표 또는 정책을 사용하여 환경에 로드됩니다.

1. 에이전트를 인식합니다.
   + 에이전트는 시뮬레이션 원격 측정(예: 센서 에뮬레이션, 가상 카메라 및 구조화된 로그)을 통해 현재 상태를 인식합니다.

1. 목표 및 메모리를 검색합니다.
   + 에이전트는 할당된 목표, 시나리오 지침 또는 컨텍스트 목표를 검색합니다.
   + 또한 다음을 포함하여 이전 메모리를 검색할 수 있습니다.
     + 장기 전략 또는 정책
     + 환경 맵 또는 알려진 제약 조건
     + 유사한 시뮬레이션의 과거 성공 또는 실패

1. 이유 및 계획
   + LLM은 시뮬레이션된 상태, 작업 목표 및 학습된 지식을 해석합니다.
   + 작업 계획 또는 제어 명령을 생성합니다.

1. 시뮬레이션된 작업을 실행합니다.
   + 에이전트는 계획을 실행하거나, 상태를 수정하거나, 공간을 탐색하거나, 가상 엔터티와 상호 작용합니다.

1. 학습
   + 에이전트가 작업 결과 평가
   + 에이전트의 구성에 따라 다음을 수행할 수 있습니다.
     + RL 수행
     + 향후 미세 조정을 위한 로그 결과
     + 전략을 실시간으로 조정

## 기능
<a name="capabilities-simulation-and-test-bed"></a>
+ 합성 또는 가상 환경 내에서 작동
+ trial-and-error 학습, 정책 세분화 및 시스템 모델링 지원
+ 동작, 장애 처리 및 엣지 케이스에 대한 위험이 낮은 테스트
+ 다중 에이전트 설정에서 긴급 에이전트 동작 분석 활성화
+ 폐쇄 루프 제어와 human-in-the-loop 루프 탐색을 모두 지원합니다.

## 일반 사용 사례
<a name="common-use-cases-simulation-and-test-bed"></a>
+ 로봇, 드론 및 게임을 위한 강화 학습
+ 가상 도로에서의 자율 차량 훈련
+ DevOps 및 테스트베드 시나리오를 위한 시뮬레이션된 UIs 또는 CLIs 
+ 소셜 시뮬레이션에서 발생한 행동 실험
+ 프로덕션 전 결정 로직의 안전성 검증

## 구현 지침
<a name="implementation-guidance-simulation-and-test-bed"></a>

다음 도구 및를 사용하여 시뮬레이션 및 테스트용 에이전트를 빌드할 수 있습니다 AWS 서비스.


| 
| 
| **구성 요소** | **AWS 서비스** | **용도** | 
| --- |--- |--- |
| 환경 | Amazon SageMaker 스튜디오 랩의 Amazon ECS, Amazon Amazon EC2 또는 사용자 지정 시뮬레이터 | 가상 세계(Gazebo, Unity, Unreal) 또는 샌드박스 CLIs 실행 | 
| 에이전트 로직 | Amazon Bedrock, Amazon SageMaker 또는 AWS Lambda | LLM 기반 플래너 또는 RL 에이전트 | 
| 피드백 루프 | Amazon SageMaker 강화 학습, Amazon CloudWatch 또는 사용자 지정 로그 | 보상 추적, 결과 점수 및 동작 로깅 | 
| 메모리 및 재생 | Amazon S3, Amazon DynamoDB 또는 Amazon RDS | 영구 상태, 에피소드 기록 또는 시나리오 데이터 | 
| 시각화 | Amazon CloudWatch 대시보드 또는 Amazon SageMaker 노트북 | 정책 변경 사항, 결과 및 훈련 지표 관찰 | 

다음은 추가 애플리케이션입니다.
+ [AWS SimSpace Weaver](https://aws.amazon.com/simspaceweaver/) 대규모 공간 시뮬레이션용
+ [AWS IoT Core](https://docs.aws.amazon.com/iot/latest/developerguide/iot-device-shadows.html) 섀도우 디바이스 테스트용
+ 에이전트 평가 및 벤치마킹을 위한 [Amazon SageMaker 실험](https://docs.aws.amazon.com/sagemaker/latest/dg/mlflow.html) 

## 요약
<a name="summary-simulation-and-test-bed"></a>

시뮬레이션 및 테스트용 에이전트는 프로덕션 시스템에 배포되기 전에 구조화된 탐색을 위한 것입니다. 이러한 에이전트를 사용하여 자율 탐색 정책을 훈련하고, 합성 환경에서 비즈니스 프로세스를 테스트하고, 조정 패턴에 대한 스웜을 평가할 수 있습니다.