기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

# 실험 실행 및 모니터링 정보
<a name="appconfig-experimentation-about-running-an-experiment"></a>

프로덕션 환경에서 실험을 실행하려면 신중한 모니터링과 운영 계획이 필요합니다. 점진적으로 노출 증가, 구현 검증 및 성능 모니터링은 위험을 줄이고 실험 결과의 신뢰성을 개선하는 데 도움이 될 수 있습니다.

**Topics**
+ [운영상의 고려 사항](#appconfig-experimentation-about-running-an-experiment-operational-considerations)
+ [성능 고려 사항](#appconfig-experimentation-about-running-an-experiment-performance-considerations)
+ [운영 원칙](#appconfig-experimentation-about-running-an-experiment-implementation-considerations)

## 운영상의 고려 사항
<a name="appconfig-experimentation-about-running-an-experiment-operational-considerations"></a>

**낮은 노출 또는 0% 노출로 시작하고 노출을 점진적으로 증가시킵니다.**

사용자를 처리에 노출하기 전에:
+ 처리 렌더링 검증
+ 기능 플래그 평가 확인
+ 지표 및 로깅 확인
+ 처리 할당 재정의를 사용하여 계측 테스트

0% 노출로 시작하면 사용자에게 영향을 미치기 전에 구현 문제를 감지하는 데 도움이 됩니다. 그런 다음 노출을 점진적으로 증가시켜 문제가 발생할 경우 회귀의 영향을 제한할 수 있습니다. 로드가 증가하면서 실험 동작을 검증하면 전체 대상을 변경 사항에 노출하기 전에 실험 결과 및 운영 지표를 모니터링할 수 있습니다.

**롤백 절차 정의**

실험 실행을 시작하기 전에 다음을 결정합니다.
+ 실행을 중지해야 하는 경우
+ 허용할 수 없는 동작을 나타내는 지표
+ 처리를 비활성화하는 방법

CloudWatch 또는 Datadog, New Relic 또는 Dynatrace와 같은 타사 모니터링 도구에서 경보를 구성하여 실험 중에 페이지 로드 시간, 변환 속도 또는 오류율과 같은 주요 지표를 모니터링할 수 있습니다. 경보가 트리거되면 영향을 평가하고 실험 실행을 중지할지 아니면 계속할지 결정합니다. 경보 구성에 대한 자세한 내용은 섹션을 참조하세요[배포의 자동 롤백 모니터링](monitoring-deployments.md).

**배포 조정**

활성 실험 실행 중에 주요 애플리케이션 변경 사항을 도입하지 마세요. 기능 플래그 로직, 백엔드 시스템 또는 사용자 흐름을 변경하면 실험 결과가 무효화되거나 분석이 복잡해질 수 있습니다. 변경이 필요한 경우 현재 실행을 중지하고 업데이트가 적용된 후 새 실행을 시작합니다.

또한 동일한 사용자 또는 기능에 영향을 미치는 중복 실험을 제한합니다. 실험이 겹치면 결과가 왜곡되고 충돌하는 동작이 발생할 수 있습니다. 즉, 대상이 겹칠 때 실험을 신중하게 조정합니다.

`Entity-Id` 및 `Context` 헤더를 포함하여 애플리케이션이 AWS AppConfig 에이전트에서 할당된 처리를 검색하는 방법에 대한 자세한 내용은 섹션을 참조하세요[실험 처리 검색](appconfig-integration-retrieving-experiment-treatments.md).

## 성능 고려 사항
<a name="appconfig-experimentation-about-running-an-experiment-performance-considerations"></a>

실험을 시작할 때 실행 중 운영 지표를 추적하여 애플리케이션 성능을 모니터링합니다. 특히 다음을 모니터링합니다.
+ Latency
+ 오류 발생률
+ 처리량
+ 리소스 사용률

실험 지표가 긍정적으로 보이더라도 처리가 시스템 동작에 영향을 미칠 수 있습니다. 점진적 노출을 통해 이러한 문제를 안전하게 식별할 수 있습니다.

**클라이언트 측 성능 검증**

UI 실험의 경우 다음을 모니터링합니다.
+ 페이지 로드 시간
+ 렌더링 성능
+ 클라이언트 측 오류
+ 디바이스별 동작

처리가 다르면 프런트엔드 성능에 영향을 미칠 수 있습니다.

## 운영 원칙
<a name="appconfig-experimentation-about-running-an-experiment-implementation-considerations"></a>

실험이 실행 중일 때는 다음 운영 원칙에 유의하세요.

**실험을 프로덕션 변경으로 처리**  
작은 실험도 애플리케이션 안정성, 성능, 사용자 경험 및 데이터 품질에 영향을 미칠 수 있습니다. 신중한 모니터링과 점진적 노출을 통해 위험을 줄이는 동시에 실험 결과에 대한 신뢰도를 높일 수 있습니다.

**처리 일관성 유지**  
사용자는 실행 중에 동일한 처리를 받아야 합니다. 치료 설계에 대한 자세한 내용은 섹션을 참조하세요[제어 및 처리 정보](appconfig-experimentation-about-controls-and-treatments.md).

**계측 검증**  
노출을 늘리기 전에 지표가 올바르게 기록되고 로그에 처리 정보가 포함되어 있는지 확인합니다.

**실험별 지표 모니터링**  
운영 지표 외에도 다음과 같이 실험과 직접 관련된 지표를 모니터링합니다.  
+ 전환율
+ 기능 참여
+ 클릭률
+ 오류 빈도
+ 사용자 보존
실험 목표에 맞는 지표를 선택합니다.