기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

실험 실행 및 모니터링 정보

프로덕션 환경에서 실험을 실행하려면 신중한 모니터링과 운영 계획이 필요합니다. 점진적으로 노출 증가, 구현 검증 및 성능 모니터링은 위험을 줄이고 실험 결과의 신뢰성을 개선하는 데 도움이 될 수 있습니다.

운영상의 고려 사항

낮은 노출 또는 0% 노출로 시작하고 노출을 점진적으로 증가시킵니다.

사용자를 처리에 노출하기 전에:

0% 노출로 시작하면 사용자에게 영향을 미치기 전에 구현 문제를 감지하는 데 도움이 됩니다. 그런 다음 노출을 점진적으로 증가시켜 문제가 발생할 경우 회귀의 영향을 제한할 수 있습니다. 로드가 증가하면서 실험 동작을 검증하면 전체 대상을 변경 사항에 노출하기 전에 실험 결과 및 운영 지표를 모니터링할 수 있습니다.

롤백 절차 정의

실험 실행을 시작하기 전에 다음을 결정합니다.

CloudWatch 또는 Datadog, New Relic 또는 Dynatrace와 같은 타사 모니터링 도구에서 경보를 구성하여 실험 중에 페이지 로드 시간, 변환 속도 또는 오류율과 같은 주요 지표를 모니터링할 수 있습니다. 경보가 트리거되면 영향을 평가하고 실험 실행을 중지할지 아니면 계속할지 결정합니다. 경보 구성에 대한 자세한 내용은 섹션을 참조하세요배포의 자동 롤백 모니터링.

배포 조정

활성 실험 실행 중에 주요 애플리케이션 변경 사항을 도입하지 마세요. 기능 플래그 로직, 백엔드 시스템 또는 사용자 흐름을 변경하면 실험 결과가 무효화되거나 분석이 복잡해질 수 있습니다. 변경이 필요한 경우 현재 실행을 중지하고 업데이트가 적용된 후 새 실행을 시작합니다.

또한 동일한 사용자 또는 기능에 영향을 미치는 중복 실험을 제한합니다. 실험이 겹치면 결과가 왜곡되고 충돌하는 동작이 발생할 수 있습니다. 즉, 대상이 겹칠 때 실험을 신중하게 조정합니다.

Entity-Id 및 Context 헤더를 포함하여 애플리케이션이 AWS AppConfig 에이전트에서 할당된 처리를 검색하는 방법에 대한 자세한 내용은 섹션을 참조하세요실험 처리 검색.

성능 고려 사항

실험을 시작할 때 실행 중 운영 지표를 추적하여 애플리케이션 성능을 모니터링합니다. 특히 다음을 모니터링합니다.

실험 지표가 긍정적으로 보이더라도 처리가 시스템 동작에 영향을 미칠 수 있습니다. 점진적 노출을 통해 이러한 문제를 안전하게 식별할 수 있습니다.

클라이언트 측 성능 검증

UI 실험의 경우 다음을 모니터링합니다.

처리가 다르면 프런트엔드 성능에 영향을 미칠 수 있습니다.

운영 원칙

실험이 실행 중일 때는 다음 운영 원칙에 유의하세요.