대규모로 모델 배포 - Amazon SageMaker AI
텍스트 분류에 프로덕션 모니터링이 중요한 이유사전 조건프로덕션 모니터링 설정설정 확인엔드포인트 모니터링비용 관리 및 리소스 정리

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

대규모로 모델 배포

SageMaker AI 엔드포인트에 대한 오토 스케일링 및 CloudWatch 모니터링을 설정하여 프로덕션에 사용할 준비를 합니다.

텍스트 분류에 프로덕션 모니터링이 중요한 이유

텍스트 분류 워크로드는 다음과 같은 이유로 모니터링이 필요합니다.

  • 처리 버스트와 함께 가변 트래픽 패턴을 경험합니다.

  • 응답 시간이 1초 미만이어야 합니다.

  • 오토 스케일링을 통한 비용 최적화가 필요합니다.

사전 조건

이 자습서를 시작하기 전에 다음 사항을 갖췄는지 확인하세요.

  • 이전 섹션에서 배포된 SageMaker AI 엔드포인트

  • 엔드포인트 이름(예: jumpstart-dft-hf-tc)

  • AWS 리전(예: us-east-2)입니다.

엔드포인트 생성 또는 문제 해결은 Real-time inference를 참조하세요.

프로덕션 모니터링 설정

프로덕션 환경에서 모델의 성능을 추적하도록 CloudWatch 모니터링을 구성합니다.

  1. JupyterLab 스페이스에서 이전에 업로드한 평가 패키지에서 sagemaker_production_monitoring.ipynb 노트북을 엽니다.

  2. 구성 섹션에서 엔드포인트 이름과 리전을 업데이트합니다.

  3. 노트북 지침에 따라 다음을 설정합니다.

    • 오토 스케일링(트래픽에 따라 인스턴스 1~10개)

    • 지연 시간 및 간접 호출 임곗값에 대한 CloudWatch 경보

    • 시각적 모니터링을 위한 지표 대시보드입니다.

설정 확인

노트북 단계를 완료한 후 다음 사항을 갖췄는지 확인하세요.

  • 엔드포인트 상태: InService

  • 오토 스케일링: 인스턴스 1~10개 구성

  • CloudWatch 경보: 경보 모니터링 2개

  • 지표: 15개 이상의 지표 등록

참고

경보는 처음에 INSUFFICIENT_DATA로 표시될 수 있습니다. 이는 정상이며 사용량에 따라 OK로 변경됩니다.

엔드포인트 모니터링

AWSManagement Console을 통해 시각적 모니터링에 액세스합니다.

자세한 내용은 Monitor SageMaker AI를 참조하세요.

비용 관리 및 리소스 정리

모니터링 설정은 귀중한 프로덕션 인사이트를 제공하지만 CloudWatch 지표, 경보 및 자동 크기 조정 정책을 통해 지속적인 AWS요금이 발생합니다. 이러한 비용을 관리하는 방법을 이해하는 것은 비용 효과적인 운영에 필수적입니다. 더 이상 필요하지 않은 리소스 정리

주의

요청을 처리하지 않더라도 엔드포인트에는 계속 요금이 부과됩니다. 모든 요금을 중지하려면 엔드포인트를 삭제해야 합니다. 지침은 Delete Endpoints and Resources를 참조하세요.

고급 모니터링 구성은 CloudWatch Metrics for SageMaker AI를 참조하세요.