기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

추론 엔드포인트에 대한 Amazon SageMaker AI 향상된 지표

향상된 지표는 Amazon SageMaker AI 실시간 엔드포인트에 대한 인스턴스 수준 및 컨테이너 수준 모니터링 데이터를 제공합니다. 향상된 지표를 활성화하면 Amazon CloudWatch 지표에 인스턴스별, 컨테이너별 및 GPU별 가시성에 대한 ContainerId, 및 InstanceIdAcceleratorId차원(이용 가능 여부는 네임스페이스에 따라 다름)이 포함될 수 있습니다. 향상된 지표는 단일 모델 엔드포인트 및 추론 구성 요소에 사용할 수 있습니다. 다중 컨테이너 엔드포인트(MCE)는 인스턴스 수준 향상된 지표를 지원하지만 컨테이너 수준 지표는 지원하지 않습니다.

향상된 지표의 주요 특성:

향상된 지표 활성화

CreateEndpointConfig API를 호출할 때 MetricsConfig 파라미터True에서를 EnableEnhancedMetrics로 설정하여 향상된 지표를 활성화합니다.

MetricsConfig 파라미터에는 다음 필드가 있습니다.

기존 엔드포인트에서 향상된 지표를 활성화하려면 원하는 MetricsConfig 설정으로 새 엔드포인트 구성을 생성한 다음 새 엔드포인트 구성 이름으로 UpdateEndpoint를 호출합니다. 이렇게 하면 블루/그린 또는 롤링 배포가 트리거됩니다. 향상된 지표는 배포가 완료될 때까지 표시되지 않습니다. 이미 구성된 엔드포인트의 MetricsConfig 설정을 변경할 때도 동일한 프로세스가 적용됩니다.

를 구성하면 DescribeEndpoint와 DescribeEndpointConfigMetricsConfig가 모두 응답MetricsConfig으로 반환됩니다.

향상된 지표를 활성화하면 SageMaker AI는 사용률 지표, AWS/SageMaker 호출 지표 및 추론 구성 요소 사용률 지표/aws/sagemaker/Endpoints의 세 가지 CloudWatch 네임스페이스의 지표/aws/sagemaker/InferenceComponents에 추가 차원을 추가합니다.

인스턴스 수준 사용률 지표

/aws/sagemaker/Endpoints 네임스페이스에는 추론 구성 요소를 사용하는 엔드포인트를 포함하여 모든 실시간 엔드포인트에 대한 사용률 지표가 포함됩니다. 향상된 지표를 활성화하면 기존 네임스페이스 차원과 함께 InstanceId 및 AcceleratorId (GPU 지표만 해당) 차원을 사용할 수 있습니다. 지표 및 차원의 전체 목록은 섹션을 참조하세요SageMaker AI 엔드포인트 지표.

향상된 지표를 활성화하면 다음과 같은 추가 차원을 사용할 수 있습니다.

인스턴스 및 컨테이너 수준 호출 지표

AWS/SageMaker 네임스페이스에는 호출 지표가 포함됩니다. 향상된 지표를 활성화하면 기존 네임스페이스 차원과 함께 InstanceId 및 ContainerId (추론 구성 요소만 해당) 차원을 사용할 수 있습니다. 지표 및 차원의 전체 목록은 섹션을 참조하세요SageMaker AI 엔드포인트 간접 호출 지표.

향상된 지표를 활성화하면 다음과 같은 추가 차원을 사용할 수 있습니다.

컨테이너 수준 사용률 지표

/aws/sagemaker/InferenceComponents 네임스페이스에는 추론 구성 요소를 사용하는 엔드포인트의 사용률 지표가 포함됩니다. 향상된 지표를 활성화하면 기존 네임스페이스 차원과 함께 InstanceIdContainerId, 및 AcceleratorId (GPU 지표만 해당) 차원을 사용할 수 있습니다. 지표 및 차원의 전체 목록은 섹션을 참조하세요SageMaker AI 추론 구성 요소 지표.

향상된 지표를 활성화하면 다음과 같은 추가 차원을 사용할 수 있습니다.

구성 가능한 지표 빈도

지표가 CloudWatch에 게시되는 간격을 구성할 수 있습니다. 기본 빈도는 60초입니다.

유효한 값: 10, 30, 60, 120, 180, 240 또는 300초.

EnableEnhancedMetrics를 로 설정하면 False이 빈도는 사용률 지표에만 적용되며 호출 지표는 기본 60초 간격으로 계속 게시됩니다. 로 설정하면 True이 빈도는 사용률 및 호출 지표 모두에 적용됩니다.

표준 CloudWatch 요금은 고유한 차원 조합당 지표별로 적용됩니다. 각 인스턴스, 컨테이너 및 GPU는 추가 차원 조합을 생성하기 때문에 향상된 지표는 지표 스트림 수를 늘립니다. 요금 세부 정보는 Amazon CloudWatch 요금을 참조하세요.

코드 예제: 향상된 지표 구성

다음 예제에서는 향상된 지표가 활성화된 엔드포인트 구성을 생성하는 방법과 구성을 확인하는 방법을 보여줍니다.

향상된 지표를 사용하여 엔드포인트 구성 생성

AWS SDK for Python (Boto3)

예향상된 지표를 사용하여 엔드포인트 구성 생성

import boto3

sagemaker_client = boto3.client('sagemaker')

response = sagemaker_client.create_endpoint_config(
    EndpointConfigName='my-enhanced-metrics-config',
    ProductionVariants=[
        {
            'VariantName': 'AllTraffic',
            'ModelName': 'my-model',
            'InstanceType': 'ml.m5.xlarge',
            'InitialInstanceCount': 2,
        }
    ],
    MetricsConfig={
        'EnableEnhancedMetrics': True,
        'MetricPublishFrequencyInSeconds': 60
    }
)

AWS CLI

예향상된 지표를 사용하여 엔드포인트 구성 생성

aws sagemaker create-endpoint-config \
    --endpoint-config-name my-enhanced-metrics-config \
    --production-variants file://production-variants.json \
    --metrics-config file://metrics-config.json

여기서 metrics-config.json에 다음 사항이 포함됩니다.

{
    "EnableEnhancedMetrics": true,
    "MetricPublishFrequencyInSeconds": 60
}

향상된 지표 구성 확인

AWS SDK for Python (Boto3)

예향상된 지표 구성 확인

response = sagemaker_client.describe_endpoint_config(
    EndpointConfigName='my-enhanced-metrics-config'
)
print(response['MetricsConfig'])
# {'EnableEnhancedMetrics': True, 'MetricPublishFrequencyInSeconds': 60}

response = sagemaker_client.describe_endpoint(
    EndpointName='my-endpoint'
)
print(response['MetricsConfig'])

AWS CLI

예향상된 지표 구성 확인

aws sagemaker describe-endpoint-config \
    --endpoint-config-name my-enhanced-metrics-config \
    --query 'MetricsConfig'

aws sagemaker describe-endpoint \
    --endpoint-name my-endpoint \
    --query 'MetricsConfig'