기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

# 추론 엔드포인트에 대한 Amazon SageMaker AI 향상된 지표
<a name="monitoring-cloudwatch-enhanced-metrics"></a>

향상된 지표는 Amazon SageMaker AI 실시간 엔드포인트에 대한 인스턴스 수준 및 컨테이너 수준 모니터링 데이터를 제공합니다. 향상된 지표를 활성화하면 Amazon CloudWatch 지표에 인스턴스별, 컨테이너별 및 GPU별 가시성에 대한 `ContainerId`, 및 `InstanceId``AcceleratorId`차원(이용 가능 여부는 네임스페이스에 따라 다름)이 포함될 수 있습니다. 향상된 지표는 단일 모델 엔드포인트 및 추론 구성 요소에 사용할 수 있습니다. 다중 컨테이너 엔드포인트(MCE)는 인스턴스 수준 향상된 지표를 지원하지만 컨테이너 수준 지표는 지원하지 않습니다.

향상된 지표의 주요 특성:
+ **인스턴스 수준 세분화**. 사용률 및 호출 지표에는 엔드포인트를 호스팅하는 특정 인스턴스를 식별하는 `InstanceId`차원이 포함됩니다. 이는 모든 실시간 엔드포인트에 사용할 수 있습니다.
+ **컨테이너 수준 세분화**. 추론 구성 요소를 사용하는 엔드포인트의 경우 지표에는 모델을 실행하는 특정 컨테이너를 식별하는 `ContainerId`차원이 포함됩니다. 컨테이너 수준 차원은 `AWS/SageMaker` 네임스페이스(호출 지표)와 네임`/aws/sagemaker/InferenceComponents`스페이스(사용률 지표) 모두에 표시됩니다.
+ **GPU별 세부 수준**. GPU 사용률 지표에는 인스턴스의 특정 GPU를 식별하는 `AcceleratorId`차원이 포함됩니다.
+ **구성 가능한 게시 빈도입니다**. 지표 게시 간격을 10, 30, 60, 120, 180, 240 또는 300초로 구성할 수 있습니다. 기본값은 60초입니다. 이 간격은 향상된 지표의 활성화 여부에 관계없이 사용률 지표에 적용됩니다. 향상된 지표를 활성화하면 간접 호출 지표에도 적용됩니다.

## 향상된 지표 활성화
<a name="enhanced-metrics-enabling"></a>

[CreateEndpointConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateEndpointConfig.html) API를 호출할 때 [MetricsConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_MetricsConfig.html) 파라미터`True`에서를 `EnableEnhancedMetrics`로 설정하여 향상된 지표를 활성화합니다.

`MetricsConfig` 파라미터에는 다음 필드가 있습니다.


**MetricsConfig 파라미터**  

| 파라미터 | 유형 | 필수 | 기본값 | 설명 | 
| --- | --- | --- | --- | --- | 
| EnableEnhancedMetrics | 부울 | 아니요 | False | 인스턴스 수준 및 컨테이너 수준 지표 차원을 활성화합니다. | 
| MetricPublishFrequencyInSeconds | Integer | 아니요 | 60 | 지표가 Amazon CloudWatch에 게시되는 초 단위의 간격입니다. 기본값은 `60`입니다. 유효한 값: `10`, `30`, `60`, `120`, `180`, `240`, `300`. `EnableEnhancedMetrics`를 로 설정하면 `False`이 간격은 사용률 지표에만 적용되며 호출 지표는 기본 60초 간격으로 계속 게시됩니다. 로 설정하면 `True`이 간격은 사용률 및 호출 지표 모두에 적용됩니다. | 

**참고**  
`MetricsConfig`는 엔드포인트 구성 수준에서 설정됩니다. 동일한 엔드포인트에서 개별 추론 구성 요소에 대해 다른 설정을 구성할 수 없습니다.

기존 엔드포인트에서 향상된 지표를 활성화하려면 원하는 `MetricsConfig` 설정으로 새 엔드포인트 구성을 생성한 다음 새 엔드포인트 구성 이름으로 [UpdateEndpoint](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_UpdateEndpoint.html)를 호출합니다. 이렇게 하면 블루/그린 또는 롤링 배포가 트리거됩니다. 향상된 지표는 배포가 완료될 때까지 표시되지 않습니다. 이미 구성된 엔드포인트의 `MetricsConfig` 설정을 변경할 때도 동일한 프로세스가 적용됩니다.

를 구성하면 [DescribeEndpoint](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeEndpoint.html)와 [DescribeEndpointConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeEndpointConfig.html)`MetricsConfig`가 모두 응답`MetricsConfig`으로 반환됩니다.

향상된 지표를 활성화하면 SageMaker AI는 사용률 지표, `AWS/SageMaker` 호출 지표 및 추론 구성 요소 사용률 지표`/aws/sagemaker/Endpoints`의 세 가지 CloudWatch 네임스페이스의 지표`/aws/sagemaker/InferenceComponents`에 추가 차원을 추가합니다.

## 인스턴스 수준 사용률 지표
<a name="enhanced-metrics-instance-utilization"></a>

`/aws/sagemaker/Endpoints` 네임스페이스에는 추론 구성 요소를 사용하는 엔드포인트를 포함하여 모든 실시간 엔드포인트에 대한 사용률 지표가 포함됩니다. 향상된 지표를 활성화하면 기존 네임스페이스 차원과 함께 `InstanceId` 및 `AcceleratorId` (GPU 지표만 해당) 차원을 사용할 수 있습니다. 지표 및 차원의 전체 목록은 섹션을 참조하세요[SageMaker AI 엔드포인트 지표](monitoring-cloudwatch.md#cloudwatch-metrics-endpoints).

향상된 지표를 활성화하면 다음과 같은 추가 차원을 사용할 수 있습니다.


**인스턴스 수준 사용률 지표에 대한 추가 차원**  

| 차원 | 설명 | 
| --- | --- | 
| InstanceId | 특정 인스턴스의 사용률 지표를 필터링합니다. | 
| AcceleratorId | (GPU 지표만 해당) 특정 GPU에 대한 사용률 지표를 필터링합니다. | 

## 인스턴스 및 컨테이너 수준 호출 지표
<a name="enhanced-metrics-invocation"></a>

`AWS/SageMaker` 네임스페이스에는 호출 지표가 포함됩니다. 향상된 지표를 활성화하면 기존 네임스페이스 차원과 함께 `InstanceId` 및 `ContainerId` (추론 구성 요소만 해당) 차원을 사용할 수 있습니다. 지표 및 차원의 전체 목록은 섹션을 참조하세요[SageMaker AI 엔드포인트 간접 호출 지표](monitoring-cloudwatch.md#cloudwatch-metrics-endpoint-invocation).

향상된 지표를 활성화하면 다음과 같은 추가 차원을 사용할 수 있습니다.


**호출 지표에 대한 추가 차원**  

| 차원 | 설명 | 
| --- | --- | 
| InstanceId | 특정 인스턴스에 대한 호출 지표를 필터링합니다. | 
| ContainerId | (추론 구성 요소만 해당) 특정 컨테이너에 대한 호출 지표를 필터링합니다. | 

## 컨테이너 수준 사용률 지표
<a name="enhanced-metrics-container"></a>

`/aws/sagemaker/InferenceComponents` 네임스페이스에는 추론 구성 요소를 사용하는 엔드포인트의 사용률 지표가 포함됩니다. 향상된 지표를 활성화하면 기존 네임스페이스 차원과 함께 `InstanceId``ContainerId`, 및 `AcceleratorId` (GPU 지표만 해당) 차원을 사용할 수 있습니다. 지표 및 차원의 전체 목록은 섹션을 참조하세요[SageMaker AI 추론 구성 요소 지표](monitoring-cloudwatch.md#cloudwatch-metrics-inference-component).

향상된 지표를 활성화하면 다음과 같은 추가 차원을 사용할 수 있습니다.


**컨테이너 수준 사용률 지표에 대한 추가 차원**  

| 차원 | 설명 | 
| --- | --- | 
| InstanceId | 특정 인스턴스의 사용률 지표를 필터링합니다. | 
| ContainerId | 특정 컨테이너에 대한 사용률 지표를 필터링합니다. | 
| AcceleratorId | (GPU 지표만 해당) 특정 GPU에 대한 사용률 지표를 필터링합니다. | 

## 구성 가능한 지표 빈도
<a name="enhanced-metrics-frequency"></a>

지표가 CloudWatch에 게시되는 간격을 구성할 수 있습니다. 기본 빈도는 60초입니다.

**유효한 값:** 10, 30, 60, 120, 180, 240 또는 300초.

`EnableEnhancedMetrics`를 로 설정하면 `False`이 빈도는 사용률 지표에만 적용되며 호출 지표는 기본 60초 간격으로 계속 게시됩니다. 로 설정하면 `True`이 빈도는 사용률 및 호출 지표 모두에 적용됩니다.

**참고**  
60초(고해상도) 미만의 간격으로 게시된 지표는 3시간 동안 보존됩니다.

표준 CloudWatch 요금은 고유한 차원 조합당 지표별로 적용됩니다. 각 인스턴스, 컨테이너 및 GPU는 추가 차원 조합을 생성하기 때문에 향상된 지표는 지표 스트림 수를 늘립니다. 요금 세부 정보는 [Amazon CloudWatch 요금을](https://aws.amazon.com/cloudwatch/pricing/) 참조하세요.

## 코드 예제: 향상된 지표 구성
<a name="enhanced-metrics-code-examples"></a>

다음 예제에서는 향상된 지표가 활성화된 엔드포인트 구성을 생성하는 방법과 구성을 확인하는 방법을 보여줍니다.

### 향상된 지표를 사용하여 엔드포인트 구성 생성
<a name="enhanced-metrics-create-example"></a>

------
#### [ AWS SDK for Python (Boto3) ]

**Example 향상된 지표를 사용하여 엔드포인트 구성 생성**  

```
import boto3

sagemaker_client = boto3.client('sagemaker')

response = sagemaker_client.create_endpoint_config(
    EndpointConfigName='{{my-enhanced-metrics-config}}',
    ProductionVariants=[
        {
            'VariantName': '{{AllTraffic}}',
            'ModelName': '{{my-model}}',
            'InstanceType': '{{ml.m5.xlarge}}',
            'InitialInstanceCount': {{2}},
        }
    ],
    MetricsConfig={
        'EnableEnhancedMetrics': True,
        'MetricPublishFrequencyInSeconds': {{60}}
    }
)
```

------
#### [ AWS CLI ]

**Example 향상된 지표를 사용하여 엔드포인트 구성 생성**  

```
aws sagemaker create-endpoint-config \
    --endpoint-config-name {{my-enhanced-metrics-config}} \
    --production-variants file://production-variants.json \
    --metrics-config file://metrics-config.json
```
여기서 `metrics-config.json`에 다음 사항이 포함됩니다.  

```
{
    "EnableEnhancedMetrics": true,
    "MetricPublishFrequencyInSeconds": {{60}}
}
```

------

### 향상된 지표 구성 확인
<a name="enhanced-metrics-verify-example"></a>

------
#### [ AWS SDK for Python (Boto3) ]

**Example 향상된 지표 구성 확인**  

```
response = sagemaker_client.describe_endpoint_config(
    EndpointConfigName='{{my-enhanced-metrics-config}}'
)
print(response['MetricsConfig'])
# {'EnableEnhancedMetrics': True, 'MetricPublishFrequencyInSeconds': 60}

response = sagemaker_client.describe_endpoint(
    EndpointName='{{my-endpoint}}'
)
print(response['MetricsConfig'])
```

------
#### [ AWS CLI ]

**Example 향상된 지표 구성 확인**  

```
aws sagemaker describe-endpoint-config \
    --endpoint-config-name {{my-enhanced-metrics-config}} \
    --query 'MetricsConfig'
```

```
aws sagemaker describe-endpoint \
    --endpoint-name {{my-endpoint}} \
    --query 'MetricsConfig'
```

------