翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

推論エンドポイントの Amazon SageMaker AI 拡張メトリクス

拡張メトリクスは、Amazon SageMaker AI リアルタイムエンドポイントのインスタンスレベルとコンテナレベルのモニタリングデータを提供します。拡張メトリクスを有効にすると、Amazon CloudWatch メトリクスにはInstanceId、詳細なインスタンスごとContainerId、コンテナごと、GPU ごとの可視性の 、、および AcceleratorIdディメンション (可用性は名前空間によって異なります) を含めることができます。拡張メトリクスは、単一モデルエンドポイントと推論コンポーネントで使用できます。マルチコンテナエンドポイント (MCE) はインスタンスレベルの拡張メトリクスをサポートしますが、コンテナレベルのメトリクスはサポートしていません。

拡張メトリクスの主な特性:

拡張メトリクスの有効化

CreateEndpointConfig MetricsConfig API を呼び出すときに MetricsConfig パラメータTrueで EnableEnhancedMetricsを に設定することで、拡張メトリクスを有効にします。

MetricsConfig パラメータには次のフィールドがあります。

既存のエンドポイントで拡張メトリクスを有効にするには、必要な設定で新しいエンドポイントMetricsConfig設定を作成し、新しいエンドポイント設定名で UpdateEndpoint を呼び出します。これにより、ブルー/グリーンデプロイまたはローリングデプロイがトリガーされます。拡張メトリクスは、デプロイが完了するまで表示されません。既に設定されているエンドポイントMetricsConfigの設定を変更する場合も、同じプロセスが適用されます。

を設定するとMetricsConfig、DescribeEndpoint と DescribeEndpointConfig の両方がレスポンスMetricsConfigに戻ります。

拡張メトリクスを有効にすると、SageMaker AI は、使用率メトリクス/aws/sagemaker/Endpoints、AWS/SageMaker呼び出しメトリクス、推論コンポーネント使用率メトリクス/aws/sagemaker/InferenceComponentsの 3 つの CloudWatch 名前空間にわたってメトリクスにディメンションを追加します。

インスタンスレベルの使用率メトリクス

/aws/sagemaker/Endpoints 名前空間には、推論コンポーネントを使用するエンドポイントを含む、すべてのリアルタイムエンドポイントの使用率メトリクスが含まれます。拡張メトリクスを有効にするInstanceIdと、 および AcceleratorId (GPU メトリクスのみ) ディメンションが既存の名前空間ディメンションとともに使用可能になります。メトリクスとディメンションの完全なリストについては、「」を参照してくださいSageMaker AI エンドポイントメトリクス。

拡張メトリクスを有効にすると、次の追加ディメンションを使用できます。

インスタンスレベルとコンテナレベルの呼び出しメトリクス

AWS/SageMaker 名前空間には呼び出しメトリクスが含まれます。拡張メトリクスを有効にするInstanceIdと、 および ContainerId (推論コンポーネントのみ) ディメンションが既存の名前空間ディメンションとともに使用可能になります。メトリクスとディメンションの完全なリストについては、「」を参照してくださいSageMaker AI エンドポイント呼び出しメトリクス。

拡張メトリクスを有効にすると、次の追加ディメンションを使用できます。

コンテナレベルの使用率メトリクス

/aws/sagemaker/InferenceComponents 名前空間には、推論コンポーネントを使用するエンドポイントの使用率メトリクスが含まれます。拡張メトリクスを有効にすると、InstanceId、ContainerId、および AcceleratorId (GPU メトリクスのみ) ディメンションが既存の名前空間ディメンションとともに使用可能になります。メトリクスとディメンションの完全なリストについては、「」を参照してくださいSageMaker AI 推論コンポーネントのメトリクス。

拡張メトリクスを有効にすると、次の追加ディメンションを使用できます。

設定可能なメトリクスの頻度

メトリクスが CloudWatch に発行される間隔を設定できます。デフォルトの頻度は 60 秒です。

有効な値: 10、30、60、120、180、240、または 300 秒。

EnableEnhancedMetrics が に設定されている場合False、この頻度は使用率メトリクスにのみ適用されます。呼び出しメトリクスは引き続きデフォルトの 60 秒間隔で発行されます。に設定するとTrue、この頻度は使用率メトリクスと呼び出しメトリクスの両方に適用されます。

標準 CloudWatch 料金は、一意のディメンションの組み合わせごとにメトリクスごとに適用されます。拡張メトリクスは、各インスタンス、コンテナ、GPU が追加のディメンションの組み合わせを作成するため、メトリクスストリームの数を増やします。料金の詳細については、Amazon CloudWatch の料金」を参照してください。

コード例: 拡張メトリクスの設定

次の例は、拡張メトリクスを有効にしてエンドポイント設定を作成する方法と、設定を検証する方法を示しています。

拡張メトリクスを使用してエンドポイント設定を作成する

AWS SDK for Python (Boto3)

例拡張メトリクスを使用してエンドポイント設定を作成する

import boto3

sagemaker_client = boto3.client('sagemaker')

response = sagemaker_client.create_endpoint_config(
    EndpointConfigName='my-enhanced-metrics-config',
    ProductionVariants=[
        {
            'VariantName': 'AllTraffic',
            'ModelName': 'my-model',
            'InstanceType': 'ml.m5.xlarge',
            'InitialInstanceCount': 2,
        }
    ],
    MetricsConfig={
        'EnableEnhancedMetrics': True,
        'MetricPublishFrequencyInSeconds': 60
    }
)

AWS CLI

例拡張メトリクスを使用してエンドポイント設定を作成する

aws sagemaker create-endpoint-config \
    --endpoint-config-name my-enhanced-metrics-config \
    --production-variants file://production-variants.json \
    --metrics-config file://metrics-config.json

ここでは metrics-config.json に以下が含まれます。

{
    "EnableEnhancedMetrics": true,
    "MetricPublishFrequencyInSeconds": 60
}

拡張メトリクス設定の検証

AWS SDK for Python (Boto3)

例拡張メトリクス設定の検証

response = sagemaker_client.describe_endpoint_config(
    EndpointConfigName='my-enhanced-metrics-config'
)
print(response['MetricsConfig'])
# {'EnableEnhancedMetrics': True, 'MetricPublishFrequencyInSeconds': 60}

response = sagemaker_client.describe_endpoint(
    EndpointName='my-endpoint'
)
print(response['MetricsConfig'])

AWS CLI

例拡張メトリクス設定の検証

aws sagemaker describe-endpoint-config \
    --endpoint-config-name my-enhanced-metrics-config \
    --query 'MetricsConfig'

aws sagemaker describe-endpoint \
    --endpoint-name my-endpoint \
    --query 'MetricsConfig'