Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Amazon SageMaker AI meningkatkan metrik untuk titik akhir inferensi

Metrik yang disempurnakan menyediakan data pemantauan tingkat instans dan tingkat kontainer untuk titik akhir real-time Amazon AI. SageMaker Saat Anda mengaktifkan metrik yang disempurnakan, CloudWatch metrik Amazon dapat menyertakan InstanceIdContainerId, dan AcceleratorId dimensi (ketersediaan bervariasi menurut namespace) untuk visibilitas granular per instance, per-container, dan per-GPU. Metrik yang disempurnakan tersedia untuk titik akhir model tunggal dan komponen inferensi. Multi-Container Endpoints (MCE) mendukung metrik yang ditingkatkan tingkat instans tetapi bukan metrik tingkat kontainer.

Karakteristik utama dari metrik yang ditingkatkan:

Mengaktifkan metrik yang disempurnakan

Anda mengaktifkan metrik yang disempurnakan dengan EnableEnhancedMetrics menyetel ke True dalam MetricsConfigparameter saat Anda memanggil CreateEndpointConfigAPI.

MetricsConfigParameter memiliki bidang berikut:

Untuk mengaktifkan metrik yang disempurnakan pada titik akhir yang ada, buat konfigurasi titik akhir baru dengan MetricsConfig pengaturan yang diinginkan, lalu panggil UpdateEndpointdengan nama konfigurasi titik akhir yang baru. Ini memicu penerapan blue/green atau bergulir. Metrik yang disempurnakan tidak muncul sampai penerapan selesai. Proses yang sama berlaku saat mengubah MetricsConfig pengaturan pada titik akhir yang sudah dikonfigurasi.

Saat Anda mengonfigurasiMetricsConfig, keduanya DescribeEndpointdan DescribeEndpointConfigkembali MetricsConfig dalam respons.

Saat Anda mengaktifkan metrik yang disempurnakan, SageMaker AI menambahkan dimensi tambahan ke metrik di tiga CloudWatch ruang nama: untuk metrik pemanfaatan, /aws/sagemaker/Endpoints untuk metrik pemanggilan, dan AWS/SageMaker untuk metrik pemanfaatan komponen inferensi. /aws/sagemaker/InferenceComponents

Instance-level metrik pemanfaatan

/aws/sagemaker/EndpointsNamespace mencakup metrik pemanfaatan untuk semua titik akhir real-time, termasuk yang menggunakan komponen inferensi. Saat Anda mengaktifkan metrik yang disempurnakan, dimensi InstanceId dan AcceleratorId (hanya metrik GPU) tersedia bersama dimensi namespace yang ada. Untuk daftar lengkap metrik dan dimensi, lihatSageMaker Metrik titik akhir AI.

Saat Anda mengaktifkan metrik yang disempurnakan, dimensi tambahan berikut tersedia:

Metrik pemanggilan tingkat instans dan kontainer

AWS/SageMakerNamespace menyertakan metrik pemanggilan. Saat Anda mengaktifkan metrik yang disempurnakan, dimensi InstanceId dan ContainerId (hanya komponen inferensi) tersedia bersama dimensi namespace yang ada. Untuk daftar lengkap metrik dan dimensi, lihatSageMaker Metrik pemanggilan titik akhir AI.

Saat Anda mengaktifkan metrik yang disempurnakan, dimensi tambahan berikut tersedia:

Container-level metrik pemanfaatan

/aws/sagemaker/InferenceComponentsNamespace mencakup metrik pemanfaatan untuk titik akhir yang menggunakan komponen inferensi. Saat Anda mengaktifkan metrik yang disempurnakanInstanceId, dimensiContainerId,, dan AcceleratorId (hanya metrik GPU) tersedia bersama dimensi namespace yang ada. Untuk daftar lengkap metrik dan dimensi, lihatSageMaker Metrik komponen inferensi AI.

Saat Anda mengaktifkan metrik yang disempurnakan, dimensi tambahan berikut tersedia:

Frekuensi metrik yang dapat dikonfigurasi

Anda dapat mengonfigurasi interval di mana metrik dipublikasikan. CloudWatch Frekuensi default adalah 60 detik.

Nilai yang valid: 10, 30, 60, 120, 180, 240, atau 300 detik.

Ketika EnableEnhancedMetrics disetel keFalse, frekuensi ini hanya berlaku untuk metrik pemanfaatan; metrik pemanggilan terus dipublikasikan pada interval default 60 detik. Ketika disetel keTrue, frekuensi ini berlaku untuk metrik pemanfaatan dan pemanggilan.

CloudWatch Harga standar berlaku per metrik per kombinasi dimensi unik. Metrik yang disempurnakan meningkatkan jumlah aliran metrik karena setiap instance, container, dan GPU menciptakan kombinasi dimensi tambahan. Untuk detail harga, lihat CloudWatch harga Amazon.

Contoh kode: konfigurasikan metrik yang disempurnakan

Contoh berikut menunjukkan cara membuat konfigurasi titik akhir dengan metrik yang disempurnakan diaktifkan dan cara memverifikasi konfigurasi.

Buat konfigurasi titik akhir dengan metrik yang disempurnakan

AWS SDK for Python (Boto3)

contoh Buat konfigurasi titik akhir dengan metrik yang disempurnakan

import boto3

sagemaker_client = boto3.client('sagemaker')

response = sagemaker_client.create_endpoint_config(
    EndpointConfigName='my-enhanced-metrics-config',
    ProductionVariants=[
        {
            'VariantName': 'AllTraffic',
            'ModelName': 'my-model',
            'InstanceType': 'ml.m5.xlarge',
            'InitialInstanceCount': 2,
        }
    ],
    MetricsConfig={
        'EnableEnhancedMetrics': True,
        'MetricPublishFrequencyInSeconds': 60
    }
)

AWS CLI

contoh Buat konfigurasi titik akhir dengan metrik yang disempurnakan

aws sagemaker create-endpoint-config \
    --endpoint-config-name my-enhanced-metrics-config \
    --production-variants file://production-variants.json \
    --metrics-config file://metrics-config.json

Di mana metrics-config.json berisi:

{
    "EnableEnhancedMetrics": true,
    "MetricPublishFrequencyInSeconds": 60
}

Verifikasi konfigurasi metrik yang disempurnakan

AWS SDK for Python (Boto3)

contoh Verifikasi konfigurasi metrik yang disempurnakan

response = sagemaker_client.describe_endpoint_config(
    EndpointConfigName='my-enhanced-metrics-config'
)
print(response['MetricsConfig'])
# {'EnableEnhancedMetrics': True, 'MetricPublishFrequencyInSeconds': 60}

response = sagemaker_client.describe_endpoint(
    EndpointName='my-endpoint'
)
print(response['MetricsConfig'])

AWS CLI

contoh Verifikasi konfigurasi metrik yang disempurnakan

aws sagemaker describe-endpoint-config \
    --endpoint-config-name my-enhanced-metrics-config \
    --query 'MetricsConfig'

aws sagemaker describe-endpoint \
    --endpoint-name my-endpoint \
    --query 'MetricsConfig'