Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Parametri avanzati di Amazon SageMaker AI per gli endpoint di inferenza

Le metriche avanzate forniscono dati di monitoraggio a livello di istanza e contenitore per gli endpoint Amazon AI in tempo reale. SageMaker Quando abiliti i parametri avanzati, i parametri di Amazon CloudWatch possono includere InstanceId e AcceleratorId dimensioni (la disponibilità varia in base allo spazio dei nomi) per una visibilità granulare per istanza, per contenitore e per GPU. ContainerId Sono disponibili metriche avanzate per endpoint e componenti di inferenza a modello singolo. Multi-Container Gli endpoint (MCE) supportano metriche avanzate a livello di istanza ma non metriche a livello di contenitore.

Caratteristiche chiave delle metriche avanzate:

Abilitazione di metriche avanzate

Puoi abilitare le metriche avanzate impostando EnableEnhancedMetrics su True nel MetricsConfigparametro quando chiami l'CreateEndpointConfigAPI.

Il MetricsConfig parametro ha i seguenti campi:

Per abilitare metriche avanzate su un endpoint esistente, crea una nuova configurazione dell'endpoint con MetricsConfig le impostazioni desiderate, quindi chiama UpdateEndpointcon il nuovo nome di configurazione dell'endpoint. Ciò attiva una distribuzione progressiva. blue/green Le metriche avanzate non vengono visualizzate fino al completamento della distribuzione. Lo stesso processo si applica quando si modificano MetricsConfig le impostazioni su un endpoint già configurato.

Quando si configuraMetricsConfig, entrambi DescribeEndpointConfigrestituiscono DescribeEndpointMetricsConfigla risposta.

Quando abiliti metriche avanzate, l' SageMaker intelligenza artificiale aggiunge dimensioni aggiuntive alle metriche in tre CloudWatch namespace: /aws/sagemaker/Endpoints per le metriche di utilizzo, AWS/SageMaker per le metriche di invocazione e per le metriche di utilizzo dei componenti di inferenza. /aws/sagemaker/InferenceComponents

Instance-level metriche di utilizzo

Il /aws/sagemaker/Endpoints namespace include metriche di utilizzo per tutti gli endpoint in tempo reale, compresi quelli che utilizzano componenti di inferenza. Quando abiliti le metriche avanzate, le dimensioni InstanceId and AcceleratorId (solo metriche GPU) diventano disponibili insieme alle dimensioni del namespace esistenti. Per un elenco completo di metriche e dimensioni, consulta. SageMaker Metriche degli endpoint AI

Quando abiliti le metriche avanzate, sono disponibili le seguenti dimensioni aggiuntive:

Metriche di chiamata a livello di istanza e contenitore

Il AWS/SageMaker namespace include metriche di invocazione. Quando abiliti le metriche avanzate, le dimensioni InstanceId and ContainerId (solo componenti di inferenza) diventano disponibili insieme alle dimensioni del namespace esistenti. Per un elenco completo di metriche e dimensioni, consulta. SageMaker Metriche di invocazione degli endpoint AI

Quando abiliti le metriche avanzate, sono disponibili le seguenti dimensioni aggiuntive:

Container-level metriche di utilizzo

Il /aws/sagemaker/InferenceComponents namespace include metriche di utilizzo per gli endpoint che utilizzano componenti di inferenza. Quando abiliti le metriche avanzate, le dimensioni InstanceIdContainerId, e AcceleratorId (solo metriche GPU) diventano disponibili insieme alle dimensioni del namespace esistenti. Per un elenco completo di metriche e dimensioni, consulta. SageMaker Metriche dei componenti di inferenza AI

Quando abiliti le metriche avanzate, sono disponibili le seguenti dimensioni aggiuntive:

Frequenza metrica configurabile

È possibile configurare l'intervallo in cui vengono pubblicate le metriche. CloudWatch La frequenza predefinita è 60 secondi.

Valori validi: 10, 30, 60, 120, 180, 240 o 300 secondi.

Quando EnableEnhancedMetrics è impostata suFalse, questa frequenza si applica solo alle metriche di utilizzo; le metriche di invocazione continuano a essere pubblicate all'intervallo predefinito di 60 secondi. Se impostata suTrue, questa frequenza si applica sia alle metriche di utilizzo che a quelle di invocazione.

CloudWatch I prezzi standard si applicano per metrica per combinazione di dimensioni unica. Le metriche avanzate aumentano il numero di flussi di metriche perché ogni istanza, contenitore e GPU crea combinazioni di dimensioni aggiuntive. Per i dettagli sui prezzi, consulta la pagina CloudWatch dei prezzi di Amazon.

Esempi di codice: configura metriche avanzate

Gli esempi seguenti mostrano come creare una configurazione di endpoint con metriche avanzate abilitate e come verificare la configurazione.

Crea una configurazione degli endpoint con metriche avanzate

AWS SDK for Python (Boto3)

Esempio Crea una configurazione degli endpoint con metriche avanzate

import boto3

sagemaker_client = boto3.client('sagemaker')

response = sagemaker_client.create_endpoint_config(
    EndpointConfigName='my-enhanced-metrics-config',
    ProductionVariants=[
        {
            'VariantName': 'AllTraffic',
            'ModelName': 'my-model',
            'InstanceType': 'ml.m5.xlarge',
            'InitialInstanceCount': 2,
        }
    ],
    MetricsConfig={
        'EnableEnhancedMetrics': True,
        'MetricPublishFrequencyInSeconds': 60
    }
)

AWS CLI

Esempio Crea una configurazione degli endpoint con metriche avanzate

aws sagemaker create-endpoint-config \
    --endpoint-config-name my-enhanced-metrics-config \
    --production-variants file://production-variants.json \
    --metrics-config file://metrics-config.json

Dove metrics-config.json contiene:

{
    "EnableEnhancedMetrics": true,
    "MetricPublishFrequencyInSeconds": 60
}

Verifica la configurazione avanzata delle metriche

AWS SDK for Python (Boto3)

Esempio Verifica la configurazione avanzata delle metriche

response = sagemaker_client.describe_endpoint_config(
    EndpointConfigName='my-enhanced-metrics-config'
)
print(response['MetricsConfig'])
# {'EnableEnhancedMetrics': True, 'MetricPublishFrequencyInSeconds': 60}

response = sagemaker_client.describe_endpoint(
    EndpointName='my-endpoint'
)
print(response['MetricsConfig'])

AWS CLI

Esempio Verifica la configurazione avanzata delle metriche

aws sagemaker describe-endpoint-config \
    --endpoint-config-name my-enhanced-metrics-config \
    --query 'MetricsConfig'

aws sagemaker describe-endpoint \
    --endpoint-name my-endpoint \
    --query 'MetricsConfig'