Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Métricas mejoradas de Amazon SageMaker AI para puntos finales de inferencia

Las métricas mejoradas proporcionan datos de monitoreo a nivel de instancia y contenedor para los puntos de conexión en tiempo real de Amazon AI. SageMaker Cuando habilitas las métricas mejoradas, las CloudWatch métricas de Amazon pueden incluir InstanceId y AcceleratorId dimensiones (la disponibilidad varía según el espacio de nombres) para una visibilidad granular por instancia, por contenedor y por GPU. ContainerId Hay métricas mejoradas disponibles para los puntos finales y los componentes de inferencia de un solo modelo. Multi-Container Los puntos finales (MCE) admiten métricas mejoradas a nivel de instancia, pero no a nivel de contenedor.

Características clave de las métricas mejoradas:

Habilitar métricas mejoradas

Para habilitar las métricas mejoradas, EnableEnhancedMetrics True establézcalas en el MetricsConfigparámetro al llamar a la CreateEndpointConfigAPI.

El MetricsConfig parámetro tiene los siguientes campos:

Para habilitar las métricas mejoradas en un punto final existente, cree una nueva configuración de punto final con la MetricsConfig configuración deseada y, a continuación, llame UpdateEndpointcon el nombre de la nueva configuración de punto final. Esto desencadena un despliegue continuo blue/green o continuo. Las métricas mejoradas no aparecen hasta que se completa la implementación. El mismo proceso se aplica al cambiar la MetricsConfig configuración en un punto final ya configurado.

Al configurarMetricsConfig, ambos DescribeEndpointy DescribeEndpointConfigdevuelven MetricsConfig la respuesta.

Al habilitar las métricas mejoradas, la SageMaker IA añade dimensiones adicionales a las métricas en tres CloudWatch espacios de nombres: /aws/sagemaker/Endpoints para las métricas de utilización, para las métricas de invocación y AWS/SageMaker /aws/sagemaker/InferenceComponents para las métricas de utilización de los componentes de inferencia.

Instance-level métricas de uso

El espacio de /aws/sagemaker/Endpoints nombres incluye métricas de uso para todos los puntos finales en tiempo real, incluidos los que utilizan componentes de inferencia. Al habilitar las métricas mejoradas, las dimensiones InstanceId y AcceleratorId (solo métricas de GPU) pasan a estar disponibles junto con las dimensiones del espacio de nombres existentes. Para obtener una lista completa de métricas y dimensiones, consulte. SageMaker Métricas de puntos finales de IA

Al habilitar las métricas mejoradas, estarán disponibles las siguientes dimensiones adicionales:

Métricas de invocación a nivel de instancia y contenedor

El AWS/SageMaker espacio de nombres incluye métricas de invocación. Al habilitar las métricas mejoradas, las dimensiones InstanceId y ContainerId (solo los componentes de inferencia) pasan a estar disponibles junto con las dimensiones del espacio de nombres existentes. Para obtener una lista completa de métricas y dimensiones, consulte. SageMaker Métricas de invocación de puntos finales de IA

Al habilitar las métricas mejoradas, estarán disponibles las siguientes dimensiones adicionales:

Container-level métricas de utilización

El espacio de /aws/sagemaker/InferenceComponents nombres incluye métricas de uso para los puntos finales que utilizan componentes de inferencia. Al habilitar las métricas mejoradas, las dimensiones InstanceIdContainerId, y AcceleratorId (solo métricas de GPU) pasan a estar disponibles junto con las dimensiones del espacio de nombres existentes. Para obtener una lista completa de métricas y dimensiones, consulte. SageMaker Métricas de componentes de inferencia de IA

Al habilitar las métricas mejoradas, estarán disponibles las siguientes dimensiones adicionales:

Frecuencia métrica configurable

Puede configurar el intervalo en el que se publican las métricas CloudWatch. La frecuencia predeterminada es de 60 segundos.

Valores válidos: 10, 30, 60, 120, 180, 240 o 300 segundos.

Si EnableEnhancedMetrics se establece enFalse, esta frecuencia se aplica únicamente a las métricas de uso; las métricas de invocación se siguen publicando en el intervalo predeterminado de 60 segundos. Si se establece enTrue, esta frecuencia se aplica tanto a las métricas de utilización como a las de invocación.

CloudWatch El precio estándar se aplica por métrica y combinación de dimensiones única. Las métricas mejoradas aumentan la cantidad de flujos de métricas porque cada instancia, contenedor y GPU crea combinaciones de dimensiones adicionales. Para obtener más información sobre los precios, consulta CloudWatch los precios de Amazon.

Ejemplos de código: configurar métricas mejoradas

Los siguientes ejemplos muestran cómo crear una configuración de punto final con las métricas mejoradas habilitadas y cómo verificar la configuración.

Cree una configuración de punto final con métricas mejoradas

AWS SDK for Python (Boto3)

ejemplo Cree una configuración de punto final con métricas mejoradas

import boto3

sagemaker_client = boto3.client('sagemaker')

response = sagemaker_client.create_endpoint_config(
    EndpointConfigName='my-enhanced-metrics-config',
    ProductionVariants=[
        {
            'VariantName': 'AllTraffic',
            'ModelName': 'my-model',
            'InstanceType': 'ml.m5.xlarge',
            'InitialInstanceCount': 2,
        }
    ],
    MetricsConfig={
        'EnableEnhancedMetrics': True,
        'MetricPublishFrequencyInSeconds': 60
    }
)

AWS CLI

ejemplo Cree una configuración de punto final con métricas mejoradas

aws sagemaker create-endpoint-config \
    --endpoint-config-name my-enhanced-metrics-config \
    --production-variants file://production-variants.json \
    --metrics-config file://metrics-config.json

Donde metrics-config.json contiene:

{
    "EnableEnhancedMetrics": true,
    "MetricPublishFrequencyInSeconds": 60
}

Verifique la configuración de métricas mejorada

AWS SDK for Python (Boto3)

ejemplo Verifique la configuración de métricas mejorada

response = sagemaker_client.describe_endpoint_config(
    EndpointConfigName='my-enhanced-metrics-config'
)
print(response['MetricsConfig'])
# {'EnableEnhancedMetrics': True, 'MetricPublishFrequencyInSeconds': 60}

response = sagemaker_client.describe_endpoint(
    EndpointName='my-endpoint'
)
print(response['MetricsConfig'])

AWS CLI

ejemplo Verifique la configuración de métricas mejorada

aws sagemaker describe-endpoint-config \
    --endpoint-config-name my-enhanced-metrics-config \
    --query 'MetricsConfig'

aws sagemaker describe-endpoint \
    --endpoint-name my-endpoint \
    --query 'MetricsConfig'