As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Métricas aprimoradas da Amazon SageMaker AI para endpoints de inferência

As métricas aprimoradas fornecem dados de monitoramento em nível de instância e de contêiner para endpoints em tempo real da Amazon AI. SageMaker Quando você ativa métricas aprimoradas, as CloudWatch métricas da Amazon podem incluir InstanceIdContainerId, e AcceleratorId dimensões (a disponibilidade varia de acordo com o namespace) para visibilidade granular por instância, por contêiner e por GPU. Métricas aprimoradas estão disponíveis para endpoints de modelo único e componentes de inferência. Multi-Container Os endpoints (MCE) oferecem suporte a métricas aprimoradas em nível de instância, mas não a métricas em nível de contêiner.

Principais características das métricas aprimoradas:

Habilitando métricas aprimoradas

Você ativa as métricas aprimoradas definindo EnableEnhancedMetrics MetricsConfigcomo True no parâmetro ao chamar a CreateEndpointConfigAPI.

O MetricsConfig parâmetro tem os seguintes campos:

Para habilitar métricas aprimoradas em um endpoint existente, crie uma nova configuração de endpoint com as MetricsConfig configurações desejadas e, em seguida, chame UpdateEndpointcom o novo nome da configuração do endpoint. Isso aciona uma blue/green implantação contínua. As métricas aprimoradas não aparecem até que a implantação seja concluída. O mesmo processo se aplica ao alterar MetricsConfig as configurações em um endpoint já configurado.

Quando você configuraMetricsConfig, ambos DescribeEndpointe DescribeEndpointConfigretorna MetricsConfig na resposta.

Quando você ativa métricas aprimoradas, a SageMaker IA adiciona dimensões adicionais às métricas em três CloudWatch namespaces: /aws/sagemaker/Endpoints para métricas de utilização, AWS/SageMaker métricas de invocação e métricas de utilização de componentes /aws/sagemaker/InferenceComponents de inferência.

Instance-level métricas de utilização

O /aws/sagemaker/Endpoints namespace inclui métricas de utilização para todos os endpoints em tempo real, incluindo aqueles que usam componentes de inferência. Quando você ativa as métricas aprimoradas, as dimensões InstanceId e AcceleratorId (somente métricas da GPU) ficam disponíveis junto com as dimensões de namespace existentes. Para obter uma lista completa de métricas e dimensões, consulteSageMaker Métricas de endpoint de IA.

Quando você ativa as métricas aprimoradas, as seguintes dimensões adicionais estão disponíveis:

Métricas de invocação em nível de instância e contêiner

O AWS/SageMaker namespace inclui métricas de invocação. Quando você ativa as métricas aprimoradas, as dimensões InstanceId e ContainerId (somente componentes de inferência) ficam disponíveis junto com as dimensões de namespace existentes. Para obter uma lista completa de métricas e dimensões, consulteSageMaker Métricas de invocação de endpoints de IA.

Quando você ativa as métricas aprimoradas, as seguintes dimensões adicionais estão disponíveis:

Container-level métricas de utilização

O /aws/sagemaker/InferenceComponents namespace inclui métricas de utilização para endpoints que usam componentes de inferência. Quando você ativa as métricas aprimoradas, as dimensões InstanceIdContainerId, e AcceleratorId (somente métricas da GPU) ficam disponíveis junto com as dimensões de namespace existentes. Para obter uma lista completa de métricas e dimensões, consulteSageMaker Métricas do componente de inferência de IA.

Quando você ativa as métricas aprimoradas, as seguintes dimensões adicionais estão disponíveis:

Frequência métrica configurável

Você pode configurar o intervalo no qual as métricas são publicadas CloudWatch. A frequência padrão é de 60 segundos.

Valores válidos: 10, 30, 60, 120, 180, 240 ou 300 segundos.

Quando EnableEnhancedMetrics definida comoFalse, essa frequência se aplica somente às métricas de utilização; as métricas de invocação continuam sendo publicadas no intervalo padrão de 60 segundos. Quando definida comoTrue, essa frequência se aplica às métricas de utilização e invocação.

CloudWatch O preço padrão se aplica por métrica por combinação única de dimensões. As métricas aprimoradas aumentam o número de fluxos de métricas porque cada instância, contêiner e GPU cria combinações de dimensões adicionais. Para obter detalhes sobre preços, consulte os CloudWatch preços da Amazon.

Exemplos de código: configure métricas aprimoradas

Os exemplos a seguir mostram como criar uma configuração de endpoint com métricas aprimoradas ativadas e como verificar a configuração.

Crie uma configuração de endpoint com métricas aprimoradas

AWS SDK for Python (Boto3)

exemplo Crie uma configuração de endpoint com métricas aprimoradas

import boto3

sagemaker_client = boto3.client('sagemaker')

response = sagemaker_client.create_endpoint_config(
    EndpointConfigName='my-enhanced-metrics-config',
    ProductionVariants=[
        {
            'VariantName': 'AllTraffic',
            'ModelName': 'my-model',
            'InstanceType': 'ml.m5.xlarge',
            'InitialInstanceCount': 2,
        }
    ],
    MetricsConfig={
        'EnableEnhancedMetrics': True,
        'MetricPublishFrequencyInSeconds': 60
    }
)

AWS CLI

exemplo Crie uma configuração de endpoint com métricas aprimoradas

aws sagemaker create-endpoint-config \
    --endpoint-config-name my-enhanced-metrics-config \
    --production-variants file://production-variants.json \
    --metrics-config file://metrics-config.json

Onde metrics-config.json contém:

{
    "EnableEnhancedMetrics": true,
    "MetricPublishFrequencyInSeconds": 60
}

Verifique a configuração aprimorada das métricas

AWS SDK for Python (Boto3)

exemplo Verifique a configuração aprimorada das métricas

response = sagemaker_client.describe_endpoint_config(
    EndpointConfigName='my-enhanced-metrics-config'
)
print(response['MetricsConfig'])
# {'EnableEnhancedMetrics': True, 'MetricPublishFrequencyInSeconds': 60}

response = sagemaker_client.describe_endpoint(
    EndpointName='my-endpoint'
)
print(response['MetricsConfig'])

AWS CLI

exemplo Verifique a configuração aprimorada das métricas

aws sagemaker describe-endpoint-config \
    --endpoint-config-name my-enhanced-metrics-config \
    --query 'MetricsConfig'

aws sagemaker describe-endpoint \
    --endpoint-name my-endpoint \
    --query 'MetricsConfig'