Alarmes e logs para rastrear métricas de endpoints com tecnologia sem servidor - SageMaker IA da Amazon

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Alarmes e logs para rastrear métricas de endpoints com tecnologia sem servidor

Para monitorar seu endpoint sem servidor, você pode usar os alarmes do Amazon CloudWatch. O CloudWatch é um serviço que coleta métricas em tempo real de suas aplicações e recursos da AWS. Um alarme monitora as métricas à medida que elas são coletadas e oferece a capacidade de pré-especificar um limite e as ações a serem tomadas se esse limite for violado. Por exemplo, seu alarme do CloudWatch pode enviar uma notificação se seu endpoint ultrapassar um limite de erro. Ao configurar os alarmes do CloudWatch, você ganha visibilidade do desempenho e da funcionalidade do seu endpoint. Para obter mais informações sobre alarmes do CloudWatch, consulte Usando alarmes do Amazon CloudWatch, no Guia do usuário do Amazon CloudWatch.

Monitoramento com CloudWatch

As métricas abaixo são uma lista completa de métricas para endpoints sem servidor. Qualquer métrica não listada abaixo não é publicada para endpoints sem servidor. Para ter mais informações sobre as métricas a seguir, consulte Monitor Amazon SageMaker AI with Amazon CloudWatch.

Métricas gerais de endpoint

Essas métricas do CloudWatch são as mesmas publicadas para endpoints em tempo real.

A métrica OverheadLatency rastreia toda a latência adicional que o SageMaker AI adicionou, que inclui o tempo de início a frio para o lançamento de novos recursos de computação para seu endpoint sem servidor. Em comparação com os endpoints sem servidor sob demanda, a OverheadLatency para endpoints sem servidor com simultaneidade provisionada geralmente é significativamente menor.

Os endpoints sem servidor também podem usar as métricas Invocations4XXErrors, Invocations5XXErrors, Invocations, ModelLatency, ModelSetupTime e MemoryUtilization. Para saber mais sobre essas métricas, consulte SageMaker Métricas de invocação de endpoints de IA.

Métricas gerais de endpoint de tecnologia sem servidor

Essas métricas do CloudWatch são publicadas tanto para endpoints sem servidor sob demanda quanto para endpoints sem servidor com simultaneidade provisionada.

Nome da métrica Descrição Unidade/Estatísticas
ServerlessConcurrentExecutionsUtilization O número de execuções simultâneas dividido pela simultaneidade máxima.

Unidades: nenhuma

Estatísticas válidas: média, máx. e mín.

Endpoint sem servidor com métrica de simultaneidade provisionada

Essas métricas do CloudWatch são publicadas para endpoints sem servidor com simultaneidade provisionada.

Nome da métrica Descrição Unidade/Estatísticas
ServerlessProvisionedConcurrencyExecutions O número de execuções simultâneas que estão sendo processadas pelo endpoint.

Unidades: contagem

Estatísticas válidas: média, máx. e mín.

ServerlessProvisionedConcurrencyUtilization O número de execuções simultâneas dividido pela simultaneidade provisionada alocada.

Unidades: nenhuma

Estatísticas válidas: média, máx. e mín.

ServerlessProvisionedConcurrencyInvocations O número de solicitações InvokeEndpoint tratadas pela simultaneidade provisionada.

Unidades: contagem

Estatísticas válidas: média, máx. e mín.

ServerlessProvisionedConcurrencySpilloverInvocations O número de solicitações InvokeEndpoint não tratadas pela simultaneidade provisionada, que é tratada pela Inferência Sem Servidor sob demanda.

Unidades: contagem

Estatísticas válidas: média, máx. e mín.

Logs

Se você quiser monitorar os logs do seu endpoint para depuração ou análise de progresso, você pode usar o Amazon CloudWatch Logs. O grupo de logs fornecido pelo SageMaker AI que você pode usar para endpoints sem servidor é /aws/sagemaker/Endpoints/[EndpointName]. Para ter mais informações sobre como usar o CloudWatch Logs no SageMaker AI, consulte CloudWatch Registros para Amazon SageMaker AI. Para saber mais sobre o CloudWatch Logs, consulte O que é o Amazon CloudWatch Logs? no Guia do usuário do Amazon CloudWatch Logs.