Métricas de contêiner, fila e banco de dados para Amazon MWAA - Amazon Managed Workflows for Apache Airflow

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Métricas de contêiner, fila e banco de dados para Amazon MWAA

Além das métricas do Apache Airflow, você pode monitorar os componentes subjacentes dos seus fluxos de trabalho gerenciados da Amazon para CloudWatch ambientes Apache Airflow usando, que coleta dados brutos e processa dados em métricas legíveis, quase em tempo real. Com essas métricas de ambiente, você terá maior visibilidade dos principais indicadores de desempenho para ajudá-lo a dimensionar adequadamente seus ambientes e depurar problemas com seus fluxos de trabalho. Essas métricas se aplicam a todas as versões compatíveis do Apache Airflow no Amazon MWAA.

O Amazon MWAA fornecerá utilização de CPU e memória para cada contêiner do Amazon Elastic Container Service (Amazon ECS) e instância do Amazon Aurora PostgreSQL, e métricas do Amazon Simple Queue Service (Amazon SQS) para o número de mensagens e a idade da mensagem mais antiga, métricas do Amazon Relational Database Service (Amazon RDS) para conexões de banco de dados, profundidade da fila de disco, operações de gravação, latência e throughput, além de métricas do Amazon RDS Proxy. Essas métricas também incluem o número de trabalhadores básicos, trabalhadores adicionais, agendadores e servidores web.

Essas estatísticas são mantidas por 15 meses, para que você possa acessar informações históricas e obter uma perspectiva melhor sobre por que um agendamento está falhando e solucionar problemas subjacentes. Você também pode definir alarmes que monitorem determinados limites e enviem notificações ou tomem medidas quando esses limites forem atingidos. Para obter mais informações, consulte o Guia do CloudWatch usuário da Amazon.

Termos

Namespace

Um namespace é um contêiner para as CloudWatch métricas de um AWS serviço. Para o Amazon MWAA, o namespace é AWS/MWAA.

CloudWatch métricas

Uma CloudWatch métrica representa um conjunto ordenado por tempo de pontos de dados específicos de CloudWatch.

Dimensão

Uma dimensão é um name/value par que faz parte da identidade de uma métrica.

Unidade

Uma estatística tem uma unidade de medida. Para o Amazon MWAA, as unidades incluem Contagem.

Dimensões

Esta seção descreve o agrupamento de CloudWatch dimensões para as métricas do Amazon MWAA em. CloudWatch

Dimensão Description

Cluster

Métricas para o mínimo de três contêineres do Amazon ECS que um ambiente do Amazon MWAA usa para executar componentes do Apache Airflow: programador, trabalhador e servidor Web.

Fila

Métricas para as filas do Amazon SQS que separam o agendador dos operadores. Quando os operadores leem as mensagens, elas são consideradas em trânsito e não estão disponíveis para outros operadores. As mensagens ficam disponíveis para que outros trabalhadores as leiam se não forem excluídas antes do tempo limite de visibilidade de 12 horas.

Banco de dados

Métricas dos clusters Aurora usados pelo Amazon MWAA. Ele inclui métricas para a instância primária do banco de dados e uma réplica de leitura para dar suporte às operações de leitura. O Amazon MWAA publica métricas de banco de dados para as instâncias READER e WRITER.

Acessando métricas no CloudWatch console

Esta seção descreve como acessar suas métricas do Amazon MWAA em. CloudWatch

Para acessar métricas de desempenho de uma dimensão
  1. Abra a página Métricas no CloudWatch console.

  2. Selecione seu Região da AWS.

  3. Escolha o namespace AWS/MWAA.

  4. Na guia Todas as métricas, escolha uma dimensão. Por exemplo, Cluster.

  5. Escolha uma CloudWatch métrica para uma dimensão. Por exemplo, NumSchedulers ou CPUUtilization. Em seguida, escolha Representar graficamente todos os resultados da pesquisa.

  6. Escolha a guia Métricas representadas graficamente para acessar as métricas de desempenho.

Lista de métricas

As tabelas a seguir listam as métricas de cluster, fila e serviço de banco de dados para o Amazon MWAA. Para acessar as descrições das métricas emitidas diretamente do Amazon ECS, Amazon SQS ou Amazon RDS, escolha o respectivo link da documentação.

Métricas de cluster

As métricas a seguir se aplicam a cada agendador, operador base, operador adicional e servidor web. Para obter mais informações e descrições de cada métrica de cluster, consulte Métricas e dimensões disponíveis no Amazon ECS Developer Guide.

Namespace Métrica Unidade

AWS/MWAA

CPUUtilization

Percentual

AWS/MWAA

MemoryUtilization

Percentual

Avaliação do número de contêineres adicionais de trabalhadores e servidores web

Você pode usar as métricas de componentes fornecidas na dimensão Cluster, conforme descrito no procedimento a seguir, para avaliar quantos trabalhadores ou servidores web adicionais um ambiente está usando em um determinado momento. Você pode fazer isso representando graficamente a métrica CPUUtilizationou a MemoryUtilizationmétrica e definindo o tipo de estatística como Contagem de amostras. O valor resultante é o número total de tarefas RUNNING do componente AdditionalWorker. Compreender o número de instâncias de trabalho adicionais utilizadas pelo seu ambiente pode ajudá-lo a avaliar como seu ambiente é escalável e você pode usar para otimizar o número de trabalhadores adicionais.

Workers
Para avaliar o número de trabalhadores adicionais usando o the console
  1. Escolha o namespace AWS/MWAA.

  2. Na guia Todas as métricas, escolha a dimensão Cluster.

  3. Na dimensão Cluster, para o AdditionalWorker, escolha a métrica CPUUtilizationou a MemoryUtilizationmétrica.

  4. Na guia Métricas em gráfico, configure o Período para 1 minuto e Estatística para Contagem de amostras.

webservers
Para avaliar o número de servidores web adicionais usando o the console
  1. Escolha o namespace AWS/MWAA.

  2. Na guia Todas as métricas, escolha a dimensão Cluster.

  3. Na dimensão Cluster, para o AdditionalWebservers, escolha a métrica CPUUtilizationou a MemoryUtilizationmétrica.

  4. Na guia Métricas em gráfico, configure o Período para 1 minuto e Estatística para Contagem de amostras.

Para obter mais informações, consulte a contagem de RUNNING tarefas do serviço no Amazon Elastic Container Service Developer Guide.

Métricas de banco de dados

As métricas a seguir se aplicam a cada instância do banco de dados associada ao ambiente do Amazon MWAA.

Namespace Métrica Unidade

AWS/MWAA

CPUUtilization

Percentual

AWS/MWAA

DatabaseConnections

Contagem

AWS/MWAA

DiskQueueDepth

Contagem

AWS/MWAA

FreeableMemory

Bytes

AWS/MWAA

VolumeWriteIOPS

Contagem a cada cinco minutos

AWS/MWAA

WriteIOPS

Contagem por segundo

AWS/MWAA

WriteLatency

Segundos

AWS/MWAA

WriteThroughput

Bytes por segundo

Métricas de fila

Para obter mais informações sobre unidades e descrições das seguintes métricas de fila, consulte Métricas disponíveis CloudWatch para o Amazon SQS no Guia do desenvolvedor do Amazon Simple Queue Service.

Namespace Métrica Unidade

AWS/MWAA

ApproximateAgeOfOldestTask

Segundos

AWS/MWAA

RunningTasks

Contagem

AWS/MWAA

QueuedTasks

Contagem

Métricas do Application Load Balancer

As métricas do Application Load Balancer se aplicam aos servidores Web em execução no seu ambiente. O Amazon MWAA usa essas métricas para escalar os servidores Web com base na quantidade de tráfego. Para obter mais informações sobre unidades e descrições das seguintes métricas do balanceador de carga, consulte as métricas do seu Application Load Balancer no Guia do Usuário do Application Load Balancers. CloudWatch

Namespace Métrica Unidade

AWS/MWAA

ActiveConnectionCount

Contagem