Prevenção de repetição de logs - Amazon CloudWatch Logs

Prevenção de repetição de logs

Existe o risco de causar uma repetição infinita de logs com filtros de assinatura, que, se não for resolvida, poderá levar a um grande aumento nos custos de ingestão tanto no CloudWatch quanto no destino. Isso pode ocorrer quando um filtro de assinatura é associado a um grupo de logs que recebe eventos de log como resultado do fluxo de trabalho de entrega da assinatura. Os logs ingeridos no grupo de logs serão entregues ao destino, fazendo com que o grupo de logs ingira mais logs, que serão então encaminhados novamente para o destino, criando um loop recursivo.

Por exemplo, considere um filtro de assinatura com o destino Firehose, que entrega eventos de log para o Amazon S3. Além disso, existe também uma função do Lambda que processa os novos eventos entregues ao Amazon S3 e que também produz alguns logs. Se o filtro de assinatura for aplicado ao grupo de logs da função do Lambda, os eventos de log produzidos pela função serão encaminhados para o Firehose e o Amazon S3 no destino, que então invocarão a função novamente, fazendo com que mais logs sejam produzidos e encaminhados para o Firehose e o Amazon S3, causando outra invocação da função e assim por diante. Isso ocorrerá em um loop infinito, levando a um aumento inesperado nas faturas de ingestão de logs, do Firehose e do Amazon S3.

Se a função do Lambda estiver anexada a uma VPC com logs de fluxo habilitados para o CloudWatch Logs, o grupo de logs da VPC também poderá causar uma repetição de logs.

Recomendamos que você não aplique filtros de assinatura a grupos de logs que fizerem parte do seu fluxo de trabalho de entrega de assinatura. Para filtros de assinatura ao nível da conta, use o parâmetro selectionCriteria na API PutAccountPolicy para excluir esses grupos de logs da política.

Ao excluir grupos de logs, leve em conta os seguintes serviços AWS que produzem logs e podem fazer parte dos fluxos de trabalho de entrega de assinatura:

  • Amazon EC2 com Fargate

  • Lambda

  • AWS Step Functions

  • Logs de fluxo da Amazon VPC habilitados para o CloudWatch Logs

nota

Eventos de log produzidos por um grupo de logs de um destino do Lambda não serão encaminhados de volta para a função do Lambda para uma política de filtro de assinatura ao nível da conta. Nesse caso, não é necessário excluir o grupo de logs da função do Lambda usando o selectionCriteria para políticas de assinaturas de contas.