Dados de logs personalizados do CloudWatch Logs ou de um bucket do Amazon S3 - Amazon CloudWatch

Dados de logs personalizados do CloudWatch Logs ou de um bucket do Amazon S3

Você pode criar pipelines para fontes de dados personalizadas usando as seguintes abordagens:

  1. Logs personalizados do CloudWatch: defina pipelines nos grupos de logs personalizados do CloudWatch existentes fornecendo:

    • Um nome de fonte de dados

    • Um tipo de fonte de dados

    Para saber mais sobre nome e tipo de fonte de dados, consulte o Guia do usuário do CloudWatch Logs.

  2. Fontes personalizadas do S3: processe logs arbitrários armazenados em buckets do S3 configurando a fonte para o pipeline:

    source:
  s3:
    aws:
      region: "us-east-1"
      sts_role_arn: "arn:aws:iam::<account>:role/<role-name>"
    compression: "gzip"
    codec:
      ndjson:
    data_source_name: "my_custom_logs"
    default_bucket_owner: "123456789012"
    bucket_owners:
      my-bucket: "123456789012"
    disable_bucket_ownership_validation: false
    notification_type: "sqs"
    sqs:
      queue_url: "https://sqs.region.amazonaws.com/<account>/<queue-name>"
    on_error: "retain_messages"
    nota

    O processador CSV não pode ser usado com fontes personalizadas do S3. Em vez disso, use o codec CSV na fonte do S3.

    Parâmetros
    notification_type (obrigatório)

    Especifica o mecanismo de notificação. Deve ser “sqs” para usar o SQS para notificações de eventos do S3.

    data_source_name

    Identifica a fonte de dados. Pode ser qualquer valor de string que represente a fonte de dados. Exemplo: “my_custom_logs”.

    aws.region (obrigatório)

    A região da AWS na qual o bucket do S3 e a fila do SQS estão localizados.

    aws.sts_role_arn (obrigatório)

    O ARN do perfil do IAM que deve ser assumido para acessar os recursos do S3 e do SQS.

    codec (obrigatório)

    Configuração do Codec para análise de objetos do S3. Compatível com codecs csv, json e ndjson.

    compression (opcional)

    Tipo de compactação dos objetos do S3. Os valores válidos são “none”, “gzip”, “automatic”. O padrão é “none”.

    sqs.queue_url (obrigatório para o SQS)

    O URL completo da fila do SQS que recebe notificações de buckets do S3 quando novos objetos são criados.

    on_error (opcional)

    Determina como lidar com erros no Amazon SQS. Pode ser retain_messages ou delete_messages. O padrão é retain_messages.

Configuração da fonte de dados

Ao criar um pipeline para fontes personalizadas:

  • Um analisador deverá ser o primeiro processador no pipeline se a fonte de dados for o CloudWatch Logs

  • Para pipelines de logs personalizados, você pode especificar qualquer processador compatível