Datos de registro personalizados de Registros de CloudWatch o un bucket de Amazon S3 - Amazon CloudWatch

Datos de registro personalizados de Registros de CloudWatch o un bucket de Amazon S3

Puede crear canalizaciones para orígenes de datos personalizados a través de estos métodos:

  1. Registros personalizados de CloudWatch: para definir las canalizaciones de sus grupos de registro personalizados de CloudWatch existentes, proporcione lo siguiente.

    • Nombre del origen de datos

    • Tipo del origen de datos

    Para obtener más información sobre el tipo y el nombre del origen de datos, consulte la Guía del usuario de Registros de CloudWatch.

  2. Orígenes personalizados de S3: para procesar los registros arbitrarios almacenados en buckets de S3, configure el origen para la canalización:

    source:
  s3:
    aws:
      region: "us-east-1"
      sts_role_arn: "arn:aws:iam::<account>:role/<role-name>"
    compression: "gzip"
    codec:
      ndjson:
    data_source_name: "my_custom_logs"
    default_bucket_owner: "123456789012"
    bucket_owners:
      my-bucket: "123456789012"
    disable_bucket_ownership_validation: false
    notification_type: "sqs"
    sqs:
      queue_url: "https://sqs.region.amazonaws.com/<account>/<queue-name>"
    on_error: "retain_messages"
    nota

    El procesador CSV no se puede usar con orígenes personalizados de S3. En su lugar, utilice el códec CSV en el origen de S3.

    Parameters
    notification_type (obligatorio)

    Especifica el mecanismo de notificación. Debe ser “sqs” para poder usar SQS en las notificaciones de eventos de S3.

    data_source_name

    Identifica el origen de datos. Puede ser cualquier valor de cadena que represente el origen de datos. Por ejemplo: “my_custom_logs”.

    aws.region (obligatorio)

    La región de AWS en la que se encuentran el bucket de S3 y la cola de SQS.

    aws.sts_role_arn (obligatorio)

    El ARN del rol de IAM que se asumirá para acceder a los recursos de S3 y SQS.

    codec (obligatorio)

    Configuración de códecs para analizar objetos de S3. Admite los códecs csv, json y ndjson.

    compression (opcional)

    Tipo de compresión de los objetos de S3. Los valores válidos son “none”, “gzip” y “automatic”. El valor predeterminado es “none”.

    sqs.queue_url (obligatorio para SQS)

    La URL completa de la cola de SQS que recibe las notificaciones del bucket de S3 cuando se crean nuevos objetos.

    on_error (opcional)

    Determina cómo se gestionan los errores en Amazon SQS. Puede ser retain_messages o delete_messages. El valor predeterminado es retain_messages.

Configuración de orígenes personalizados

Al crear una canalización para orígenes personalizadas:

  • Un analizador debe ser el primer procesador de la canalización si el origen de datos es Registros de CloudWatch.

  • Puede especificar cualquier procesador compatible para las canalizaciones de registros personalizadas.