Data log kustom dari CloudWatch Log atau bucket Amazon S3 - Amazon CloudWatch

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Data log kustom dari CloudWatch Log atau bucket Amazon S3

Anda dapat membuat pipeline untuk sumber data kustom menggunakan pendekatan berikut:

  1. CloudWatch Log Kustom - Tentukan pipeline pada grup log CloudWatch kustom Anda yang ada dengan menyediakan:

    • Nama sumber data

    • Tipe sumber data

    Untuk informasi selengkapnya tentang nama dan jenis sumber data, lihat Panduan Pengguna CloudWatch Log.

  2. Sumber Kustom S3 - Memproses log arbitrer yang disimpan dalam bucket S3 dengan mengonfigurasi sumber untuk pipeline:

    source:
  s3:
    aws:
      region: "us-east-1"
      sts_role_arn: "arn:aws:iam::<account>:role/<role-name>"
    compression: "gzip"
    codec:
      ndjson:
    data_source_name: "my_custom_logs"
    default_bucket_owner: "123456789012"
    bucket_owners:
      my-bucket: "123456789012"
    disable_bucket_ownership_validation: false
    notification_type: "sqs"
    sqs:
      queue_url: "https://sqs.region.amazonaws.com/<account>/<queue-name>"
    on_error: "retain_messages"
    catatan

    Prosesor CSV tidak dapat digunakan dengan sumber kustom S3. Sebagai gantinya, gunakan codec CSV di sumber S3.

    Parameter
    notification_type(diperlukan)

    Menentukan mekanisme notifikasi. Harus “sqs” untuk menggunakan SQS untuk pemberitahuan acara S3.

    data_source_name

    Mengidentifikasi sumber data. Ini bisa berupa nilai string apa pun yang mewakili sumber data Anda. Contoh: “my_custom_logs”.

    aws.region(diperlukan)

    AWS Wilayah tempat bucket S3 dan antrean SQS berada.

    aws.sts_role_arn(diperlukan)

    ARN dari peran IAM untuk diasumsikan untuk mengakses sumber daya S3 dan SQS.

    codec(diperlukan)

    Konfigurasi codec untuk mengurai objek S3. Mendukungcsv,json, ndjson codec.

    compression (opsional)

    Jenis kompresi objek S3. Nilai yang valid adalah “tidak ada”, “gzip”, “otomatis”. Default ke “tidak ada”.

    sqs.queue_url(diperlukan untuk SQS)

    URL antrian SQS lengkap yang menerima notifikasi bucket S3 saat objek baru dibuat.

    on_error (opsional)

    Menentukan cara menangani kesalahan di Amazon SQS. Bisa salah satu retain_messages ataudelete_messages. Default-nya adalah retain_messages.

Konfigurasi sumber kustom

Saat membuat pipeline untuk sumber khusus:

  • Parser harus menjadi prosesor pertama dalam pipeline jika sumber datanya adalah CloudWatch Log

  • Anda dapat menentukan prosesor apa pun yang didukung untuk pipeline log kustom