CloudWatch Logs 또는 Amazon S3 버킷의 사용자 지정 로그 데이터 - Amazon CloudWatch

CloudWatch Logs 또는 Amazon S3 버킷의 사용자 지정 로그 데이터

다음과 같은 접근 방식을 사용하여 사용자 지정 데이터 소스에 대한 파이프라인을 생성할 수 있습니다.

  1. CloudWatch 사용자 지정 로그 - 아래 정보를 제공하여 기존 CloudWatch 사용자 지정 로그 그룹에서 파이프라인을 정의합니다.

    • 데이터 소스 이름

    • 데이터 소스 유형

    데이터 소스 이름 및 유형에 대한 자세한 내용은 CloudWatch Logs 사용 설명서를 참조하세요.

  2. S3 사용자 지정 소스 - 파이프라인의 소스를 구성하여 S3 버킷에 저장된 임의의 로그를 처리합니다.

    source:
  s3:
    aws:
      region: "us-east-1"
      sts_role_arn: "arn:aws:iam::<account>:role/<role-name>"
    compression: "gzip"
    codec:
      ndjson:
    data_source_name: "my_custom_logs"
    default_bucket_owner: "123456789012"
    bucket_owners:
      my-bucket: "123456789012"
    disable_bucket_ownership_validation: false
    notification_type: "sqs"
    sqs:
      queue_url: "https://sqs.region.amazonaws.com/<account>/<queue-name>"
    on_error: "retain_messages"
    참고

    CSV 프로세서는 S3 사용자 지정 소스와 함께 사용할 수 없습니다. 그 대신, S3 소스에서 CSV 코덱을 사용하세요.

    파라미터
    notification_type(필수)

    알림 메커니즘을 지정합니다. S3 이벤트 알림에 대해 SQS를 사용하려면 'sqs'여야 합니다.

    data_source_name

    데이터 소스를 식별합니다. 이는 데이터 소스를 나타내는 모든 문자열 값일 수 있습니다. 예: "my_custom_logs".

    aws.region(필수)

    S3 버킷과 SQS 대기열이 있는 AWS 리전입니다.

    aws.sts_role_arn(필수)

    S3 및 SQS 리소스에 액세스하기 위해 부여할 IAM 역할의 ARN입니다.

    codec(필수)

    S3 객체를 구문 분석하기 위한 코덱 구성입니다. csv, json, ndjson 코덱을 지원합니다.

    compression (선택 사항)

    S3 객체의 압축 유형입니다. 유효한 값은 'none', 'gzip', 'automatic'입니다. 기본값은 'none'입니다.

    sqs.queue_url(SQS의 경우 필수)

    새 객체가 생성될 경우 S3 버킷 알림을 수신하는 전체 SQS 대기열 URL입니다.

    on_error (선택 사항)

    Amazon SQS에서 오류를 처리하는 방법을 결정합니다. retain_messages 또는 delete_messages입니다. 기본값은 retain_messages입니다.

사용자 지정 소스 구성

사용자 지정 소스에 대한 파이프라인을 생성할 경우:

  • 데이터 소스가 CloudWatch Logs인 경우, 파서가 파이프라인의 첫 번째 프로세서여야 합니다.

  • 사용자 지정 로그 파이프라인에 지원되는 프로세서를 지정할 수 있습니다.