View a markdown version of this page

파이프라인 생성 - Amazon CloudWatch
로그 파이프라인 생성지표 파이프라인 생성

파이프라인 생성

CloudWatch 파이프라인은 로그 및 지표 데이터 모두에 대한 파이프라인 생성을 지원합니다. 다음 섹션에서는 각 유형의 파이프라인을 생성하는 방법을 설명합니다.

로그 파이프라인 생성

파이프라인 구성 마법사는 로그 데이터 파이프라인을 생성하는 방법을 안내합니다.

  1. 일반 설정에서 소스 이름 및 유형을 비롯한 데이터 소스 세부 정보를 제공합니다. 파이프라인 태그 및 파이프라인의 이름을 지정할 수도 있습니다.

  2. 대상에서 대상 세부 정보를 지정합니다. 로그 파이프라인의 경우 CloudWatch Logs만 지원되는 대상입니다. 지표 파이프라인의 경우 CloudWatch Metrics만 지원되는 대상입니다.

  3. 프로세서에서 원하는 프로세서 및 파서를 추가합니다. 파서는 특정 데이터 유형에 필요한 첫 번째 단계입니다. Grok 또는 CSV 같은 프로세서를 사용하여 사용자 지정 구문 분석을 수행할 수 있습니다. 조회 프로세서를 사용하여 Amazon CloudWatch Logs 조회 테이블의 데이터로 로그 이벤트를 보강할 수 있습니다. 데이터 유형에서 지원하지 않는 프로세서는 비활성화됩니다.

    자연어를 사용하여 프로세서를 구성하려면 AI 지원 토글을 활성화합니다. 필요한 로그 변환의 설명을 입력하면 CloudWatch 파이프라인이 프로세서 구성을 자동으로 생성합니다. AWS 벤딩 로그의 경우 배포 전에 출력을 확인할 수 있도록 샘플 로그 이벤트도 생성됩니다. 파이프라인 생성 전에 생성된 구성을 검토하고 편집할 수 있습니다.

    중요

    AI 지원 프로세서 구성을 사용하려면 logs:GeneratePipeline IAM 권한이 있어야 합니다. 자세한 내용은 AI 지원 프로세서 구성 권한 섹션을 참조하세요.

    when 파라미터를 사용하여 지원되는 프로세서에 조건부 처리 규칙을 추가할 수도 있습니다. 조건부 처리를 사용하면 프로세서가 작동하는 로그 항목을 제어할 수 있습니다. 표현식 구문 및 지원되는 프로세서는 조건부 처리를 위한 표현식 구문 섹션을 참조하세요.

    감사 또는 규정 준수를 위해 로그 데이터의 수정되지 않은 사본을 보존하려면 원본 로그 유지 토글을 활성화합니다. 활성화되면 CloudWatch 파이프라인은 변환이 발생하기 전에 각 원시 로그 이벤트의 사본을 이벤트의 @original_message 시스템 필드에 자동으로 저장합니다. 이를 통해 프로세서가 로그 이벤트를 수정한 후에도 감사 또는 조사에 원본 데이터가 항상 제공됩니다. 원본 로그 유지 토글은 CloudWatch 벤딩 로그 소스가 있는 파이프라인에서만 사용할 수 있습니다.

  4. 미리 보기 및 생성에서 파이프라인 구성을 검토합니다. 구성에 만족하는 경우 파이프라인 생성을 선택하여 파이프라인 리소스의 배포 및 생성을 시작합니다. 파이프라인 생성이 완료되려면 소스 유형에 따라 최대 5분 정도 걸립니다. 완료되면 Ingestion 콘솔의 파이프라인 탭으로 이동합니다.

중요

파이프라인 프로세서 구성은 감사 및 규정 준수를 위해 AWS CloudTrail 이벤트에 로깅됩니다. 민감한 정보를 보호하려면 암호, API 키 또는 기타 민감한 정보를 프로세서 구성에 포함해서는 안 됩니다.

지표 파이프라인 생성

CloudWatch 콘솔 또는 AWS CLI를 사용하여 지표 파이프라인을 생성할 수 있습니다. 지표 파이프라인을 사용하면 CloudWatch 지표 데이터를 처리하고, 변환을 적용하고, 처리된 지표를 CloudWatch에 전달할 수 있습니다.

지표 파이프라인을 생성하려면(콘솔)

다음 절차에 따라 CloudWatch 콘솔에서 지표 파이프라인을 생성합니다.

  1. CloudWatch 콘솔을 열고 탐색 창에서 수집, 파이프라인을 선택합니다.

  2. [파이프라인 생성]을 선택합니다.

  3. 소스 유형에서 CloudWatch Metrics(OTel)를 선택합니다.

  4. 파이프라인이 처리하는 지표를 지정하도록 선택 기준을 구성합니다. 선택 기준은 resource.attributes, metric.name 및 datapoint.attributes와 같은 OTel 속성 경로를 사용합니다. 모든 기준은 AND 시맨틱을 사용합니다(모두 일치해야 함).

  5. 프로세서에서 최대 20개의 프로세서를 추가하여 지표 데이터를 변환합니다.

  6. 검토 및 생성에서 파이프라인 구성을 검토하고 파이프라인 생성을 선택합니다.

지표 파이프라인을 생성하려면(AWS CLI)

create-telemetry-pipeline 명령을 사용하여 AWS CLI에서 지표 파이프라인을 생성합니다.

aws observabilityadmin create-telemetry-pipeline \
    --pipeline-configuration-body file://config.yaml

다음 예제에서는 소스, 프로세서 및 싱크로 구성 지표 파이프라인을 정의하는 YAML 구성 파일을 보여줍니다.

pipeline:
  source:
    cloudwatch_metrics:
      format: otlp
      selection_criteria:
        - match_all:
            - 'resource.attributes["service.name"] == "payment-service"'
            - 'metric.name == "http.server.request.duration"'
  processor:
    - add_attributes:
        attributes:
          - key: resource.attributes["team"]
            value: "platform-engineering"
  sink:
    - cloudwatch_metrics: {}

파이프라인이 생성되면 다음 형식의 ARN이 반환됩니다.

arn:aws:observabilityadmin:region:accountId:telemetry-pipeline/pipelineID
참고

CloudWatch Metrics는 지표 파이프라인에 대해 지원되는 유일한 대상입니다.

지원되는 API 작업

다음 표에는 지표 파이프라인을 관리하는 데 사용할 수 있는 API 작업이 나열되어 있습니다.

연산 설명
CreateTelemetryPipeline 새 지표 파이프라인을 생성합니다.
GetTelemetryPipeline 특정 지표 파이프라인에 대한 세부 정보를 검색합니다.
ListTelemetryPipelines 계정의 모든 지표 파이프라인을 나열합니다.
DeleteTelemetryPipeline 지표 파이프라인을 삭제합니다.
ValidateTelemetryPipelineConfiguration 생성 전에 파이프라인 구성을 검증합니다.
UpdateTelemetryPipeline 기존 지표 파이프라인 구성을 업데이트합니다.