CloudWatch 파이프라인 - Amazon CloudWatch
파이프라인 구성요소가격 책정리전 가용성

CloudWatch 파이프라인

CloudWatch 파이프라인은 AWS 서비스, 서드 파티 애플리케이션 및 사용자 지정 소스에서 CloudWatch로 로그 데이터를 수집, 변환 및 라우팅하는 완전관리형 데이터 수집기입니다. 기본 제공 프로세서를 사용하면 인프라 또는 서드 파티 도구를 관리하지 않고도 로그를 OCSF와 같은 형식으로 보강, 필터링 및 표준화할 수 있습니다.

CloudWatch 파이프라인은 로그 관리 경험과 완벽하게 통합되어 데이터 소스 및 데이터 유형 사양을 통해 관련된 여러 로그 그룹에서 로그 데이터를 일관되게 처리하고 보강할 수 있습니다. 이를 기반으로 다음과 같은 사용 사례를 지원합니다.

  • 자동 로그 분류 - 파이프라인을 통해 처리된 로그에는 데이터 소스 정보로 태그가 자동으로 지정되므로 인프라 전체에서 서비스 중심 검색 및 쿼리를 지원함

  • 서드 파티 지원 확장 - 통합 분석 및 규정 준수를 위해 계속 증가하는 서드 파티 소스 라이브러리에서 로그를 집계하고 정규화함

파이프라인의 출력은 Logs Insights 쿼리, Logs 이상 탐지 및 Live Tail을 포함한 CloudWatch Logs 기능과 완벽하게 호환됩니다. CloudWatch 파이프라인은 Standard 및 Infrequent Access 로그 클래스 모두에서 작동하며, 로그 트랜스포머와 역호환됩니다.

CloudWatch 파이프라인을 시작하려면 CloudWatch 콘솔의 CloudWatch 수집 페이지에서 파이프라인을 방문하세요.

참고

CloudWatch 파이프라인에 적용되는 다음과 같은 제한 사항에 유의해야 합니다.

  • 계정당 허용되는 최대 파이프라인 수: 330개

    • CloudWatch Logs에서 데이터를 수집할 수 있는 최대 파이프라인 수 300개

    • 다른 소스에서 데이터를 수집할 수 있는 최대 파이프라인 수 30개

파이프라인 구성요소

각 파이프라인은 다음과 같은 구성 요소로 이루어집니다.

  • 소스 - 데이터가 시작되는 위치(Amazon S3 버킷, CloudWatch Logs, 서드 파티 통합)를 정의합니다. 각 파이프라인에는 정확히 1개의 소스가 있어야 합니다.

  • 프로세서(선택 사항) - 파이프라인을 통해 로그 데이터가 흐를 때 로그 데이터를 변환, 구문 분석 및 보강합니다. 프로세서는 정의된 순서대로 순차적으로 적용됩니다.

  • 싱크 - 처리된 로그 데이터가 전송되는 대상을 정의합니다. 각 파이프라인에는 정확히 1개의 싱크가 있어야 합니다.

  • 확장(선택 사항) - 자격 증명 관리를 위한 AWS Secrets Manager 통합과 같은 추가 기능을 제공합니다.

전체 파이프라인에서 데이터는 전송 계층 암호화로 보호되므로 보안 및 규정 준수 요구 사항이 충족됩니다.

참고

파이프라인 정의는 암호화되지 않으며 개인 식별 정보(PII) 같은 민감한 데이터를 포함해서는 안 됩니다.

참고

프로세서를 추가하면 로그 이벤트가 변동되며 원본(원시) 로그는 유지되지 않습니다.

가격 책정

CloudWatch 파이프라인은 추가 비용 없이 CloudWatch Logs에 포함됩니다. 로그 클래스(벤딩 또는 사용자 지정) 및 스토리지 클래스(Standard 또는 Infrequent Access)에 기반하여 표준 로그 수집 속도는 계속 적용됩니다. CloudWatch로 데이터를 처음 수집할 때 측정이 수행됩니다. CloudWatch Logs 소스는 파이프라인 처리 전에 측정됩니다. 서드 파티 및 S3 버킷 소스는 사용자 지정 로그로 분류되며 처리 후 측정됩니다. 요금에 대한 자세한 내용은 CloudWatch 요금을 참조하세요.

리전 가용성

CloudWatch 파이프라인은 다음과 같은 AWS 리전에서 사용할 수 있습니다.

  • 미국 동부(오하이오)

  • 미국 동부(버지니아 북부)

  • 미국 서부(캘리포니아 북부)

  • 미국 서부(오리건)

  • 아시아 태평양(홍콩)

  • 아시아 태평양(말레이시아)

  • 아시아 태평양(뭄바이)

  • 아시아 태평양(오사카)

  • 아시아 태평양(서울)

  • 아시아 태평양(싱가포르)

  • 아시아 태평양(시드니)

  • 아시아 태평양(태국)

  • 아시아 태평양(도쿄)

  • 캐나다(중부)

  • 유럽(프랑크푸르트)

  • 유럽(아일랜드)

  • 유럽(런던)

  • 유럽(파리)

  • 유럽(스페인)

  • 유럽(스톡홀름)

  • 남아메리카(상파울루)

참고

서드 파티 데이터 소스 수집은 OpenSearch Ingestion에 API 엔드포인트가 있는 리전에서 사용할 수 있습니다.

자세한 내용은 AWS 일반 참조의 Amazon CloudWatch 엔드포인트 및 할당량 섹션을 참조하세요.

주제