CloudWatch 파이프라인 - Amazon CloudWatch

CloudWatch 파이프라인

원격 분석 파이프라인은 다양한 소스에서 다양한 대상으로 로그, 지표, 트레이스 같은 데이터를 수집, 처리, 라우팅합니다. CloudWatch 파이프라인은 AWS 서비스, 서드 파티 애플리케이션, 사용자 지정 소스에서 데이터를 수집하는 중앙 집중화된 방식을 제공합니다. 파이프라인은 풍부한 프로세서 세트를 사용하여 데이터를 처리하고 변환하며, 데이터를 OCSF(Open Cybersecurity Schema Framework) 같은 표준 형식으로 변환하고, 처리된 데이터를 CloudWatch Logs로 라우팅합니다.

AWS 서비스, 타사 애플리케이션 및 자체 사용자 지정 소스를 비롯한 다양한 소스에서 데이터를 수집할 수 있습니다. 그런 다음 형식을 표준화하고, 불필요한 정보를 필터링하고, 추가 컨텍스트로 데이터를 보강할 수 있는 프로세서를 사용하여 이 데이터를 처리하고 변환합니다. 이를 통해 다양한 데이터 형식을 OCSF 같은 표준화된 스키마로 변환하여 모든 데이터 소스 전체에서 통합 분석을 수행할 수 있습니다.

전체 파이프라인에서 데이터는 전송 계층 암호화로 보호되므로 보안 및 규정 준수 요구 사항이 충족됩니다.

참고

파이프라인을 구성할 경우 파이프라인 정의는 암호화되지 않으며 개인 식별 정보(PII) 같은 민감한 데이터를 포함해서는 안 됩니다.

각 파이프라인은 세 가지 주요 구성 요소로 구성됩니다.

  1. 소스 - 데이터의 출처(AWS 서비스, 서드 파티 애플리케이션 또는 사용자 지정 소스)를 정의합니다.

  2. 프로세서 - 선택적으로 데이터를 변환, 필터링 또는 보강하는 방법을 구성합니다.

    참고

    프로세서를 추가하면 로그 이벤트가 변동되며 원본(원시) 로그는 유지되지 않습니다.

  3. 싱크 - 처리된 데이터를 전송할 위치를 지정합니다.

CloudWatch 파이프라인을 시작하려면:

  1. AWS Management Console에 로그인합니다.

  2. CloudWatch로 이동합니다.

  3. 탐색 패널에서 수집을 선택한 다음 파이프라인 탭을 선택합니다.

  4. [파이프라인 생성]을 선택합니다.

참고

CloudWatch 파이프라인에 적용되는 다음과 같은 제한 사항에 유의해야 합니다.

  • 계정당 허용되는 최대 파이프라인 수: 330개

    • CloudWatch Logs에서 데이터를 수집할 수 있는 최대 파이프라인 수 300개

    • 다른 소스에서 데이터를 수집할 수 있는 최대 파이프라인 수 30개

CloudWatch 파이프라인 기능은 기존 CloudWatch Logs 데이터 수집 요금에 포함되어 추가 비용 없이 제공되며 수집 시 측정이 이루어집니다.

판매 로그 및 사용자 지정 로그에는 기존 로그 클래스 수집 요금이 적용됩니다. 예를 들어 사용자 지정 표준 클래스 로그 30GB를 수집한 후 이를 파이프라인을 통해 처리할 경우 로그 수집에 대해 월 15 USD의 비용이 발생합니다. 자주 액세스하지 않는 사용자 지정 로그를 수집하고 처리할 경우 월 7.50 USD가 청구됩니다. 로그 데이터 수집 요금에 대한 자세한 내용은 CloudWatch 요금을 참조하세요.

3P 커넥터 소스 또는 S3 버킷 커넥터를 통한 데이터 수집은 사용자 지정 로그 수집으로 분류되며 사용자 지정 로그 데이터 수집 요금을 따릅니다. CloudWatch로 데이터를 수집하는 시점에 측정이 이루어집니다. 3P 커넥터 소스 또는 S3 버킷 커넥터를 통한 수집은 처리 후 측정됩니다. 판매 및 사용자 지정 CloudWatch 로그 소스를 비롯한 CloudWatch 파이프라인 소스 측정은 파이프라인을 통해 처리하기 전에 로그를 처음 수신했을 때 이루어집니다.

CloudWatch 파이프라인은 아래의 AWS 리전에서 사용할 수 있습니다.

참고

서드 파티 데이터 소스 수집은 OpenSearch Ingestion에 API 엔드포인트가 있는 리전에서 사용할 수 있습니다.

  • 미국 동부(오하이오)

  • 미국 동부(버지니아 북부)

  • 미국 서부(캘리포니아 북부)

  • 미국 서부(오리건)

  • 아시아 태평양(홍콩)

  • 아시아 태평양(말레이시아)

  • 아시아 태평양(뭄바이)

  • 아시아 태평양(오사카)

  • 아시아 태평양(서울)

  • 아시아 태평양(싱가포르)

  • 아시아 태평양(시드니)

  • 아시아 태평양(태국)

  • 아시아 태평양(도쿄)

  • 캐나다(중부)

  • 유럽(프랑크푸르트)

  • 유럽(아일랜드)

  • 유럽(런던)

  • 유럽(파리)

  • 유럽(스페인)

  • 유럽(스톡홀름)

  • 남아메리카(상파울루)

자세한 내용은 AWS 일반 참조의 Amazon CloudWatch 엔드포인트 및 할당량 섹션을 참조하세요.

주제