데이터 소스 검색 및 관리 - Amazon CloudWatch Logs
CloudWatch Logs 데이터 소스란 무엇입니까?시작하는 방법시스템 필드데이터 원본 액세스로그 그룹과의 관계

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

데이터 소스 검색 및 관리

CloudWatch Logs는 데이터 소스 및 유형별로 로그 데이터를 자동으로 검색하고 분류하므로 로그를 대규모로 더 쉽게 이해하고 관리할 수 있습니다. 이 기능은 Amazon VPC 흐름 로그, CloudTrail 및 Route 53과 같은 AWS 판매 소스와 타사 보안 도구에 대한 스키마 검색을 제공합니다.

로그 관리 콘솔은 로그 그룹만 제공하는 것이 아니라 데이터 소스 및 유형별로 구성된 로그를 개괄적으로 보여줍니다. 이 조직은 다음을 지원합니다.

  • AWS 서비스, 타사 소스(예: Okta 또는 CrowdStrike) 및 사용자 지정 소스별로 분류된 로그 보기

  • 로그 데이터의 스키마 및 구조를 자동으로 이해

  • 검색된 스키마 필드를 기반으로 필드 인덱스 정책 생성

  • 다양한 데이터 소스에서 로그를 보다 효율적으로 관리

  • 다양한 데이터 소스별 쿼리 로그

지원되는 AWS 서비스에 대해 CloudWatch Logs 로깅을 활성화하면 CloudWatch Logs는 로그에 적절한 스키마를 자동으로 적용합니다. 이 자동 스키마 애플리케이션은 일관성을 유지하고 로그 구조에 대한 즉각적인 인사이트를 제공하는 데 도움이 됩니다.

CloudWatch Logs 데이터 소스란 무엇입니까?

CloudWatch Logs 데이터 소스는 로그를 생성하는 소스를 기반으로 로그 데이터를 구성하고 분류하는 새로운 방법을 제공하는 기능입니다. CloudWatch Logs는 일반적으로 로그 그룹을 사용하여 로그를 구성하지만 데이터 소스는 원래 서비스 및 로그 유형별로 로그를 그룹화하는 추가 조직 계층을 제공합니다.

데이터 소스 작동 방식

데이터 소스는 AWS 인프라 전반에서 서비스 기반 로그 구성과 간소화된 검색을 제공합니다. 개별 로그 그룹 이름이나 구조를 알 필요 없이 특정 서비스의 로그를 쉽게 찾고 로그 유형별로 필터링할 수 있습니다.

타사 소스 및 선택적으로 애플리케이션 로그 소스의 경우 데이터 소스는 CloudWatch 파이프라인과 함께 작동하여 로그를 분류합니다. 로그를 수집하고 변환하도록 파이프라인을 구성할 때 데이터 소스 이름과 유형을 지정합니다. 그런 다음 CloudWatch Logs는 파이프라인이 처리하는 모든 로그를 자동으로 분류합니다. 자세한 내용은 Amazon CloudWatch 사용 설명서의 CloudWatch 파이프라인을 참조하세요. Amazon CloudWatch

데이터 소스는 두 가지 키 식별자를 사용하여 로그를 분류합니다.

  • 데이터 소스 이름: 로그를 생성하는 AWS 서비스, 타사 소스 또는 애플리케이션(예: Route 53, Amazon VPC, CloudTrail, Okta SSO 또는 CrowdStrike Falcon).

  • 데이터 소스 유형: 해당 서비스에서 생성된 특정 유형의 로그입니다.

스키마는 존재하는 필드와 정보 구성 방식을 포함하여 로그 데이터의 구조를 정의합니다. 단일 데이터 소스는 스키마와 용도가 다른 여러 유형의 로그를 생성할 수 있습니다. 예를 들어 AWS CloudTrail 데이터 소스에는 관리 이벤트(리소스 생성 또는 삭제와 같은 컨트롤 플레인 작업 추적)와 데이터 이벤트(S3 객체 액세스와 같은 데이터 영역 작업 추적)의 두 가지 유형이 있습니다. 각 유형은 다양한 종류의 정보를 캡처하기 때문에 스키마가 다릅니다.

시작하는 방법

CloudWatch Logs는 로그를 오리진에 따라 데이터 소스로 분류합니다. 메서드는 작업 중인 로그 유형에 따라 다릅니다.

AWS 서비스 로그

지원되는 AWS 서비스의 로그는 구성 없이 데이터 소스별로 자동으로 그룹화됩니다. CloudWatch Logs는 이러한 로그를 인식하고 원본 서비스에 따라 적절한 데이터 소스 이름과 유형을 적용합니다.

타사 로그

타사 로그에는 데이터 소스 분류를 위한 파이프라인이 필요합니다. Microsoft Office 365, Okta, CrowdStrike 또는 Palo Alto Networks와 같은 지원되는 타사 소스에서 로그를 수집하도록 파이프라인을 구성할 때 파이프라인 구성에서 데이터 소스 이름과 유형을 지정합니다. CloudWatch Logs는 파이프라인이 해당 식별자를 사용하여 처리하는 모든 로그를 자동으로 분류합니다.

파이프라인은 표준화된 보안 이벤트 분석을 위해 선택적으로 타사 로그를 OCSF(Open Cybersecurity Schema Framework) 형식으로 변환할 수 있습니다. OCSF 변환이 활성화되면 OCSF 스키마 매핑에 따라 데이터 소스 이름과 유형이 자동으로 결정됩니다. OCSF 변환이 없으면 파이프라인 구성에서 데이터 소스 이름과 유형을 지정합니다.

애플리케이션 로그

사용자 지정 애플리케이션 로그의 경우 다음 방법 중 하나를 사용하여 데이터 소스별로 분류할 수 있습니다.

  • 로그 그룹 태그 - cw:datasource:name 및 키를 사용하여 로그 그룹에 태그를 추가하여 로그 그룹에 수집된 모든 로그에 대해 데이터 소스 이름과 유형을 각각 cw:datasource:type 지정합니다. 태그 값은 최대 64자일 수 있으며 소문자, 숫자 및 밑줄만 포함할 수 있습니다. 문자 또는 숫자로 시작해야 하며 이중 밑줄(__)을 포함할 수 없습니다.

  • 파이프라인 구성 - 애플리케이션 로그를 수집할 때 로그 처리 파이프라인을 통해 데이터 소스 정보를 구성합니다.

참고

AWS 서비스 로그와의 충돌을 방지하기 위해 데이터 소스 이름은 "aws" 또는 "amazon"으로 시작할 수 없습니다.

시스템 필드

CloudWatch Logs는 데이터 소스별로 분류된 로그에 시스템 필드 3개를 자동으로 추가합니다. 이러한 필드는 기본 패싯 역할을 합니다.

  • @data_source_name - 데이터 소스의 이름을 포함하거나 확인되지 않은 경우 "알 수 없음"

  • @data_source_type - 데이터 소스의 유형을 포함하거나 확인되지 않은 경우 "알 수 없음"

  • @data_format - 로그 데이터의 형식을 나타냅니다.

데이터 소스 이름 또는 유형을 확인할 수 없는 경우 이러한 필드는 "알 수 없음"으로 설정됩니다. "알 수 없음" 값이 있는 데이터 소스는 여전히 콘솔의 "로그 관리" 아래 패싯과 데이터 소스 테이블에 표시되므로 분류되지 않은 로그와 로그 그룹의 출처를 식별할 수 있습니다.

@data_format 필드에는 다음 값 중 하나가 포함될 수 있습니다.

  • Default - 수정 없이 수집된 로그입니다.

  • Custom - 파이프라인 프로세서를 통해 처리된 로그 또는 데이터 소스 이름/유형 태그를 사용하여 로그 그룹에 수집된 로그입니다.

  • OCSF-<version> - 파이프라인에서 OCSF(Open Cybersecurity Schema Framework) 프로세서로 처리된 로그입니다.

  • AWS-OTEL-LOG-V<version> - CloudWatch OTLP 엔드포인트를 통해 수집된 OpenTelemetry 로그입니다.

  • AWS-OTEL-TRACE-V<version> - CloudWatch OTLP 엔드포인트를 통해 수집된 OpenTelemetry 트레이스입니다.

이러한 시스템 필드를 사용하면 소스 및 형식을 기반으로 로그를 필터링하고 쿼리할 수 있으므로 다양한 오리진 및 처리 파이프라인의 로그로 더 쉽게 작업할 수 있습니다.

데이터 원본 액세스

콘솔

CloudWatch Logs 콘솔에서 로그 관리 탭을 사용하여 데이터 소스에 액세스합니다. CloudWatch Logs는 데이터 소스 및 유형별로 로그 데이터를 자동으로 통합하여 새로 수집된 데이터를 지속적으로 검색합니다. 데이터 소스 목록에서 파이프라인을 생성하고 필드 인덱스와 패싯을 정의할 수 있습니다.

AWS CLI

다음 명령을 사용하여 계정의 고유한 데이터 소스 및 로그 유형을 나열합니다.

aws logs list-aggregate-log-group-summaries --group-by DATA_SOURCE_NAME_AND_TYPE

로그 그룹과의 관계

데이터 소스는 로그 그룹을 대체하는 대신 보완됩니다. 로그는 이전과 같이 로그 그룹에 계속 저장되지만, 이제 데이터 소스 정보로도 자동으로 태그가 지정됩니다. 이 이중 조직을 사용하면 다음을 수행할 수 있습니다.

  • 세분화된 액세스 제어 및 보존 정책에 로그 그룹 사용

  • 서비스 기반 로그 검색 및 분석에 데이터 소스 사용

  • 필요에 따라 두 조직 방법을 사용하여 로그 쿼리

데이터 소스를 사용하면 AWS 인프라 전반의 로그 데이터에 대한 서비스 중심 보기를 제공하여 대규모 로그 작업을 더 쉽게 수행할 수 있습니다.