기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

로그

OpenSearch Ingestion은 수집 중에 구조화되지 않은 로그 데이터를 구조화된 형식으로 변환할 수 있습니다. OpenSearch Ingestion은 인덱싱되기 전에 데이터를 정규화하고 보강하는 프로세서를 제공합니다. 유용한 프로세서의 예는 다음과 같습니다.

참고 - 더 쉽게 시작할 수 있도록 Amazon OpenSearch Service 콘솔에서 로그에 대한 새 시작하기 워크플로를 생성했습니다.이 워크플로는 새 Otel 맞춤형 수집 파이프라인을 설정하고, 기존 OpenSearch 클러스터를 가리키고, 관찰성 워크스페이스가 생성된 새 OpenSearch UI 애플리케이션을 생성합니다. Otel 에이전트가 새 수집 엔드포인트를 가리키도록 하기만 하면 됩니다.

OpenSearch UI 및 관찰성 워크스페이스

로그 데이터를 Amazon OpenSearch Service에 수집한 후 OpenSearch UI의 Amazon OpenSearch Service 관찰성 워크스페이스에서 제공하는 도구를 사용하여 분석합니다. 관찰성 워크스페이스는 Discover 및 Dashboards에서 의미 있는 인사이트를 추출하도록 설계된 특수 도구를 제공합니다.

관찰성 워크스페이스에는 Amazon Q Developer for Business에서 제공하는 자연어 도우미로 보완된 파이프 처리 언어(PPL)를 사용하는 새로운 Discover 환경이 제공됩니다. 언어 지원을 통해 누구나 간단하게 파이프 언어를 시작할 수 있습니다. 쿼리를 구체화한 후 도구의 다른 부분으로 이동하지 않고 새 Discover에서 바로 시각화 및 대시보드를 생성합니다. DQL 또는 SQL을 사용하여 데이터를 쿼리하려면 이전 Discover 환경으로 전환합니다.

PPL을 사용하여 로그 쿼리

애플리케이션 또는 서비스 운영에 대한 인사이트를 수집하기 위해 로그를 쿼리하는 몇 가지 옵션이 있습니다.

파이프 처리 언어(PPL)는 명령을 연결하기 위한 파이프 기반(|) 구문이 있는 쿼리 언어입니다. 이를 사용하여 로그를 분석하는 강력한 표현식을 구축할 수 있습니다.

참고: OpenSearch 2.19에서 최신 PPL 명령/함수를 잠금 해제하려면 다음 쿼리를 사용하여 OpenSearch 개발자 도구에서 기능 플래그를 변경해야 합니다(OpenSearch 3.3에는 필요하지 않음).

PUT /_plugins/_query/settings { "transient" : { "plugins.calcite.enabled" : true } }

오류가 가장 많은 호스트 찾기

이 예제에서는 로그를 분석하여 총 오류가 가장 많은 서비스 호스트를 확인합니다.

source = my-index |
    where level = "ERROR" |
    stats count() as error_count by host |
    sort -error_count |
    head 5

평균 요청 시간 계산

이 예제에서는 로그를 분석하여 로그의 각 상태 코드에 대한 평균 요청 시간을 계산합니다.

source = my-index |
    stats avg(request_time) by status_code

PPL에 대한 자세한 내용은 opensearch.org PPL 참조 설명서를 참조하세요.

AI를 사용하여 로그 쿼리

이 예제에서는 로그를 분석하여 지난 5분 동안 기록된 오류를 표시합니다.

Show me all of the error logs from the last 5 minutes

SQL을 사용하여 로그 쿼리

SQL은 로그 데이터를 쿼리하는 익숙한 방법을 제공합니다.

이 예제에서는 로그를 분석하여 타임스탬프별로 오류를 표시합니다.

SELECT timestamp, severity_text, body, service_name
FROM opentelemetry_logs
WHERE severity_text = 'ERROR' AND service_name = 'my-service'
ORDER BY timestamp DESC;

SQL에 대한 자세한 내용은 GitHub의 SQL 참조 설명서를 참조하세요.

DQL을 사용하여 로그 쿼리

DQL은 빠른 검색 및 필터링에 적합합니다.

이 예제에서는 로그를 분석하고 오류 및 예외를 반환합니다.

error OR exception

DQL에 대한 자세한 내용은 opensearch.org DQL 참조 설명서를 참조하세요.

로그에 대한 대시보드 및 알림

PPL을 사용한 새로운 Discover 경험에서는 Discover의 시각화 탭에서 시각화를 생성할 수 있습니다. 12가지 시각화 유형 중에서 선택하고 대시보드에 추가하기 전에 즉시 편집합니다. 이전 Discover 경험에서는 왼쪽 탐색에서 시각화로 이동하여 새 시각화를 생성하고 대시보드로 이동하여 대시보드에 시각화를 추가합니다.

PPL 또는 OpenSearch Service 쿼리 DSL을 사용하여 알림 모니터를 정의하여 예약된 쿼리를 실행할 수 있습니다. 특정 수의 오류 로그와 같은 트리거 조건은 알림을 실행합니다. Amazon Simple Notification Service 또는 웹후크와 같은 채널을 통해 알림을 보낼 수 있습니다.

알림에 대한 자세한 내용은 opensearch.org 알림 설명서를 참조하세요.