Amazon OpenSearch Service의 Observability - Amazon OpenSearch Service
OpenSearch Service의 관찰성 워크플로OpenSearch UI 및 OpenSearch 대시보드

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

Amazon OpenSearch Service의 Observability

관찰성은 출력을 검사하여 복잡한 시스템의 내부 상태 및 성능에 대한 인사이트를 얻는 관행입니다. 기존 모니터링은 시스템이 다운되었음을 알려줄 수 있으며, 관찰성은 데이터에 대해 새로운 질문을 할 수 있도록 하여 다운된 이유를 이해하는 데 도움이 됩니다.

Amazon OpenSearch Service는 원격 측정 데이터의 키 유형을 수집하고 상호 연관시켜 통합 솔루션을 제공합니다.

  • 로그는 애플리케이션 오류, 사용자 요청 또는 시스템 상태 메시지와 같은 타임스탬프가 지정된 이벤트 레코드를 제공합니다.

  • 트레이스는 분산 시스템의 다양한 서비스를 통해 이동하는 요청의 end-to-end 여정을 나타냅니다.

Amazon OpenSearch Service는 이러한 데이터 유형을 결합하여 운영 팀, 사이트 신뢰성 엔지니어 및 개발자가 운영 문제를 더 빠르게 감지, 진단 및 해결할 수 있도록 지원합니다.

OpenSearch Service의 관찰성 워크플로

분석을 위해 애플리케이션에서 OpenSearch Service로 데이터를 가져오려면 다단계 파이프라인을 사용합니다.

  1. 컬렉션

    프로세스는 애플리케이션 및 인프라와 같은 신호 생산자로부터 원격 측정 데이터를 수집하는 경량 에이전트 또는 수집기로 소스에서 시작됩니다. 두 가지 일반적인 오픈 소스 에이전트는 다음과 같습니다.

    • OpenTelemetry(OTel) 수집기 - 로그 및 추적을 수집하는 업계 표준 및 기본 방법입니다.

    • Fluent Bit - 로그 및 추적에 대한 OTel 스키마를 지원하는 경량 고성능 로그 프로세서 및 전달자입니다.

  2. 수집(Amazon OpenSearch Ingestion)

    원격 측정이 수집되면 데이터가 완전 관리형 서버리스 데이터 파이프라인인 OpenSearch Ingestion으로 전송됩니다. 사용자 지정 파이프라인을 생성하여 다음을 수행할 수 있습니다.

    • 필터 - 불필요한 데이터를 제거하여 스토리지 비용을 줄입니다.

    • 보강 - IP 주소의 지리적 정보와 같은 중요한 메타데이터를 추가합니다.

    • 변환 및 정규화 - 비정형 로그를 일관된 형식으로 구성합니다.

    • 경로 - 다양한 유형의 데이터를 다양한 OpenSearch Service 인덱스 또는 Amazon S3로 전송합니다.

  3. 분석 및 시각화

    처리 후 데이터는 OpenSearch Service 도메인 또는 컬렉션에 로드됩니다. 거의 실시간으로 방대한 양의 데이터를 저장, 인덱싱 및 분석할 수 있습니다. OpenSearch UI의 관찰성 워크스페이스와 같은 시각화 인터페이스를 통해이 데이터와 상호 작용하여 쿼리를 실행하고 대시보드를 빌드하며 알림을 설정합니다.

OpenSearch UI 및 OpenSearch 대시보드

OpenSearch Service는 관찰성을 위해 두 개의 고유한 사용자 인터페이스를 제공합니다. OpenSearch UI를 사용하고 새 설치를 위한 관찰성 워크스페이스를 설정하고 기존 OpenSearch 대시보드에서 마이그레이션하는 것이 좋습니다. 다음은 OpenSearch UI와 기존 OpenSearch 대시보드의 이점을 요약한 표입니다.

기능 OpenSearch UI OpenSearch 대시보드
데이터 소스 다중 소스 - 여러 OpenSearch Service 도메인, OpenSearch Serverless 컬렉션 및 기타 데이터 소스에 연결할 수 있습니다. 단일 소스 - 단일 OpenSearch Service 도메인과 함께 배치됩니다.
업데이트 새로운 기능은 특정 OpenSearch 버전과 연결되어 있지 않기 때문에 먼저 여기에 도착합니다. 새 기능은 OpenSearch 버전과 연결됩니다. 향후 업데이트가 더 이상 사용되지 않을 수 있습니다.
가용성 클러스터 업그레이드 중에 가동 중지가 발생하지 AWS 클라우드않도록에서 호스팅됩니다. 도메인 유지 관리 및 업그레이드 중에 일시적으로 사용할 수 없게 될 수 있음
공동 작업 특정 워크플로에서 선별된 팀 협업을 위한 워크스페이스를 제공합니다. 공동 작업은 단일 도메인에서 저장된 객체를 공유하는 것을 기반으로 합니다.

참고 - 더 쉽게 시작할 수 있도록 Amazon OpenSearch Service 콘솔에서 로그에 대한 새 시작하기 워크플로를 생성했습니다.이 워크플로를 통해 새 OTel 맞춤형 수집 파이프라인을 설정하고, 기존 OpenSearch 클러스터를 선택하고, 관찰성 워크스페이스가 생성된 새 OpenSearch UI 애플리케이션을 생성할 수 있습니다. OTel 에이전트가 새 수집 엔드포인트를 가리키면 OTel 형식 데이터에 대한 인사이트를 얻을 준비가 된 것입니다.

수집과 분석은 로그와 추적에서 다르게 처리되므로 심층적으로 살펴볼 별도의 섹션을 만들었습니다.