Amazon OpenSearch Service에서 인덱스 변환

인덱스 롤업 작업을 사용하면 이전 데이터를 압축된 인덱스로 롤업하여 데이터 세부 수준을 줄일 수 있으며 변환 작업을 통해 특정 필드를 중심으로 데이터의 다른 요약 보기를 만들 수 있으므로 데이터를 여러 가지 방법으로 시각화하거나 분석할 수 있습니다.

인덱스 변환에는 OpenSearch 대시보드 사용자 인터페이스와 REST API가 있습니다. 이 기능을 사용하려면 OpenSearch 1.0 이상이 필요합니다.

인덱스 변환 작업 만들기

클러스터에 데이터가 없는 경우 OpenSearch Dashboards에서 샘플 비행 데이터를 사용하여 변환 작업을 시도합니다. 데이터를 추가한 후 OpenSearch Dashboards를 시작합니다. 그런 다음 인덱스 관리(Index Management), 변환 작업(Transform Jobs), 변환 작업 생성(Create Transform Job)을 차례로 선택합니다.

1단계: 인덱스 선택

인덱스(Indices) 섹션에서 소스 및 대상 인덱스를 선택합니다. 기존 대상 인덱스를 선택하거나 이름을 입력하여 새 대상 인덱스를 생성할 수 있습니다.

소스 인덱스의 하위 집합만 변환하려면 데이터 필터 추가(Add Data Filter)를 선택하고 OpenSearch 쿼리 DSL을 사용하여 소스 인덱스의 하위 집합을 지정합니다.

2단계: 필드 선택

인덱스를 선택한 후 변환 작업에 사용할 필드를 선택하고 그룹화 또는 집계 중 사용할 기능을 선택합니다.

3단계: 일정 지정

변환 작업은 기본적으로 활성화되며 일정에 따라 실행됩니다. 변환 실행 간격에서 간격을 분, 시간 또는 일 단위로 지정합니다.

4단계: 검토 및 모니터링

구성을 검토하고 생성(Create)을 선택합니다. 그런 다음 변환 작업 상태(Transform job status) 열을 모니터링합니다.

5단계: 대상 인덱스 검색

작업이 완료되면 표준 _search API를 사용하여 대상 인덱스를 검색할 수 있습니다.

예를 들어, DestAirportID 필드를 기반으로 비행 데이터를 변환하는 변환 작업을 실행한 후 다음 요청을 실행하여 SFO 값이 있는 모든 필드를 반환할 수 있습니다.

GET target_index/_search
{
  "query": {
    "match": {
      "DestAirportID_terms" : "SFO"
    }
  }
}