콘솔에서 자동 최적화 사용 - Amazon OpenSearch Service
사전 조건벡터 수집 작업 생성최적화 작업 모니터링작업 세부 정보 보기결과 보기 및 이해권장 사항에서 인덱스 빌드

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

콘솔에서 자동 최적화 사용

Amazon OpenSearch Service 콘솔을 사용하여 벡터 수집 작업을 생성하고, 진행 상황을 모니터링하고, 최적화 권장 사항을 보고, 이러한 권장 사항을 기반으로 인덱스를 빌드할 수 있습니다.

사전 조건

콘솔에서 자동 최적화를 사용하려면 먼저 다음이 있어야 합니다.

  • OpenSearch 콘솔에 액세스할 수 있는 활성 AWS 계정입니다.

  • 유형 벡터 검색 또는 관리형 OpenSearch 도메인의 기존 OpenSearch Serverless 컬렉션입니다.

  • 다음 작업에 대한 IAM 권한:

    • opensearch:SubmitAutoOptimizeJob

    • opensearch:GetAutoOptimizeJob

    • opensearch:DeleteAutoOptimizeJob

    • opensearch:CancelAutoOptimizeJob

    • opensearch:ListAutoOptimizeJobs

    참고

    이는 자격 증명 기반 정책입니다. AWS 는 리소스 자동 최적화를 위한 리소스 기반 정책을 지원하지 않습니다.

  • 최소 1시간의 자격 증명 만료를 갖도록 페더레이션 사용자 세션을 구성합니다. 매우 큰 데이터 세트 또는 높은 차원의 경우 만료 기간을 최대 3시간으로 늘리는 것이 좋습니다.

벡터 수집 작업 생성

벡터 수집 작업은 벡터 데이터를 분석하고 인덱스 구성을 위한 최적화 권장 사항을 제공합니다.

벡터 수집 작업을 생성하려면

  1. 에서 Amazon OpenSearch Service 콘솔에 로그인합니다AWS Management Console.

  2. 탐색 창에서 자동 최적화를 선택합니다.

  3. 벡터 수집 작업 생성을 선택합니다.

  4. 작업 세부 정보에서 벡터 수집 작업의 이름을 입력합니다. 이 이름은 콘솔에서 작업을 식별하는 데 도움이 됩니다.

  5. 데이터 소스에서 다음을 구성합니다.

    1. Amazon S3 URI에 Parquet 파일이 포함된 폴더의 Amazon S3 URI를 입력합니다. URI는 개별 파일이 아닌 엔클로징 폴더를 가리켜야 합니다. 예를 들어 Parquet 파일이에 있는 경우를 s3://my-bucket/my-folder/file1.parquet입력합니다s3://my-bucket/my-folder/.

    2. 리전에서 Amazon S3 버킷이 위치한 AWS 리전을 선택합니다. 리전은 버킷 위치와 일치해야 합니다.

  6. OpenSearch 도메인에서 기존 도메인 또는 컬렉션을 선택하거나 새로 생성을 선택하여 새로 생성합니다.

    참고

    OpenSearch 관리형 도메인 또는 OpenSearch Serverless 서버리스 컬렉션을 지정할 수 있습니다.

  7. 데이터 소스 권한에서 Amazon S3 버킷 및 OpenSearch 도메인 또는 컬렉션에 액세스할 수 있는 권한이 있는 IAM 역할을 지정합니다. 역할에는 도메인 또는 컬렉션 구성에 따라 필요한 권한이 있어야 합니다.

    • 도메인 액세스 정책이 있는 OpenSearch 도메인의 경우 해당 정책을 통해 역할에 액세스 권한을 부여합니다.

    • 세분화된 액세스 제어가 있는 OpenSearch 도메인의 경우 역할을 백엔드 역할로 추가합니다.

    • OpenSearch Serverless 컬렉션의 경우 데이터 액세스 정책에 역할을 추가합니다.

  8. 다음을 선택합니다.

  9. 인덱스 구성에서 다음을 지정합니다.

    1. 필드 이름에 벡터 데이터가 포함된 Parquet 데이터 세트의 열 이름을 입력합니다.

    2. 스페이스 유형에서 벡터 간 거리를 계산하는 데 사용되는 거리 지표를 선택합니다.

      • l2 - 유클리드 거리

      • 코사인시밀 - 코사인 유사성

      • innerproduct - 내부 제품

    3. 차원에 각 벡터의 부동 소수점 값 수를 입력합니다.

  10. 성능 요구 사항에서 다음을 구성합니다.

    1. 재현율에서 원하는 검색 품질을 0에서 1 사이의 10진수 값으로 지정합니다. 재현율 값이 높을수록 관련성이 더 높은 결과가 반환됩니다. 예제:

      • 0.95는 쿼리 벡터에 가장 가까운 문서 벡터 20개 중 평균 19개가 반환됨을 나타냅니다.

      • 0.9는 10개 중 9개를 나타냅니다.

      • 0.8은 10개 중 8개를 나타냅니다.

    2. 검색 지연 시간 요구 사항에서 지연 시간 허용치를 선택합니다. 적당한 요구 사항을 사용하면 메모리 요구 사항을 줄이는 압축 방법을 통해 더 많은 비용을 절감할 수 있습니다.

  11. 다음을 선택합니다.

  12. 구성을 검토하고 생성을 선택합니다.

작업이 처리를 시작합니다. 벡터 수집 작업 테이블에서 진행 상황을 모니터링할 수 있습니다.

최적화 작업 모니터링

자동 최적화 랜딩 페이지에서 벡터 수집 작업의 상태를 모니터링할 수 있습니다.

최적화 작업을 모니터링하려면

  1. https://console.aws.amazon.com/aos/home Amazon OpenSearch Service 콘솔에 로그인합니다.

  2. 탐색 창에서 자동 최적화를 선택합니다.

  3. 벡터 수집 작업 테이블에는 현재 상태의 모든 작업이 표시됩니다. 업데이트된 상태 정보를 보려면 페이지를 새로 고칩니다.

    참고

    자동 새로 고침 또는 알림 메커니즘은 없습니다. 작업이 완료되면 콘솔을 수동으로 새로 고쳐야 합니다.

작업 상태 이해

자동 최적화 작업은 다음과 같은 상태 값을 가질 수 있습니다.

보류중

작업이 대기열에 있고 시작 대기 중입니다.

실행

자동 최적화 작업은 데이터를 적극적으로 분석하고 권장 사항을 생성하고 있습니다.

완료됨

자동 최적화 작업이 성공적으로 완료되었습니다. 모든 분석, 평가 및 권장 사항이 완료되어 볼 수 있습니다.

실패

작업에 오류가 발생했습니다. 작업 세부 정보 페이지에서 오류 세부 정보를 보고 원인을 확인합니다.

활성

연결된 클러스터에 인덱스가 생성되었고 데이터가 수집되었습니다.

작업 기간은 주로 데이터 세트 크기와 현재 서비스 로드에 따라 달라집니다. 일반적인 작업은 15분에서 몇 시간 이내에 완료됩니다.

작업 세부 정보 보기

구성 및 상태를 포함하여 특정 최적화 작업에 대한 자세한 정보를 볼 수 있습니다.

작업 세부 정보를 보려면

  1. https://console.aws.amazon.com/aos/home Amazon OpenSearch Service 콘솔에 로그인합니다.

  2. 탐색 창에서 자동 최적화를 선택합니다.

  3. 벡터 수집 작업 테이블에서 작업 이름을 선택합니다.

  4. 작업 세부 정보 페이지에는 다음 정보가 표시됩니다.

    • 작업 이름 및 상태

    • 데이터 소스 구성(Amazon S3 URI 및 리전)

    • OpenSearch 도메인 또는 컬렉션

    • 인덱스 구성(필드 이름, 공백 유형, 차원)

    • 성능 요구 사항(재현율 및 지연 시간)

    • 오류 메시지(작업이 실패한 경우)

결과 보기 및 이해

작업이 성공적으로 완료되면 최적화 권장 사항을 볼 수 있습니다.

최적화 결과를 보려면

  1. https://console.aws.amazon.com/aos/home Amazon OpenSearch Service 콘솔에 로그인합니다.

  2. 탐색 창에서 자동 최적화를 선택합니다.

  3. 벡터 수집 작업 테이블에서 완료됨 상태의 작업을 선택합니다.

  4. 결과 페이지에는 다음 섹션이 표시됩니다.

    • 결과 개요 - 요구 사항과 비교한 예상 검색 품질 재현율과 상위 권장 구성과 비교한 인덱스 메모리 공간을 보여줍니다.

    • 권장 사항 - 최대 3개의 최적화 권장 사항을 나열하며, 구성에 가장 잘 맞는 상위 권장 사항과 함께 정렬됩니다. 각 권장 사항에는 다음이 포함됩니다.

      • 인덱스 구성 파라미터

      • 구성 파라미터 검색

      • 예상 성능 지표

      • 메모리 사용량 추정치

    참고

    권장 사항은 가장 잘 일치하는 순서로 정렬되지만 특정 사용 사례에 더 적합한 권장 사항을 선택할 수 있습니다. 선택한 리콜 기준에 가장 가까운 일치 항목을 찾으려는 시도를 자동 최적화합니다.

권장 사항에서 인덱스 빌드

최적화 권장 사항을 검토한 후 권장 구성을 사용하여 인덱스를 수동으로 생성하거나 선택한 권장 사항으로 인덱스를 자동으로 빌드할 수 있습니다.

인덱스를 자동으로 빌드하려면

  1. https://console.aws.amazon.com/aos/home Amazon OpenSearch Service 콘솔에 로그인합니다.

  2. 탐색 창에서 자동 최적화를 선택합니다.

  3. 벡터 수집 작업 테이블에서 완료됨 상태의 작업을 선택합니다.

  4. 권장 사항을 검토하고 사용할 권장 사항을 선택합니다.

  5. 빌드 인덱스를 선택합니다.

  6. 시스템은 선택한 권장 사항을 사용하여 클러스터에 인덱스를 자동으로 생성하고 Parquet 데이터 세트에서 벡터 데이터를 수집합니다.

인덱스를 수동으로 빌드하려면

  1. https://console.aws.amazon.com/aos/home Amazon OpenSearch Service 콘솔에 로그인합니다.

  2. 탐색 창에서 자동 최적화를 선택합니다.

  3. 벡터 수집 작업 테이블에서 완료됨 상태의 작업을 선택합니다.

  4. 권장 사항을 검토하고 선택한 권장 사항에 대한 인덱스 구성 및 검색 구성 파라미터를 기록해 둡니다.

  5. OpenSearch API 또는 콘솔을 사용하여 권장 파라미터를 사용하여 인덱스를 수동으로 생성합니다.