기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

자동 최적화

자동 최적화는 벡터 인덱스 최적화를 자동화하여 사용자가 몇 주 동안의 수동 전문가 튜닝 없이도 검색 품질, 속도 및 비용의 균형을 맞출 수 있는 서비스입니다. 사용자 정의 지연 시간 및 리콜 요구 사항을 기반으로 인덱스 구성을 평가하고 최적화 권장 사항을 생성하므로 최소한의 전문 지식이 필요합니다. 권장 사항은 일반적으로 30~60분 이내에 전달됩니다.

기존 벡터 인덱스 구성에서는 최적의 성능을 달성하려면 상당한 전문 지식과 실험이 필요합니다. ef_construction (인덱스 빌드 품질을 제어), m (그래프 연결 수를 결정), ef_search (HNSW 검색을 제어) 및 양자화 방법(이진 양자화(32x, 16x, 8x), 스칼라 양자화(4x))과 같은 파라미터는 검색 정확도와 리소스 사용률 모두에 상당한 영향을 미칩니다. 자동 최적화는 하이퍼파라미터 최적화 알고리즘을 사용하여 정의된 지연 시간 및 재현율 요구 사항 내에서 데이터 세트에 고유하게 최적화된 인덱스 구성을 검색합니다.

이점

OpenSearch용 자동 최적화는 다음과 같은 이점을 제공합니다.

자동 최적화는와 같은 다른 OpenSearch 기능과 함께 작동벡터 인덱싱을 위한 GPU 가속화하여 벡터 검색 워크로드에 대한 포괄적인 성능 최적화를 제공합니다.

작동 방식

자동 최적화는 벡터 데이터를 분석하고 최적화 권장 사항을 제공하는 작업 기반 아키텍처를 통해 작동합니다. 중요 사항:

사전 조건

자동 최적화 사용 사례

자동 최적화는 다음 시나리오에서 특히 중요합니다.

초기 구성 최적화

벡터 검색 애플리케이션을 처음 배포할 때 최적의 HNSW 파라미터를 결정하려면 광범위한 테스트와 도메인 전문 지식이 필요한 경우가 많습니다. 자동 최적화를 사용하면 데이터 및 워크로드 특성을 분석하여 프로덕션 지원 구성을 권장하여이 trial-and-error 프로세스를 제거할 수 있습니다.

이 사용 사례는 벡터 검색을 처음 사용하는 팀이나 기준 구성을 빠르게 설정해야 하는 다른 벡터 데이터베이스 플랫폼에서 마이그레이션하는 팀에 적합합니다.

조정 최적화

벡터 데이터 세트가 수천 개에서 수백만 개의 벡터로 증가함에 따라 처음에 잘 작동하는 파라미터는 최적화되지 않을 수 있습니다. Auto-optimize는 대규모 성능 유지를 위한 조정을 권장합니다.

비용 절감

벡터 인덱스는 특히 고차원 임베딩을 통해 상당한 컴퓨팅 및 스토리지 리소스를 소비할 수 있습니다. 자동 최적화는 더 적은 리소스를 사용하면서 필요한 성능 수준을 유지하는 보다 효율적인 파라미터 구성을 찾아 비용을 절감할 수 있는 기회를 식별합니다.

예를 들어 자동 최적화는 현재 m 값(그래프 연결)이 정확도 요구 사항에 필요한 값보다 높다는 것을 발견할 수 있으므로 검색 품질에 영향을 주지 않고 인덱싱 시간과 스토리지를 줄일 수 있습니다.

성능 문제 해결

벡터 검색 작업에서 쿼리 성능이 느리거나 지연 시간이 긴 경우 자동 최적화는 데이터 세트를 분석하고 더 최적의 구성을 식별할 수 있습니다. 이 서비스는 그래프 연결 또는 검색 파라미터 조정과 같은 성능 병목 현상을 해결하기 위한 특정 권장 사항을 제공합니다.

제한 사항

결제 및 비용

자동 최적화는 데이터세트 크기 및 최적화 구성에 관계없이 성공한 각 최적화 작업에 대해 비용을 지불하는 작업당 요금 모델을 사용합니다. 실패하거나 취소된 작업에 대해서는 요금이 부과되지 않습니다. 또한 자동 최적화는 관리형 또는 서버리스 OpenSearch 클러스터와 별도의 인프라에서 실행되므로 기존 클러스터의 리소스 사용률에 영향을 주지 않습니다.

요금 모델

자동 최적화 비용은 표준 OpenSearch Serverless 또는 OpenSearch Managed 도메인 컴퓨팅 및 스토리지 비용과 별도로 청구됩니다.

요금 정보는 Amazon OpenSearch Service 요금을 참조하세요.

JSONL을 Parquet으로 변환

데이터가 JSONL 형식인 경우 다음 Python 스크립트를 사용하여 자동 최적화에 사용할 Parquet 형식으로 변환할 수 있습니다.

#!/usr/bin/env python3
import json
import pyarrow as pa
import pyarrow.parquet as pq
from pathlib import Path
from typing import Any, Dict, List


def load_json_any(path: Path) -> List[Dict[str, Any]]:
    """
    Load JSON that can be:
      - a list of objects
      - a single object
      - JSON Lines (one object per line)
    Returns list[dict].
    """
    text = path.read_text().strip()

    # Try full JSON file
    try:
        obj = json.loads(text)
        if isinstance(obj, list):
            return obj
        if isinstance(obj, dict):
            return [obj]
    except json.JSONDecodeError:
        pass

    # Fallback → JSON Lines
    records = []
    for i, line in enumerate(text.splitlines(), start=1):
        line = line.strip()
        if not line:
            continue
        try:
            rec = json.loads(line)
        except json.JSONDecodeError as e:
            raise ValueError(f"Invalid JSON on line {i}: {e}")
        if not isinstance(rec, dict):
            raise ValueError(f"Line {i} must contain a JSON object")
        records.append(rec)

    return records


def json_to_parquet(json_path: str, parquet_path: str, compression: str = "snappy"):
    """Convert ANY JSON to Parquet (schema inferred)."""
    records = load_json_any(Path(json_path))
    table = pa.Table.from_pylist(records)
    pq.write_table(table, parquet_path, compression=compression)
    print(f"✔ Wrote {len(records)} rows to {parquet_path}")


def print_parquet_rows(parquet_path: str, limit: int = 5):
    """Print first N rows from the parquet file."""
    table = pq.read_table(parquet_path)
    df = table.to_pandas()

    print(f"\n=== Showing first {min(limit, len(df))} rows from {parquet_path} ===")
    print(df.head(limit).to_string())
    print("===========================================================\n")


if __name__ == "__main__":
    INPUT_JSON = "movies_10k.json"
    OUTPUT_PARQUET = "movies.parquet"

    # Convert JSON → Parquet
    json_to_parquet(INPUT_JSON, OUTPUT_PARQUET)

    # Print some rows from Parquet
    print_parquet_rows(OUTPUT_PARQUET, limit=3)

관련 기능

자동 최적화는 다른 Amazon OpenSearch Service 기능과 함께 작동하여 벡터 검색 애플리케이션을 구축하고 최적화하는 데 도움이 됩니다.