翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

自動最適化

Auto-optimize は、ベクトルインデックスの最適化を自動化するサービスです。ユーザーは、数週間にわたるエキスパートによる手動調整を必要とせずに、検索の品質、速度、コストのバランスをとることができます。ユーザー定義のレイテンシーとリコールの要件に基づいてインデックス設定を評価し、最適化の推奨事項を生成するため、最小限の専門知識が必要です。レコメンデーションは通常 30～60 分以内に配信されます。

従来のベクトルインデックス設定では、最適なパフォーマンスを実現するには、かなりの専門知識と実験が必要です。ef_construction (インデックス構築品質を制御する）、 m (グラフ接続の数を決定する)ef_search、 (HNSW 検索を制御する）、量子化メソッド (バイナリ量子化 (32x、16x、8x)、スカラー量子化 (4x)) などのパラメータは、検索精度とリソース使用率の両方に大きな影響を与えます。自動最適化は、ハイパーパラメータ最適化アルゴリズムを使用して、定義されたレイテンシーおよびリコール要件内でデータセットに一意に最適なインデックス設定を検出します。

利点

OpenSearch の自動最適化には、次の利点があります。

自動最適化は、 などの他の OpenSearch 機能と連携してベクトルインデックス作成の GPU アクセラレーション、ベクトル検索ワークロードの包括的なパフォーマンス最適化を提供します。

仕組み

自動最適化は、ベクトルデータを分析し、最適化の推奨事項を提供するジョブベースのアーキテクチャを介して動作します。キーポイント:

前提条件

自動最適化のユースケース

自動最適化は、以下のシナリオで特に重要です。

初期設定の最適化

ベクトル検索アプリケーションを最初にデプロイする場合、最適な HNSW パラメータを決定するには、多くの場合、広範なテストとドメインの専門知識が必要です。自動最適化は、データとワークロードの特性を分析して本番環境に対応した設定を推奨することで、このtrial-and-errorプロセスを排除します。

このユースケースは、ベクトル検索を初めて行うチームや、ベースライン設定を迅速に確立する必要がある他のベクトルデータベースプラットフォームから移行するチームに最適です。

スケーリングの最適化

ベクトルデータセットが数千から数百万のベクトルに増加するにつれて、最初にうまく機能したパラメータは最適ではない可能性があります。自動最適化では、パフォーマンスを大規模に維持するための調整が推奨されます。

コスト削減

ベクトルインデックスは、特に高次元埋め込みでは、大量のコンピューティングリソースとストレージリソースを消費する可能性があります。自動最適化は、より少ないリソースを使用しながら必要なパフォーマンスレベルを維持する、より効率的なパラメータ設定を見つけることで、コストを削減する機会を特定します。

たとえば、自動最適化では、現在のm値 (グラフの接続性) が精度要件に必要な値よりも高いことが検出され、検索品質に影響を与えることなくインデックス作成時間とストレージを削減できます。

パフォーマンスのトラブルシューティング

ベクトル検索オペレーションでクエリパフォーマンスが遅い、またはレイテンシーが高い場合、自動最適化はデータセットを分析し、より最適な設定を特定できます。このサービスは、グラフ接続や検索パラメータの調整など、パフォーマンスのボトルネックに対処するための特定の推奨事項を提供します。

制限事項

請求とコスト

自動最適化は、データセットのサイズと最適化設定に関係なく、成功した最適化ジョブごとに料金を支払うジョブごとの料金モデルを使用します。失敗したジョブまたはキャンセルされたジョブに対しては課金されません。さらに、自動最適化はマネージド型またはサーバーレスの OpenSearch クラスターとは異なるインフラストラクチャで実行されるため、既存のクラスターのリソース使用率には影響しません。

料金モデル

自動最適化コストは、標準の OpenSearch Serverless または OpenSearch Managed ドメインのコンピューティングおよびストレージコストとは別に請求されます。

料金の詳細については、「Amazon OpenSearch Service の料金」を参照してください。

JSONL を Parquet に変換する

データが JSONL 形式の場合、次の Python スクリプトを使用して Parquet 形式に変換し、自動最適化で使用できます。

#!/usr/bin/env python3
import json
import pyarrow as pa
import pyarrow.parquet as pq
from pathlib import Path
from typing import Any, Dict, List


def load_json_any(path: Path) -> List[Dict[str, Any]]:
    """
    Load JSON that can be:
      - a list of objects
      - a single object
      - JSON Lines (one object per line)
    Returns list[dict].
    """
    text = path.read_text().strip()

    # Try full JSON file
    try:
        obj = json.loads(text)
        if isinstance(obj, list):
            return obj
        if isinstance(obj, dict):
            return [obj]
    except json.JSONDecodeError:
        pass

    # Fallback → JSON Lines
    records = []
    for i, line in enumerate(text.splitlines(), start=1):
        line = line.strip()
        if not line:
            continue
        try:
            rec = json.loads(line)
        except json.JSONDecodeError as e:
            raise ValueError(f"Invalid JSON on line {i}: {e}")
        if not isinstance(rec, dict):
            raise ValueError(f"Line {i} must contain a JSON object")
        records.append(rec)

    return records


def json_to_parquet(json_path: str, parquet_path: str, compression: str = "snappy"):
    """Convert ANY JSON to Parquet (schema inferred)."""
    records = load_json_any(Path(json_path))
    table = pa.Table.from_pylist(records)
    pq.write_table(table, parquet_path, compression=compression)
    print(f"✔ Wrote {len(records)} rows to {parquet_path}")


def print_parquet_rows(parquet_path: str, limit: int = 5):
    """Print first N rows from the parquet file."""
    table = pq.read_table(parquet_path)
    df = table.to_pandas()

    print(f"\n=== Showing first {min(limit, len(df))} rows from {parquet_path} ===")
    print(df.head(limit).to_string())
    print("===========================================================\n")


if __name__ == "__main__":
    INPUT_JSON = "movies_10k.json"
    OUTPUT_PARQUET = "movies.parquet"

    # Convert JSON → Parquet
    json_to_parquet(INPUT_JSON, OUTPUT_PARQUET)

    # Print some rows from Parquet
    print_parquet_rows(OUTPUT_PARQUET, limit=3)

関連機能

自動最適化は、他の Amazon OpenSearch Service 機能と連携して、ベクトル検索アプリケーションの構築と最適化に役立ちます。