Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Ottimizzazione automatica

Auto-optimize è un servizio che automatizza le ottimizzazioni degli indici vettoriali, consentendo agli utenti di bilanciare qualità, velocità e costi della ricerca senza richiedere settimane di ottimizzazione manuale da parte di esperti. Valuta le configurazioni degli indici in base ai requisiti di latenza e richiamo definiti dall'utente e genera consigli di ottimizzazione, quindi è richiesta una competenza minima. I consigli vengono in genere forniti entro 30-60 minuti.

La configurazione tradizionale degli indici vettoriali richiede competenze e sperimentazioni significative per ottenere prestazioni ottimali. Parametri come ef_construction (che controlla la qualità di costruzione dell'indice), m (che determina il numero di connessioni grafiche), ef_search (che controlla la ricerca HNSW) e metodi di quantizzazione (quantizzazione binaria (32x, 16x, 8x), quantizzazione scalare (4x)) influiscono in modo significativo sia sulla precisione della ricerca che sull'utilizzo delle risorse. L'ottimizzazione automatica utilizza algoritmi di ottimizzazione degli iperparametri per scoprire configurazioni di indici che sono unicamente ottimali per il set di dati entro i requisiti di latenza e richiamo definiti.

Vantaggi

L'ottimizzazione automatica per offre i seguenti vantaggi: OpenSearch

L'ottimizzazione automatica funziona insieme ad altre OpenSearch funzionalità come l'ottimizzazione completa delle prestazioni Accelerazione GPU per l'indicizzazione vettoriale per i carichi di lavoro di ricerca vettoriale.

Come funziona

L'ottimizzazione automatica funziona attraverso un'architettura basata sul lavoro che analizza i dati vettoriali e fornisce consigli di ottimizzazione. Punti chiave:

Prerequisiti

Casi d'uso per l'ottimizzazione automatica

L'ottimizzazione automatica è particolarmente utile nei seguenti scenari:

Ottimizzazione della configurazione iniziale

Quando si implementano per la prima volta applicazioni di ricerca vettoriale, la determinazione dei parametri HNSW ottimali richiede spesso test approfonditi e competenze di settore. L'ottimizzazione automatica elimina questo trial-and-error processo analizzando i dati e le caratteristiche del carico di lavoro per consigliare configurazioni pronte per la produzione.

Questo caso d'uso è ideale per i team alle prime armi con la ricerca vettoriale o per coloro che migrano da altre piattaforme di database vettoriali e che devono stabilire rapidamente configurazioni di base.

Ottimizzazione della scalabilità

Man mano che il set di dati vettoriali passa da migliaia a milioni di vettori, i parametri che inizialmente funzionavano bene potrebbero diventare non ottimali. L'ottimizzazione automatica consiglia le regolazioni per mantenere le prestazioni su larga scala.

Riduzione dei costi

Gli indici vettoriali possono consumare notevoli risorse di calcolo e archiviazione, in particolare con incorporamenti ad alta dimensione. L'ottimizzazione automatica identifica le opportunità di riduzione dei costi trovando configurazioni di parametri più efficienti che mantengano i livelli di prestazioni richiesti utilizzando meno risorse.

Ad esempio, l'ottimizzazione automatica potrebbe scoprire che il m valore corrente (connessione al grafico) è superiore a quello necessario per i requisiti di precisione, consentendoti di ridurre il tempo di indicizzazione e lo spazio di archiviazione senza influire sulla qualità della ricerca.

Risoluzione dei problemi relativi alle prestazioni

In caso di prestazioni di query lente o latenza elevata nelle operazioni di ricerca vettoriale, l'ottimizzazione automatica può analizzare il set di dati e identificare una configurazione più ottimale. Il servizio fornisce raccomandazioni specifiche per risolvere i problemi di prestazioni, come la regolazione della connettività dei grafici o dei parametri di ricerca.

Limitazioni

Fatturazione e costi

L'ottimizzazione automatica utilizza un modello di prezzo per processo in cui si paga per ogni lavoro di ottimizzazione riuscito indipendentemente dalle dimensioni del set di dati e dalle configurazioni di ottimizzazione. Non ti verranno addebitati costi per lavori non riusciti o annullati. Inoltre, l'ottimizzazione automatica viene eseguita su un'infrastruttura separata rispetto ai OpenSearch cluster gestiti o senza server, quindi non influisce sull'utilizzo delle risorse dei cluster preesistenti.

Modello tariffario

I costi di ottimizzazione automatica vengono fatturati separatamente dai costi standard di elaborazione e storage dei domini OpenSearch serverless o gestiti. OpenSearch

Per informazioni sui prezzi, consulta la pagina dei prezzi OpenSearch di Amazon Service.

Converti JSONL in Parquet

Se i tuoi dati sono in formato JSONL, puoi usare il seguente script Python per convertirli in formato Parquet da utilizzare con l'ottimizzazione automatica:

#!/usr/bin/env python3
import json
import pyarrow as pa
import pyarrow.parquet as pq
from pathlib import Path
from typing import Any, Dict, List


def load_json_any(path: Path) -> List[Dict[str, Any]]:
    """
    Load JSON that can be:
      - a list of objects
      - a single object
      - JSON Lines (one object per line)
    Returns list[dict].
    """
    text = path.read_text().strip()

    # Try full JSON file
    try:
        obj = json.loads(text)
        if isinstance(obj, list):
            return obj
        if isinstance(obj, dict):
            return [obj]
    except json.JSONDecodeError:
        pass

    # Fallback → JSON Lines
    records = []
    for i, line in enumerate(text.splitlines(), start=1):
        line = line.strip()
        if not line:
            continue
        try:
            rec = json.loads(line)
        except json.JSONDecodeError as e:
            raise ValueError(f"Invalid JSON on line {i}: {e}")
        if not isinstance(rec, dict):
            raise ValueError(f"Line {i} must contain a JSON object")
        records.append(rec)

    return records


def json_to_parquet(json_path: str, parquet_path: str, compression: str = "snappy"):
    """Convert ANY JSON to Parquet (schema inferred)."""
    records = load_json_any(Path(json_path))
    table = pa.Table.from_pylist(records)
    pq.write_table(table, parquet_path, compression=compression)
    print(f"✔ Wrote {len(records)} rows to {parquet_path}")


def print_parquet_rows(parquet_path: str, limit: int = 5):
    """Print first N rows from the parquet file."""
    table = pq.read_table(parquet_path)
    df = table.to_pandas()

    print(f"\n=== Showing first {min(limit, len(df))} rows from {parquet_path} ===")
    print(df.head(limit).to_string())
    print("===========================================================\n")


if __name__ == "__main__":
    INPUT_JSON = "movies_10k.json"
    OUTPUT_PARQUET = "movies.parquet"

    # Convert JSON → Parquet
    json_to_parquet(INPUT_JSON, OUTPUT_PARQUET)

    # Print some rows from Parquet
    print_parquet_rows(OUTPUT_PARQUET, limit=3)

Funzionalità correlate

Auto-optimize collabora con altre funzionalità OpenSearch di Amazon Service per aiutarti a creare e ottimizzare applicazioni di ricerca vettoriale: