Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Tutorial: Memulai dengan Vektor S3

Dalam tutorial ini, Anda membuat bucket vektor S3 dan indeks vektor di Wilayah AWS konsol Amazon S3. Selanjutnya, Anda menggunakan model embedding Amazon Bedrock untuk menghasilkan embeddings vektor data Anda dan menyimpannya dalam indeks vektor Anda untuk melakukan pencarian semantik.

Untuk memulai, daftar AWS akun jika Anda belum memilikinya. Untuk informasi selengkapnya tentang pengaturan dengan akun, lihatMemulai dengan Amazon S3.

Langkah 1: Buat bucket vektor dengan konsol

Bucket vektor S3 adalah jenis bucket Amazon S3 yang dibuat khusus untuk menyimpan dan menanyakan vektor. Anda menggunakan operasi API khusus untuk menulis dan menanyakan data vektor. Anda dapat mengontrol akses ke data vektor Anda dengan mekanisme kontrol akses seperti kebijakan berbasis identitas IAM dan kebijakan berbasis sumber daya.

Pada langkah ini, Anda menggunakan konsol Amazon S3 untuk membuat bucket vektor pertama Anda. Untuk cara lain untuk membuat bucket vektor, lihatMembuat ember vektor.

Untuk membuat ember vektor

Langkah 2: Buat indeks vektor dalam ember vektor dengan konsol

Pada langkah ini, Anda membuat indeks vektor di bucket vektor Anda. Indeks vektor digunakan untuk menyimpan dan menanyakan embeddings vektor Anda. Untuk informasi selengkapnya tentang indeks vektor, lihatIndeks vektor.

Untuk membuat indeks vektor

Verifikasi bahwa indeks vektor baru Anda muncul di dalam bucket.

Langkah 3: Masukkan vektor ke dalam indeks vektor dengan SDK for Python (Boto3)

Untuk menyisipkan, membuat daftar, dan kueri vektor, gunakan AWS SDKs AWS CLI, atau Amazon S3 REST API.

Langkah ini adalah menyisipkan embeddings vektor ke indeks vektor Anda dengan operasi API. PutVectors

Anda harus terlebih dahulu menghasilkan embeddings vektor dengan menggunakan model embedding pilihan Anda. Jika Anda menggunakan Amazon Bedrock, buat penyematan dengan menggunakan operasi InvokeModelAPI untuk menentukan model penyematan pilihan Anda. Atau, untuk menghasilkan dan menyisipkan embeddings vektor dengan satu perintah, lihat. (Opsional) Otomatiskan pembuatan penyematan vektor dengan S3 Vectors Embed CLI

Contoh kode berikut menghasilkan embeddings vektor 1024 dimensi dengan model Titan Text Embeddings V2 dari Amazon Bedrock dengan menggunakan AWS SDK untuk Python (Boto3), dan menyimpannya dalam indeks vektor Anda dengan menggunakan API. PutVectors Seiring dengan setiap vektor, kami melampirkan pasangan kunci-nilai sebagai metadata yang dapat difilter. Selain itu, kami menggunakan kunci metadata yang tidak dapat difilter yang diberi nama source_text untuk mempertahankan teks asli dari mana setiap vektor diturunkan. Untuk memaksimalkan throughput permintaan dan mengoptimalkan kecepatan dan efisiensi, kami menyarankan Anda memasukkan dan menghapus vektor dalam batch. Untuk informasi selengkapnya, lihat Praktik terbaik Vektor S3.

# Populate a vector index with embeddings from Amazon Titan Text Embeddings V2.
import boto3
import json

# Create Bedrock Runtime and S3 Vectors clients in the AWS Region of your choice. 
bedrock = boto3.client("bedrock-runtime", region_name="us-west-2")
s3vectors = boto3.client("s3vectors", region_name="us-west-2")

# Texts to convert to embeddings.
texts = [
    "Star Wars: A farm boy joins rebels to fight an evil empire in space", 
    "Jurassic Park: Scientists create dinosaurs in a theme park that goes wrong",
    "Finding Nemo: A father fish searches the ocean to find his lost son"
]

# Generate vector embeddings.
embeddings = []
for text in texts:
    response = bedrock.invoke_model(
        modelId="amazon.titan-embed-text-v2:0",
        body=json.dumps({"inputText": text})
    )

    # Extract embedding from response.
    response_body = json.loads(response["body"].read())
    embeddings.append(response_body["embedding"])

# Write embeddings into vector index with metadata.
s3vectors.put_vectors(
    vectorBucketName="media-embeddings",   
    indexName="movies",   
    vectors=[
        {
            "key": "Star Wars",
            "data": {"float32": embeddings[0]},
            "metadata": {"source_text": texts[0], "genre":"scifi"}
        },
        {
            "key": "Jurassic Park",
            "data": {"float32": embeddings[1]},
            "metadata": {"source_text": texts[1], "genre":"scifi"}
        },
        {
            "key": "Finding Nemo",
            "data": {"float32": embeddings[2]},
            "metadata": {"source_text": texts[2], "genre":"family"}
        }
    ]
)

Langkah 4. Vektor kueri dalam indeks vektor dengan SDK for Python (Boto3)

Setelah menyimpan embeddings vektor dalam indeks vektor, Anda dapat melakukan pencarian kesamaan dengan menggunakan operasi API. QueryVectors

Anda harus terlebih dahulu membuat penyematan vektor kueri Anda dengan menggunakan model penyematan yang sama yang digunakan selama penyisipan di. Langkah 3: Masukkan vektor ke dalam indeks vektor dengan SDK for Python (Boto3) Dalam tutorial ini, gunakan model Titan Text Embeddings V2 dari Amazon Bedrock melalui SDK for Python (Boto3).

Anda dapat melakukan pencarian kesamaan untuk mengembalikan vektor pencocokan terdekat. Dalam pencarian kesamaan, Anda dapat memfilter secara opsional dengan menggunakan kunci metadata untuk mempersempit hasil berdasarkan kriteria tertentu sambil mempertahankan relevansi semantik.

# Query a vector index with an embedding from Amazon Titan Text Embeddings V2.
import boto3 
import json 

# Create Bedrock Runtime and S3 Vectors clients in the AWS Region of your choice. 
bedrock = boto3.client("bedrock-runtime", region_name="us-west-2")
s3vectors = boto3.client("s3vectors", region_name="us-west-2") 

# Query text to convert to an embedding. 
input_text = "adventures in space"

# Generate the vector embedding.
response = bedrock.invoke_model(
    modelId="amazon.titan-embed-text-v2:0",
    body=json.dumps({"inputText": input_text})
) 

# Extract embedding from response.
model_response = json.loads(response["body"].read())
embedding = model_response["embedding"]

# Query vector index.
response = s3vectors.query_vectors(
    vectorBucketName="media-embeddings",
    indexName="movies",
    queryVector={"float32": embedding}, 
    topK=3, 
    returnDistance=True,
    returnMetadata=True
)
print(json.dumps(response["vectors"], indent=2))

# Query vector index with a metadata filter.
response = s3vectors.query_vectors(
    vectorBucketName="media-embeddings",
    indexName="movies",
    queryVector={"float32": embedding}, 
    topK=3, 
    filter={"genre": "scifi"},
    returnDistance=True,
    returnMetadata=True
)
print(json.dumps(response["vectors"], indent=2))
    

(Opsional) Otomatiskan pembuatan penyematan vektor dengan S3 Vectors Embed CLI

Amazon S3 Vectors Embed CLI adalah alat baris perintah mandiri yang menyederhanakan proses bekerja dengan penyematan vektor di Vektor S3. Dengan perintah tunggal, Anda dapat membuat embeddings vektor untuk data Anda dengan menggunakan Amazon Bedrock, dan menyimpan serta menanyakannya dalam indeks vektor S3 Anda. Alat ini mendukung perintah berikut:

Untuk informasi selengkapnya tentang perintah dan penggunaan, lihat repositori Amazon S3 Vectors Embed CLI. GitHub

(Opsional) Integrasikan Vektor S3 dengan Basis Pengetahuan Amazon Bedrock

Amazon Bedrock Knowledge Bases terintegrasi dengan Vektor S3 untuk penyimpanan dataset vektor yang hemat biaya dan jangka panjang.

Prasyarat

Ikuti prasyarat untuk memastikan Anda memiliki izin yang diperlukan untuk membuat basis pengetahuan Amazon Bedrock.

Buat basis pengetahuan Amazon Bedrock dengan Vektor S3 di konsol

Amazon Bedrock Knowledge Bases menyediakan alur kerja end-to-end RAG yang dikelola sepenuhnya. Saat Anda membuat basis pengetahuan dengan Vektor S3, Amazon Bedrock secara otomatis mengambil data dari sumber data S3 Anda, mengubah konten menjadi blok teks, menghasilkan embeddings, dan menyimpannya dalam indeks vektor Anda. Anda kemudian dapat menanyakan basis pengetahuan dan menghasilkan respons berdasarkan potongan yang diambil dari data sumber Anda.

(Opsional) Integrasikan Vektor S3 dengan Amazon OpenSearch

Amazon OpenSearch Service adalah layanan yang dikelola sepenuhnya yang menyederhanakan penyebaran, penskalaan, dan pengoperasian OpenSearch di Cloud. AWS Ada dua integrasi antara Vektor S3 dan. OpenSearch Salah satunya adalah mengekspor data vektor dari Vektor S3 ke OpenSearch Tanpa Server untuk kemampuan pencarian berkinerja tinggi. Yang lain menggunakan Vektor S3 sebagai mesin penyimpanan hemat biaya di dalam OpenSearch sambil mempertahankan akses ke fungsionalitas. OpenSearch

Lihat informasi yang lebih lengkap di Menggunakan Vektor S3 dengan Layanan OpenSearch .