Membuat indeks vektor dalam ember vektor - Amazon Simple Storage Service

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Membuat indeks vektor dalam ember vektor

catatan

Pilih parameter konfigurasi indeks vektor Anda dengan hati-hati. Setelah membuat indeks vektor, Anda tidak dapat memperbarui nama indeks vektor, dimensi, metrik jarak, atau kunci metadata yang tidak dapat difilter. Untuk mengubah salah satu dari nilai-nilai ini, Anda harus membuat indeks vektor baru.

Indeks vektor adalah sumber daya dalam bucket vektor yang menyimpan dan mengatur data vektor untuk pencarian kesamaan yang efisien. Saat Anda membuat indeks vektor, Anda menentukan karakteristik yang harus dibagikan oleh semua vektor dalam indeks tersebut, seperti dimensi, metrik jarak yang digunakan untuk perhitungan kesamaan, dan kunci metadata opsional yang tidak dapat difilter. Anda juga dapat secara opsional mengonfigurasi pengaturan enkripsi khusus dan tag untuk indeks vektor pada saat pembuatan indeks. Untuk informasi selengkapnya tentang persyaratan penamaan indeks vektor, persyaratan dimensi, opsi metrik jarak, dan kunci metadata yang tidak dapat difilter, lihat. Keterbatasan dan pembatasan Untuk informasi selengkapnya tentang pengaturan konfigurasi enkripsi untuk indeks vektor, lihatPerlindungan data dan enkripsi di Vektor S3. Untuk informasi selengkapnya tentang menyetel tag, lihatMenggunakan tag dengan ember vektor S3.

Indeks vektor harus dibuat dalam bucket vektor yang ada dan memerlukan parameter konfigurasi khusus yang tidak dapat dimodifikasi setelah pembuatan.

Untuk membuat indeks vektor

  1. Buka konsol Amazon S3 di. https://console.aws.amazon.com/s3/

  2. Di panel navigasi, pilih Bucket vektor.

  3. Dalam daftar bucket vektor, pilih nama bucket tempat Anda ingin membuat indeks vektor.

  4. Pilih Buat indeks vektor.

  5. Untuk nama indeks Vector, masukkan nama untuk indeks vektor Anda.

    Nama indeks vektor harus unik dalam ember vektor. Nama indeks harus antara 3 dan 63 karakter. Karakter yang valid adalah huruf kecil (a-z), angka (0-9), tanda hubung (-), dan titik (.). Untuk informasi selengkapnya tentang persyaratan penamaan indeks vektor, lihatKeterbatasan dan pembatasan.

  6. Untuk Dimensi, masukkan jumlah nilai di setiap vektor.

    catatan

    • Nilai untuk Dimensi menentukan berapa banyak nilai numerik yang akan dikandung setiap vektor.

    • Semua vektor yang ditambahkan ke indeks ini harus memiliki jumlah nilai yang tepat.

    • Dimensi harus antara 1 dan 4096.

    • Dimensi yang lebih besar membutuhkan lebih banyak ruang penyimpanan.

    • Pilih berdasarkan dimensi keluaran model embedding Anda.

    Untuk informasi selengkapnya tentang persyaratan dimensi, lihatKeterbatasan dan pembatasan.

  7. Untuk metrik Jarak, pilih salah satu opsi berikut:

    • Cosinus — Mengukur kosinus sudut antar vektor. Terbaik untuk vektor yang dinormalisasi dan ketika arah lebih penting daripada besarnya

    • Euclidean — Mengukur jarak garis lurus antara vektor. Terbaik ketika arah dan besarnya penting.

  8. (Opsional) Di bawah metadata yang tidak dapat difilter, konfigurasikan kunci metadata yang akan disimpan tetapi tidak digunakan untuk pemfilteran:

    Untuk menambahkan kunci metadata yang tidak dapat difilter:

    1. Pilih Tambah kunci.

    2. Masukkan nama kunci (1-63 karakter dan unik dalam indeks vektor ini).

    3. Ulangi untuk menambahkan tombol tambahan (maksimum 10 tombol).

    catatan

    Anda dapat melampirkan metadata yang dapat difilter sebagai pasangan nilai kunci ke setiap vektor saat Anda memasukkan data vektor setelah Anda membuat indeks vektor. Secara default, semua kunci metadata yang dilampirkan ke vektor dapat difilter dan dapat digunakan sebagai filter dalam kueri kesamaan. Hanya kunci metadata yang ditetapkan sebagai tidak dapat difilter selama pembuatan indeks vektor yang dikecualikan dari pemfilteran. Untuk informasi selengkapnya tentang batas ukuran metadata per vektor, termasuk batasan metadata total dan dapat difilter, lihat. Keterbatasan dan pembatasan

  9. Tinjau konfigurasi Anda dengan cermat.

    catatan

    Pengaturan ini tidak dapat diubah setelah pembuatan.

  10. Di bawah Enkripsi, pilih Tentukan jenis enkripsi. Anda memiliki opsi untuk Menggunakan pengaturan bucket untuk enkripsi atau mengganti pengaturan enkripsi untuk indeks vektor. Jika Anda mengganti pengaturan tingkat ember, Anda memiliki opsi untuk menentukan jenis enkripsi untuk indeks vektor sebagai enkripsi sisi Server dengan kunci Layanan Manajemen AWS Kunci (SSE-KMS) atau enkripsi sisi Server dengan kunci terkelola Amazon S3 (SSE-S3). Untuk informasi selengkapnya tentang pengaturan konfigurasi enkripsi untuk indeks vektor, lihatPerlindungan data dan enkripsi di Vektor S3.

  11. Di bawah Tag (Opsional), Anda dapat menambahkan tag sebagai pasangan nilai kunci untuk membantu melacak dan mengatur biaya indeks vektor menggunakan AWS Billing and Cost Management. Masukkan Kunci dan Nilai. Untuk menambahkan tag lainnya, pilih Tambahkan tag. Anda dapat memasukkan hingga 50 tag untuk indeks vektor. Untuk informasi selengkapnya, lihat Menggunakan tag dengan ember vektor S3.

  12. Pilih Buat indeks vektor.

Untuk membuat indeks vektor dalam bucket vektor, gunakan contoh perintah berikut dan ganti user input placeholders dengan informasi Anda sendiri.

Contoh 1: Membuat indeks vektor dengan kunci metadata yang tidak dapat difilter


aws s3vectors create-index \
  --vector-bucket-name "amzn-s3-demo-vector-bucket" \
  --index-name "idx" \
  --data-type "float32" \
  --dimension 1 \
  --distance-metric "cosine" \
  --metadata-configuration '{"nonFilterableMetadataKeys":["nonFilterableKey1"]}'

Contoh 2: Membuat indeks vektor tanpa kunci metadata yang tidak dapat difilter


aws s3vectors create-index \
  --vector-bucket-name "amzn-s3-demo-vector-bucket" \
  --index-name "idx2" \
  --data-type "float32" \
  --dimension 4096 \
  --distance-metric "euclidean"

Selain itu, semua metadata (baik yang dapat difilter maupun yang tidak dapat difilter) diambil dengan cara yang sama dengan menggunakan,, atau operasi API. GetVectors ListVectors QueryVectors Perintah CLI berikut menunjukkan cara mengambil vektor dengan metadata (termasuk metadata yang tidak dapat difilter).

Permintaan contoh:

aws s3vectors get-vectors \
  --vector-bucket-name "amzn-s3-demo-vector-bucket" \
  --index-name "idx" \
  --keys '["vec1", "vec3"]' \
  --return-data \
  --return-metadata \

Contoh respons: 

{
    "vectors": [
        {
            "key": "vec1",
            "data": {
                "float32": [
                    0.10000000149011612,
                    0.20000000298023224,
                    0.30000001192092896,
                    0.4000000059604645,
                    0.5
                ]
            },
            "metadata": {
                "category": "test",
                "text": "First vector"
            }
        },
        {
            "key": "vec3",
            "data": {
                "float32": [
                    0.6000000238418579,
                    0.699999988079071,
                    0.800000011920929,
                    0.8999999761581421,
                    1.0
                ]
            },
            "metadata": {
                "text": "Third vector",
                "category": "test"
            }
        }
    ]
}

Respons akan mencakup semua metadata yang terkait dengan vektor, terlepas dari apakah itu ditentukan sebagai dapat disaring atau tidak dapat disaring selama pembuatan indeks.

SDK for Python
import boto3

# Create a S3 Vectors client in the AWS Region of your choice. 
s3vectors = boto3.client("s3vectors", region_name="us-west-2")

#Create a vector index "movies" in the vector bucket "media-embeddings" without non-filterable metadata keys
s3vectors.create_index(
    vectorBucketName="media-embeddings",
    indexName="movies",
    dimension=3,
    distanceMetric="cosine",
    dataType = "float32"
)


#Create a vector index "movies" in the vector bucket "media-embeddings" with non-filterable metadata keys
s3vectors.create_index(
    vectorBucketName="media-embeddings",
    indexName="movies",
    dimension=3,
    distanceMetric="cosine",
    dataType = "float32",
    metadataConfiguration= {"nonFilterableMetadataKeys": ["nonFilterableMetadataKey1"]}
)