View a markdown version of this page

GPU-acceleration untuk pengindeksan vektor - OpenSearch Layanan Amazon
PrasyaratCara kerjanyaHarga Akselerasi GPUGPU-acceleration dan menulis operasiKonfigurasi indeks yang didukungDidukung Wilayah AWSPraktik terbaik

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

GPU-acceleration untuk pengindeksan vektor

GPU-acceleration membantu Anda membangun database vektor skala besar lebih cepat dan lebih efisien. Anda dapat mengaktifkan fitur ini pada OpenSearch domain baru atau yang sudah ada dan koleksi OpenSearch Tanpa Server. Fitur ini digunakan GPU-acceleration untuk mengurangi waktu yang dibutuhkan untuk mengindeks data ke dalam indeks vektor.

Dengan GPU-acceleration, Anda dapat meningkatkan kecepatan pengindeksan vektor hingga 10X pada seperempat dari biaya pengindeksan.

Prasyarat

GPU-acceleration didukung pada OpenSearch domain yang menjalankan OpenSearch versi 3.1 atau yang lebih baru, dan koleksi OpenSearch Tanpa Server. Untuk informasi selengkapnya, lihat Memutakhirkan domain OpenSearch Layanan Amazon UpdateDomainConfig,, dan UpdateCollection API.

Cara kerjanya

Indeks vektor memerlukan sumber daya komputasi yang signifikan untuk membangun struktur data seperti grafik Hierarchical Navigable Small Worlds (HNSW). Saat Anda mengaktifkan GPU-acceleration di domain atau koleksi Anda, OpenSearch secara otomatis mendeteksi peluang untuk mempercepat build indeks Anda dan menurunkan build indeks ke instans GPU. OpenSearch Layanan mengelola instans GPU atas nama Anda, menetapkannya ke domain atau koleksi Anda bila diperlukan. Ini berarti Anda tidak mengelola pemanfaatan atau membayar waktu idle.

Anda membayar hanya untuk pemrosesan yang berguna melalui Compute Units (OCU) - Vektor Acceleration. Setiap OCU Vector Acceleration adalah kombinasi dari sekitar 8 GiB memori CPU, 2 vCPU, dan 6 GiB memori GPU. Untuk informasi selengkapnya, lihat Harga Akselerasi GPU.

Untuk mengaktifkan akselerasi GPU untuk domain atau koleksi Anda, lihatMengaktifkan GPU-acceleration.

Harga Akselerasi GPU

AWS membebankan biaya saat OpenSearch mendeteksi peluang untuk mempercepat beban kerja pembuatan indeks domain atau koleksi Anda. Setiap OCU Vector Acceleration adalah kombinasi dari sekitar 8 GiB memori CPU, 2 vCPU, dan 6 GiB memori GPU.

AWS tagihan OCU dengan perincian tingkat kedua. Dalam laporan akun Anda, Anda akan melihat entri untuk menghitung di OCU-hours.

Misalnya, saat Anda menggunakan GPU-acceleration selama satu jam untuk membuat indeks, menggunakan 2 vCPU dan 1 GiB memori GPU, Anda akan ditagih 1 OCU. Jika Anda menggunakan memori CPU 9 GiB saat menggunakan GPU-acceleration, Anda akan ditagih 2 OCU.

OpenSearch Tanpa server menambahkan OCU tambahan dengan penambahan 1 OCU berdasarkan daya komputasi dan penyimpanan yang diperlukan untuk mendukung koleksi Anda. Anda dapat mengonfigurasi jumlah maksimum OCU untuk akun Anda untuk mengontrol biaya.

catatan

Jumlah OCU yang disediakan setiap saat dapat bervariasi dan tidak tepat. Seiring waktu, algoritma yang OpenSearch digunakan dan OpenSearch Serverless akan terus meningkat untuk meminimalkan penggunaan sistem dengan lebih baik.

Untuk detail harga lengkap, lihat Harga OpenSearch Layanan Amazon.

GPU-acceleration dan menulis operasi

GPU-acceleration diaktifkan ketika OpenSearch tingkat konsumsi vektor (MB/sec) berada dalam kisaran. Pada OpenSearch domain, Anda memiliki fleksibilitas untuk mengonfigurasi rentang ini melalui index.knn.remote_index_build.size.min danindex.knn.remote_index_build.size.max. Misalnya, dengan default rentang bawah 50 MB, penulisan 15.000 vektor presisi penuh dengan dimensi 768 antara interval penye garan akan dipicu secara GPU-acceleration default.

Data ditulis dengan operasi API berikut:

GPU-acceleration diaktifkan dengan penggabungan segmen otomatis dan manual.

Konfigurasi indeks yang didukung

Mesin Faiss mendukung GPU-acceleration.

Konfigurasi berikut tidak mendukung GPU-acceleration:

Didukung Wilayah AWS

GPU-acceleration tersedia sebagai berikut Wilayah AWS:

  • Timur AS (N. Virginia)

  • AS Timur (Ohio)

  • AS Barat (Oregon)

  • Asia Pasifik (Sydney)

  • Asia Pasifik (Tokyo)

  • Asia Pasifik (Mumbai)

  • Eropa (Irlandia)

  • Eropa (Frankfurt)

  • Eropa (Stockholm)

  • Eropa (Spanyol)

Praktik terbaik

Ikuti praktik terbaik berikut untuk memaksimalkan manfaat GPU-acceleration beban kerja pencarian vektor Anda:

  • Tingkatkan klien indeks - Untuk memanfaatkan sepenuhnya GPU selama pembuatan indeks, tingkatkan jumlah klien indeks yang menelan data ke dalamnya. OpenSearch Hal ini memungkinkan paralelisasi dan pemanfaatan sumber daya GPU yang lebih baik.

  • Sesuaikan ambang perkiraan - U index.knn.advanced.approximate_threshold bah pengaturan untuk memastikan bahwa pembuatan indeks segmen yang lebih kecil tidak terjadi, yang meningkatkan kecepatan konsumsi secara keseluruhan. Nilai 10.000 adalah titik awal yang baik. Untuk koleksi, Anda harus secara eksplisit menentukan nilai untuk pengaturan ini.

  • Optimalkan ukuran pecahan - Coba buat pecahan yang memiliki setidaknya 1 juta dokumen. Pecahan dengan jumlah dokumen yang kurang dari ini mungkin tidak melihat manfaat secara keseluruhan. GPU-acceleration