Menggunakan optimasi otomatis di konsol - OpenSearch Layanan Amazon
PrasyaratMembuat pekerjaan konsumsi vektorMemantau pekerjaan optimasiMelihat detail tugasMelihat dan memahami hasilMembangun indeks dari rekomendasi

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Menggunakan optimasi otomatis di konsol

Anda dapat menggunakan konsol OpenSearch Layanan Amazon untuk membuat pekerjaan konsumsi vektor, memantau kemajuannya, melihat rekomendasi pengoptimalan, dan membangun indeks berdasarkan rekomendasi tersebut.

Prasyarat

Sebelum Anda dapat menggunakan optimasi otomatis di konsol, Anda harus memiliki yang berikut:

  • AWS Akun aktif dengan akses ke OpenSearch konsol.

  • Kumpulan pencarian vektor tipe OpenSearch tanpa server yang ada atau domain Terkelola OpenSearch .

  • Izin IAM untuk tindakan berikut:

    • opensearch:SubmitAutoOptimizeJob

    • opensearch:GetAutoOptimizeJob

    • opensearch:DeleteAutoOptimizeJob

    • opensearch:CancelAutoOptimizeJob

    • opensearch:ListAutoOptimizeJobs

    catatan

    Ini adalah kebijakan berbasis identitas. AWS tidak mendukung kebijakan berbasis sumber daya untuk mengoptimalkan sumber daya secara otomatis.

  • Konfigurasikan sesi pengguna federasi Anda untuk memiliki masa berlaku kredensi minimum minimal 1 jam. Untuk kumpulan data yang sangat besar atau dimensi tinggi, pertimbangkan untuk meningkatkan durasi kedaluwarsa hingga 3 jam.

Membuat pekerjaan konsumsi vektor

Pekerjaan konsumsi vektor menganalisis data vektor Anda dan memberikan rekomendasi pengoptimalan untuk konfigurasi indeks.

Untuk membuat pekerjaan konsumsi vektor

  1. Masuk ke konsol OpenSearch Layanan Amazon di Konsol Manajemen AWS.

  2. Di panel navigasi, pilih Optimalkan Otomatis.

  3. Pilih Buat pekerjaan konsumsi vektor.

  4. Di bawah Detail pekerjaan, masukkan nama untuk pekerjaan konsumsi vektor Anda. Nama ini membantu Anda mengidentifikasi pekerjaan di konsol.

  5. Di bawah Sumber data, konfigurasikan hal berikut:

    1. Untuk URI Amazon S3, masukkan URI Amazon S3 dari folder yang berisi file Parket Anda. URI harus menunjuk ke folder terlampir, bukan file individual. Misalnya, jika file Parket Anda ada dis3://my-bucket/my-folder/file1.parquet, masukkans3://my-bucket/my-folder/.

    2. Untuk Wilayah, pilih AWS Wilayah tempat bucket Amazon S3 Anda berada. Wilayah harus sesuai dengan lokasi bucket.

  6. Di bawah OpenSearch domain, pilih domain atau koleksi yang ada, atau pilih Buat baru untuk membuatnya.

    catatan

    Anda dapat menentukan domain OpenSearch Terkelola atau koleksi OpenSearch tanpa server Tanpa Server.

  7. Di bawah Izin sumber data, tentukan peran IAM yang memiliki izin untuk mengakses bucket dan domain atau koleksi Amazon S3 Anda. OpenSearch Peran harus memiliki izin yang diperlukan berdasarkan konfigurasi domain atau koleksi Anda:

    • Untuk OpenSearch domain dengan kebijakan akses domain, berikan akses peran melalui kebijakan tersebut.

    • Untuk OpenSearch domain dengan kontrol akses berbutir halus, tambahkan peran sebagai peran backend.

    • Untuk koleksi OpenSearch Tanpa Server, tambahkan peran ke kebijakan akses data.

  8. Pilih Berikutnya.

  9. Di bawah Konfigurasi indeks, tentukan yang berikut ini:

    1. Untuk nama Field, masukkan nama kolom dari dataset Parket Anda yang berisi data vektor.

    2. Untuk tipe Space, pilih metrik jarak yang digunakan untuk menghitung jarak antar vektor:

      • l2 - Jarak Euclidean

      • cosinesimil - Kesamaan kosinus

      • innerproduct - Produk batin

    3. Untuk Dimensi, masukkan jumlah nilai floating point di setiap vektor.

  10. Di bawah persyaratan Kinerja, konfigurasikan hal berikut:

    1. Untuk Recall, tentukan kualitas pencarian yang Anda inginkan sebagai nilai desimal antara 0 dan 1. Nilai recall yang lebih tinggi mengembalikan hasil yang lebih relevan. Contoh:

      • 0,95 menunjukkan bahwa rata-rata 19 dari 20 vektor dokumen terdekat yang benar ke vektor kueri dikembalikan

      • 0,9 menunjukkan 9 dalam 10

      • 0,8 menunjukkan 8 dalam 10

    2. Untuk persyaratan latensi Penelusuran, pilih toleransi latensi Anda. Persyaratan sederhana memungkinkan penghematan biaya lebih melalui metode kompresi yang mengurangi kebutuhan memori.

  11. Pilih Berikutnya.

  12. Tinjau konfigurasi Anda dan pilih Buat.

Pekerjaan mulai diproses. Anda dapat memantau kemajuannya di tabel Vector Ingestion Jobs.

Memantau pekerjaan optimasi

Anda dapat memantau status pekerjaan konsumsi vektor Anda dari halaman arahan optimasi otomatis.

Untuk memantau pekerjaan optimasi

  1. Masuk ke konsol OpenSearch Layanan Amazon di https://console.aws.amazon.com/aos/rumah.

  2. Di panel navigasi, pilih Optimalkan otomatis.

  3. Tabel Vector Ingestion Jobs menampilkan semua pekerjaan dengan statusnya saat ini. Segarkan halaman untuk melihat informasi status yang diperbarui.

    catatan

    Tidak ada mekanisme penyegaran atau notifikasi otomatis. Anda harus menyegarkan konsol secara manual untuk melihat kapan pekerjaan selesai.

Memahami status status pekerjaan

Pekerjaan yang dioptimalkan secara otomatis dapat memiliki nilai status berikut:

Tertunda

Pekerjaan itu antri dan menunggu untuk memulai.

Berjalan

Pekerjaan optimasi otomatis secara aktif menganalisis data Anda dan menghasilkan rekomendasi.

Selesai

Pekerjaan optimasi otomatis telah selesai dengan sukses. Semua analisis, evaluasi, dan rekomendasi lengkap dan tersedia untuk dilihat.

Gagal

Pekerjaan itu mengalami kesalahan. Lihat detail kesalahan di halaman detail pekerjaan untuk menentukan penyebabnya.

Aktif

Indeks telah dibuat di cluster terlampir dan data telah dicerna.

Durasi Job terutama tergantung pada ukuran dataset dan beban layanan saat ini. Pekerjaan tipikal selesai dalam waktu 15 menit hingga beberapa jam.

Melihat detail tugas

Anda dapat melihat informasi terperinci tentang pekerjaan pengoptimalan tertentu, termasuk konfigurasi dan statusnya.

Untuk melihat detail pekerjaan

  1. Masuk ke konsol OpenSearch Layanan Amazon di https://console.aws.amazon.com/aos/rumah.

  2. Di panel navigasi, pilih Optimalkan Otomatis.

  3. Dalam tabel Vector Ingestion Jobs, pilih nama pekerjaan.

  4. Halaman detail pekerjaan menampilkan informasi berikut:

    • Nama dan status Job

    • Konfigurasi sumber data (Amazon S3 URI dan Wilayah)

    • OpenSearch domain atau koleksi

    • Konfigurasi indeks (nama bidang, jenis ruang, dimensi)

    • Persyaratan kinerja (penarikan dan latensi)

    • Pesan galat (jika pekerjaan gagal)

Melihat dan memahami hasil

Setelah pekerjaan selesai dengan sukses, Anda dapat melihat rekomendasi pengoptimalan.

Untuk melihat hasil optimasi

  1. Masuk ke konsol OpenSearch Layanan Amazon di https://console.aws.amazon.com/aos/rumah.

  2. Di panel navigasi, pilih Optimalkan Otomatis.

  3. Dalam tabel Vector Ingestion Jobs, pilih pekerjaan dengan status Selesai.

  4. Halaman hasil menampilkan bagian berikut:

    • Ikhtisar hasil - Menunjukkan estimasi penarikan kualitas pencarian dibandingkan dengan kebutuhan Anda dan jejak memori indeks dibandingkan dengan konfigurasi teratas yang direkomendasikan.

    • Rekomendasi - Daftar hingga tiga rekomendasi pengoptimalan, dipesan dengan rekomendasi teratas sebagai yang paling cocok untuk konfigurasi Anda. Setiap rekomendasi meliputi:

      • Parameter konfigurasi indeks

      • Cari parameter konfigurasi

      • Metrik kinerja yang diharapkan

      • Perkiraan jejak memori

    catatan

    Meskipun rekomendasi dipesan berdasarkan kecocokan terbaik, Anda dapat memilih rekomendasi apa pun yang lebih sesuai dengan kasus penggunaan spesifik Anda. Upaya optimalkan otomatis untuk menemukan kecocokan terdekat dengan kriteria penarikan yang Anda pilih.

Membangun indeks dari rekomendasi

Setelah meninjau rekomendasi pengoptimalan, Anda dapat membuat indeks secara manual menggunakan konfigurasi yang disarankan atau secara otomatis membuat indeks dengan rekomendasi yang dipilih.

Untuk membangun indeks secara otomatis

  1. Masuk ke konsol OpenSearch Layanan Amazon di https://console.aws.amazon.com/aos/rumah.

  2. Di panel navigasi, pilih Optimalkan Otomatis.

  3. Dalam tabel Vector Ingestion Jobs, pilih pekerjaan dengan status Selesai.

  4. Tinjau rekomendasi dan pilih yang ingin Anda gunakan.

  5. Pilih Build index.

  6. Sistem secara otomatis membuat indeks di cluster Anda menggunakan rekomendasi yang dipilih dan menyerap data vektor dari dataset Parket Anda.

Untuk membangun indeks secara manual

  1. Masuk ke konsol OpenSearch Layanan Amazon di https://console.aws.amazon.com/aos/rumah.

  2. Di panel navigasi, pilih Optimalkan Otomatis.

  3. Dalam tabel Vector Ingestion Jobs, pilih pekerjaan dengan status Selesai.

  4. Tinjau rekomendasi dan catat konfigurasi indeks dan parameter konfigurasi pencarian untuk rekomendasi yang Anda pilih.

  5. Gunakan OpenSearch API atau konsol untuk membuat indeks secara manual dengan parameter yang disarankan.