View a markdown version of this page

Pemanggilan Model - Amazon CloudWatch
Mengaktifkan pemanggilan model di Amazon Bedrock

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Pemanggilan Model

CloudWatch observabilitas AI generatif memungkinkan Anda memantau kinerja Model Invocations. Anda dapat melacak metrik seperti jumlah pemanggilan, penggunaan token, dan kesalahan menggunakan tampilan di luar kotak. Untuk visibilitas terperinci ke dalam konten pemanggilan, seperti input dan output, aktifkan pencatatan Invoc asi Bedrock dan kirim log ke. CloudWatch Untuk informasi selengkapnya, lihat Menyi CloudWatch apkan tujuan Log dan Membantu melindungi data log sensitif dengan masking.

Mengaktifkan pemanggilan model di Amazon Bedrock

catatan

Anda harus mengaktifkan log pemanggilan Model di Amazon Bedrock untuk melihat pemanggilan.

Untuk mengaktifkan pencatatan pemanggilan model di Amazon Bedrock, ikuti langkah-langkah berikut.

  1. Buka konsol Amazon Bedrock di https://console.aws.amazon.com/bedrock/.

  2. Pilih Pengaturan.

  3. Di bawah Model pemanggilan logging, pilih Model pemanggilan logging.

  4. Pilih jenis data yang diperlukan untuk disertakan dalam log. Pilih untuk mengirim CloudWatch log ke Log saja atau Amazon S3 dan CloudWatch Logs jika Anda sudah menerbitkan ke Amazon S3.

  5. Di bawah konfigurasi CloudWatch Log, buat nama grup log dan pilih peran layanan yang sesuai.

  6. Pilih jenis data yang diperlukan untuk disertakan dalam log.

  7. Pilih Simpan pengaturan

    Anda dapat melihat dasbor pra-konfigurasi secara otomatis saat mulai menggunakan pemanggilan Amazon Bedrock. Setelah mengaktifkanModel Invocation logging, Anda dapat melihat dasbor default dan mengakses tabel pemanggilan di bawahnya.

observabilitas AI generatif.

  • Jumlah pemang gilan — Jumlah permintaan yang berhasil untuk operasi Converse,, ConverseStream InvokeModel, dan API InvokeModelWithResponseStream

  • Latensi pemanggilan — Latensi pemanggilan

  • Hitungan Token berdasarkan Model — Jumlah token berdasarkan model yang digambarkan oleh jumlah token input dan jumlah token keluaran

  • Hitungan Token Harian berdasarkan ModelID — Jumlah token total harian berdasarkan ID model

  • InputTokenCount, OutputTokenCount — Jumlah total token dalam input dan output di akun ini di seluruh model yang dipilih

  • Permintaan, dikelompokkan berdasarkan token input — Jumlah permintaan yang dikelompokkan berdasarkan token input ke dalam 6 rentang. Setiap baris mewakili jumlah permintaan yang termasuk dalam rentang tertentu

  • Pembatas Pemanggilan — Jumlah pemanggilan yang dibatasi oleh sistem. Jumlah throttle yang Anda lihat akan tergantung pada pengaturan coba ulang Anda di SDK. Untuk informasi selengkapnya, lihat Per il aku Coba Ulang di AWS Panduan Referensi SDK dan Alat

  • Hitungan Kesalahan Pemanggilan — Hitungan pemanggilan yang mengakibatkan kesalahan sisi server dan sisi klien

Untuk menggunakan dasbor pemanggilan model, ikuti langkah-langkah ini.

  1. Arahkan kursor ke grafik metrik apa pun untuk melihat detail pemanggilan. Anda dapat memilih ikon Alarm untuk mengatur Alarms untuk memantau kualitas dan kinerja aplikasi.

  2. Di bawah menu drop-down ModelId, Anda dapat memilih ID model untuk melihat metrik yang sesuai.

  3. Pilih Lihat di CloudWatch metrik untuk melihat metrik dasbor di bawah CloudWatch.

  4. Pilih Periode override untuk menyesuaikan kerangka waktu metrik (misalnya, 1 menit, 1 jam, atau 6 jam).

  5. Di bawah Pemang gilan, pilih ID Per mintaan untuk melihat detail permintaan. Anda dapat melihat detail input dan output pemanggilan model di panel kanan.

Pemanggilan Model - Meminta tampilan ID.

Pada halaman ID Permintaan, di bawah drop-down Tindakan, pilih Lihat di Logs Wawasan untuk melihat log masuk CloudWatch. Untuk informasi selengkapnya, lihat Menganalisis data CloudWatch log dengan Logs Insights.