Doa Model - Amazon CloudWatch
Mengaktifkan pemanggilan model di Amazon Bedrock

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Doa Model

CloudWatch observabilitas AI generatif memungkinkan Anda memantau kinerja Model Invocations. Anda dapat melacak metrik seperti jumlah pemanggilan, penggunaan token, dan kesalahan menggunakan tampilan. out-of-box Untuk visibilitas mendetail ke dalam konten pemanggilan, seperti input dan output, aktifkan logging Pemanggilan Batuan Dasar dan kirim log ke. CloudWatch Untuk informasi selengkapnya, lihat Menyiapkan tujuan CloudWatch Log dan Membantu melindungi data log sensitif dengan masking.

Mengaktifkan pemanggilan model di Amazon Bedrock

catatan

Anda harus mengaktifkan pencatatan pemanggilan Model di Amazon Bedrock untuk melihat pemanggilan.

Ikuti langkah-langkah ini untuk mengaktifkan pencatatan pemanggilan model di Amazon Bedrock:

  1. Buka konsol Amazon Bedrock di https://console.aws.amazon.com/bedrock/.

  2. Pilih Pengaturan.

  3. Di bawah Pencatatan pemanggilan model, pilih Pencatatan pemanggilan model.

  4. Pilih tipe data yang diperlukan untuk disertakan dalam log. Pilih untuk mengirim log ke CloudWatch Log saja atau Amazon S3 dan CloudWatch Log.

  5. Di bawah konfigurasi CloudWatch Log, buat nama grup log dan pilih peran layanan yang sesuai.

  6. Pilih tipe data yang diperlukan untuk disertakan dalam log.

  7. Pilih Simpan pengaturan

    Anda dapat melihat dasbor pra-konfigurasi secara otomatis saat Anda mulai menggunakan pemanggilan Amazon Bedrock. Setelah mengaktifkanModel Invocation logging, Anda dapat melihat dasbor default dan mengakses tabel pemanggilan di bawahnya.

observabilitas AI generatif

  • Jumlah pemanggilan — Jumlah permintaan yang berhasil untuk operasi Converse,, ConverseStreamInvokeModel, dan API InvokeModelWithResponseStream

  • Latensi doa — Latensi pemanggilan

  • Jumlah Token menurut Model — Jumlah token berdasarkan model yang digambarkan oleh jumlah token masukan dan jumlah token keluaran

  • Jumlah Token Harian berdasarkan ModelID — Jumlah token total harian berdasarkan ID model

  • InputTokenCount, OutputTokenCount — Jumlah total token dalam input dan output di akun ini di seluruh model yang dipilih

  • Permintaan, dikelompokkan berdasarkan token masukan — Jumlah permintaan yang dikelompokkan berdasarkan token masukan ke dalam 6 rentang. Setiap baris mewakili jumlah permintaan yang termasuk dalam rentang tertentu

  • Invocation Throttles — Jumlah pemanggilan yang dibatasi oleh sistem. Jumlah throttle yang Anda lihat akan tergantung pada pengaturan coba ulang Anda di SDK. Untuk informasi selengkapnya, lihat Coba lagi perilaku di Panduan Referensi Alat AWS SDKs dan

  • Jumlah Kesalahan Pemanggilan - Jumlah pemanggilan yang menghasilkan kesalahan sisi server dan sisi klien

Ikuti langkah-langkah berikut untuk menggunakan dasbor pemanggilan model:

  1. Arahkan kursor ke grafik metrik apa pun untuk melihat detail pemanggilan. Anda dapat memilih ikon Alarm untuk diatur Alarms untuk memantau kualitas dan kinerja aplikasi. Untuk informasi tentang pengaturan alarm, lihat Alarm. Untuk informasi selengkapnya tentang metrik, lihat metrik runtime Amazon Bedrock.

  2. Di bawah drop-down ModelID, Anda dapat memilih ID model untuk melihat metrik yang sesuai.

  3. Pilih Lihat dalam CloudWatch metrik untuk melihat metrik dasbor di bawah. CloudWatch

  4. Pilih Periode override untuk menyesuaikan jangka waktu metrik (misalnya, 1 menit, 1 jam, atau 6 jam).

  5. Di bawah Pemanggilan, pilih ID Permintaan untuk melihat detail permintaan. Anda dapat melihat detail input dan output pemanggilan model di panel kanan.

Pemanggilan Model - Tampilan ID Permintaan

Pada halaman ID Permintaan, di bawah menu tarik-turun Tindakan, pilih Lihat di Wawasan Log untuk melihat log masuk. CloudWatch Untuk informasi selengkapnya, lihat Menganalisis data CloudWatch log dengan Wawasan Log.