Observabilitas AI generatif - Amazon CloudWatch

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Observabilitas AI generatif

Dengan Amazon CloudWatch, Anda dapat mengamati beban kerja AI generatif, termasuk AgentCore agen Amazon Bedrock, dan mendapatkan wawasan tentang kinerja, kesehatan, dan akurasi AI. CloudWatch menyediakan tampilan pra-konfigurasi ke latensi, penggunaan, dan kesalahan beban kerja AI Anda, memungkinkan Anda mendeteksi masalah lebih cepat dalam komponen seperti model dan agen. End-to-endpenelusuran cepat membantu Anda dengan cepat mengidentifikasi masalah dalam komponen seperti basis pengetahuan, alat, dan model. CloudWatchKemampuan pemantauan AI kompatibel dengan kerangka kerja orkestrasi AI generatif populer seperti AWS Strands,, dan LangChain LangGraph, menawarkan fleksibilitas dengan kerangka kerja pilihan Anda.

CloudWatch observabilitas AI generatif memungkinkan Anda untuk:

CloudWatch observabilitas AI generatif menyediakan dua dasbor pra-bangun:

catatan

Anda harus mengaktifkan Amazon Bedrock untuk melihat dasbor Model Invocation.

  • Pemanggilan Model — Metrik terperinci tentang penggunaan model, konsumsi token, dan biaya

  • AgentCore Agen Amazon Bedrock — Metrik kinerja dan keputusan untuk agen Amazon Bedrock

Metrik utama yang tersedia di dasbor ini meliputi:

  • Pemanggilan total dan rata-rata

  • Penggunaan token (total, rata-rata per kueri, input, output)

  • Latensi (rata-rata, P90, P99)

  • Tingkat kesalahan dan peristiwa pelambatan

  • Atribusi biaya berdasarkan aplikasi, peran pengguna, atau pengguna tertentu