View a markdown version of this page

Pengamatan AI generatif - Amazon CloudWatch

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Pengamatan AI generatif

Dengan Amazon CloudWatch, Anda dapat mengamati beban kerja AI generatif, termasuk AgentCore agen Amazon Bedrock, dan mendapatkan wawasan tentang kinerja, kesehatan, dan akurasi AI. CloudWatch menyediakan tampilan pra-konfigurasi ke latensi, penggunaan, dan kesalahan beban kerja AI Anda, memungkinkan Anda mendeteksi masalah lebih cepat pada komponen seperti model dan agen. End-to-end pelacakan cepat membantu Anda mengidentifikasi masalah dalam komponen seperti basis pengetahuan, alat, dan model dengan cepat. CloudWatchkemampuan pemantauan AI kompatibel dengan kerangka kerja orkestrasi AI generatif populer seperti Strands AWS ,, dan LangChain LangGraph, menawarkan fleksibilitas dengan kerangka kerja pilihan Anda.

CloudWatch observabilitas AI generatif memungkinkan Anda untuk:

  • Menilai kualitas dan akurasi aplikasi AI dalam skala besar melalui pemantauan otomatis, mengurangi persyaratan peninjauan manual dengan menangkap keluaran model, metrik kualitas respons, dan interaksi pengguna akhir

  • Memantau pemanggilan model, Agen (dikelola, di-host sendiri, dan pihak ketiga), basis pengetahuan, pagar pembatas, dan alat

  • Kemajuan dari eksperimen agen hingga produksi aplikasi AI generatif yang inovatif sambil memastikan kualitas, kinerja, dan keandalan yang unggul. Untuk informasi lebih lanjut, lihat Apa itu Amazon Bedrock? AgentCore

  • Identifikasi sumber kesalahan dengan cepat menggunakan pelacakan prompt end-to-end, metrik yang dikuratori, dan log

  • Memecahkan masalah di seluruh aplikasi AI generatif dan infrastruktur yang mendasarinya, memanfaatkan alat CloudWatch pengamatan yang ada seperti Sinyal Aplikasi, Alarm, Dasbor, perlindungan data sensitif, dan Wawasan Log https://docs.aws.amazon.com/AmazonCloudWatch/latest/logs/AnalyzingLogData.html

  • Akses pelacakan prompt saat menggunakan Amazon Bedrock, dan kirim jejak terstruktur model pihak ketiga untuk CloudWatch menggunakan ADOT SDK. Untuk informasi tentang menambahkan observabilitas ke AgentCore agen atau alat Amazon Bedrock Anda, lihat Amazon Bedrock AgentCore

CloudWatch observabilitas AI generatif menyediakan dua kemampuan pra-bangun:

catatan

Anda dapat menggunakan dasbor Pem anggilan Model dengan menggunakan model apa pun untuk inferensi di Amazon Bedrock.

  • Pemanggilan Model — Dasbor metrik terperinci tentang penggunaan model, konsumsi token, dan tabel log pemanggilan yang dikuratori untuk melihat konten input dan output terperinci dari kesimpulan model

  • Agen Amazon Bed AgentCore rock — Metrik kinerja dan keputusan untuk primitif Amazon Bedrock AgentCore seperti Agen, Memori, Alat, Gateway, Built-in dan Identitas

Metrik utama yang tersedia di dasbor ini meliputi:

  • Total dan rata-rata pemanggilan

  • Penggunaan token (total, rata-rata per kueri, input, output)

  • Latensi (rata-rata, P90, P99)

  • Tingkat kesalahan dan peristiwa pelambatan

  • Atribusi biaya berdasarkan aplikasi, peran pengguna, atau pengguna tertentu

Topik