Observabilitas AI generatif

Menilai kualitas dan akurasi aplikasi AI dalam skala besar melalui pemantauan otomatis, mengurangi persyaratan tinjauan manual dengan menangkap output model, metrik kualitas respons, dan interaksi pengguna akhir

Memantau pemanggilan model, Agen (dikelola, dihosting sendiri, dan pihak ketiga), basis pengetahuan, pagar pembatas, dan alat

Kemajuan dari eksperimen agen hingga produksi aplikasi GenAI inovatif sambil memastikan kualitas, kinerja, dan keandalan yang unggul. Untuk informasi lebih lanjut, lihat Apa itu Amazon Bedrock? AgentCore

Identifikasi sumber kesalahan dengan cepat menggunakan penelusuran end-to-end cepat, metrik yang dikurasi, dan log

Memecahkan masalah di seluruh aplikasi GenAI dan infrastruktur yang mendasarinya, memanfaatkan alat CloudWatch pengamatan yang ada seperti Sinyal Aplikasi, Alarm, Dasbor, Perlindungandata Sensitif, dan Wawasan Log

Akses jejak prompt saat menggunakan Amazon Bedrock, dan kirim jejak terstruktur model pihak ketiga untuk CloudWatch menggunakan ADOT SDK. Untuk informasi tentang menambahkan observabilitas ke AgentCore agen atau alat Amazon Bedrock Anda, lihat Amazon Bedrock AgentCore

Pemanggilan Model — Dasbor metrik terperinci tentang penggunaan model, konsumsi token, dan tabel log pemanggilan yang dikuratori untuk melihat konten input dan output terperinci dari inferensi model

AgentCore Agen Amazon Bedrock — Metrik kinerja dan keputusan untuk primitif Amazon Bedrock AgentCore seperti Agen, Memori, Alat Bawaan, Gateway, dan Identitas

Pemanggilan total dan rata-rata

Penggunaan token (total, rata-rata per kueri, input, output)

Latensi (rata-rata, P90, P99)

Tingkat kesalahan dan peristiwa pelambatan

Atribusi biaya berdasarkan aplikasi, peran pengguna, atau pengguna tertentu