Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Pantau inferensi runtime dasar menggunakan metrik CloudWatch
Titik akhir Amazon Bedrock bedrock-runtime. menerbitkan metrik ke Amazon CloudWatch di bawah region.amazonaws.com.rproxy.govskope.caAWS/Bedrock namespace. Gunakan metrik ini untuk memantau volume pemanggilan, latensi, konsumsi token, tingkat kesalahan, dan pengiriman log pemanggilan model.
Jika aplikasi Anda memanggil inferensi melaluibedrock-mantle., lihat sebagai Pantau inferensi mantel dasar menggunakan metrik CloudWatch gantinya.region.api.aws
Metrik runtime Amazon Bedrock
Tabel berikut menjelaskan metrik runtime yang disediakan oleh Amazon Bedrock.
| Nama metrik | Unit | Deskripsi |
|---|---|---|
| Invokasi | Hitungan | Jumlah permintaan yang berhasil untuk operasi Converse, ConverseStream, InvokeModel, dan InvokeModelWithResponseStream API. |
|
InvocationLatency |
MilliSeconds |
Waktu dari saat permintaan dikirim hingga saat token terakhir diterima. Untuk membedakan peningkatan latensi yang disebabkan oleh perubahan throughput sisi layanan dari peningkatan yang disebabkan oleh respons model yang lebih lama, lihat. Mendiagnosis InvocationLatencypeningkatan menggunakan token keluaran per detik (OTPS) |
|
InvocationClientErrors |
Hitungan |
Jumlah pemanggilan yang mengakibatkan kesalahan sisi klien. |
|
InvocationServerErrors |
Hitungan |
Jumlah pemanggilan yang mengakibatkan kesalahan sisi AWS server. |
|
InvocationThrottles |
Hitungan |
Jumlah pemanggilan yang dibatasi oleh sistem. Permintaan yang dibatasi dan kesalahan pemanggilan lainnya tidak dihitung sebagai Pemanggilan atau Kesalahan. Jumlah throttle yang Anda lihat akan tergantung pada pengaturan coba ulang Anda di SDK. Untuk informasi selengkapnya, lihat Per ilaku Coba Ulang di Panduan Refer AWS ensi SDK dan Alat. |
|
InputTokenCount |
Hitungan |
Jumlah token dalam input. |
| LegacyModelInvocations | Hitungan | Jumlah pemanggilan menggunakan model Legacy https://docs.aws.amazon.com/bedrock/latest/APIReference/API_FoundationModelLifecycle.html |
|
OutputTokenCount |
Hitungan |
Jumlah token dalam output. |
|
OutputImageCount |
Hitungan |
Jumlah gambar dalam output (hanya berlaku untuk model pembuatan gambar). |
|
TimeToFirstToken |
MilliSeconds |
Waktu dari saat permintaan dikirim ke saat token pertama diterima, untuk operasi ConverseStream dan InvokeModelWithResponseStream streaming API. |
|
EstimatedTPMQuotaUsage |
Hitungan |
Perkiraan konsumsi kuota Token Per Menit (TPM) di seluruh operasi Converse, ConverseStream, InvokeModel, dan InvokeModelWithResponseStream API. Metrik ini merupakan perkiraan dan tidak mencerminkan konsumsi token berbasis reservasi yang mendorong keputusan pelambatan. Throttling didasarkan pada reservasi awal token input plus |
|
CacheReadInputTokenCount |
Hitungan |
Jumlah token input yang dibaca dari cache prompt. Token ini dikenakan tarif yang lebih murah dan tidak dihitung dalam kuota TPM Anda. |
|
CacheWriteInputTokenCount |
Hitungan |
Jumlah token input yang ditulis ke cache prompt. Token ini dihitung dalam kuota TPM Anda. |
Ada juga metrik untuk Amazon Bedrock Guardrails dan Amazon Bedrock Agents.
Metrik pencatatan pemanggilan model CloudWatch
Untuk setiap upaya pengiriman berhasil atau gagal, CloudWatch metrik Amazon berikut dipancarkan di bawah namespaceAWS/Bedrock, dan Across all model IDs dimensi:
-
ModelInvocationLogsCloudWatchDeliverySuccess -
ModelInvocationLogsCloudWatchDeliveryFailure -
ModelInvocationLogsS3DeliverySuccess -
ModelInvocationLogsS3DeliveryFailure -
ModelInvocationLargeDataS3DeliverySuccess -
ModelInvocationLargeDataS3DeliveryFailure
Untuk mengambil metrik untuk operasi Amazon Bedrock Anda, Anda menentukan informasi berikut:
-
Dimensi metrik. Dimensi adalah sekumpulan pasangan nama-nilai yang Anda gunakan untuk mengidentifikasi metrik. Amazon Bedrock mendukung dimensi berikut:
-
ModelId— semua metrik -
ModelId + ImageSize + BucketedStepSize– OutputImageCount
-
-
Nama metrik, seperti
InvocationClientErrors.
Anda bisa mendapatkan metrik untuk Amazon Bedrock dengan Konsol Manajemen AWS, the AWS CLI, atau CloudWatch API. Anda dapat menggunakan CloudWatch API melalui salah satu AWS Perangkat Pengembangan Perangkat Lunak (SDK) atau alat CloudWatch API.
Untuk melihat metrik Amazon Bedrock di CloudWatch konsol, buka bagian metrik di panel navigasi dan pilih opsi semua metrik, lalu cari ID model.
Anda harus memiliki CloudWatch izin yang sesuai untuk memantau Amazon Bedrock dengan CloudWatch Untuk informasi selengkapnya, lihat Oten tikasi dan Kontrol Akses untuk Amazon CloudWatch di Panduan CloudWatch Pengguna Amazon.
