Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Pantau inferensi batuan dasar runtime menggunakan metrik CloudWatch
bedrock-runtime.Titik akhir Amazon Bedrock menerbitkan metrik ke CloudWatch Amazon di bawah namespace. region.amazonaws.com.rproxy.govskope.caAWS/Bedrock Gunakan metrik ini untuk memantau volume pemanggilan, latensi, konsumsi token, tingkat kesalahan, dan pengiriman pencatatan pemanggilan model.
Jika aplikasi Anda memanggil inferensibedrock-mantle., lihat Pantau inferensi mantel dasar menggunakan metrik CloudWatch sebagai gantinya.region.api.aws
Metrik runtime Amazon Bedrock
Tabel berikut menjelaskan metrik runtime yang disediakan oleh Amazon Bedrock.
| Nama metrik | Unit | Deskripsi |
|---|---|---|
| Invokasi | SampleCount | Jumlah permintaan yang berhasil untuk operasi Converse, ConverseStream, InvokeModel, dan InvokeModelWithResponseStreamAPI. |
|
InvocationLatency |
MilliSeconds |
Waktu dari saat permintaan dikirim ke saat token terakhir diterima. Untuk membedakan peningkatan latensi yang disebabkan oleh perubahan throughput sisi layanan dari peningkatan yang disebabkan oleh respons model yang lebih lama, lihat. Mendiagnosis InvocationLatencypeningkatan menggunakan token keluaran per detik (OTPS) |
|
InvocationClientErrors |
SampleCount |
Jumlah pemanggilan yang menghasilkan kesalahan sisi klien. |
|
InvocationServerErrors |
SampleCount |
Jumlah pemanggilan yang menghasilkan kesalahan sisi AWS server. |
|
InvocationThrottles |
SampleCount |
Jumlah pemanggilan yang dibatasi oleh sistem. Permintaan yang dibatasi dan kesalahan pemanggilan lainnya tidak dihitung sebagai Pemanggilan atau Kesalahan. Jumlah throttle yang Anda lihat akan tergantung pada pengaturan coba ulang Anda di SDK. Untuk informasi selengkapnya, lihat Mencoba lagi perilaku di AWS SDK dan Panduan Referensi Alat. |
|
InputTokenCount |
SampleCount |
Jumlah token dalam input. |
| LegacyModelInvocations | SampleCount | Jumlah pemanggilan menggunakan model Legacy |
|
OutputTokenCount |
SampleCount |
Jumlah token dalam output. |
|
OutputImageCount |
SampleCount |
Jumlah gambar dalam output (hanya berlaku untuk model pembuatan gambar). |
|
TimeToFirstToken |
MilliSeconds |
Waktu dari saat permintaan dikirim ke saat token pertama diterima, untuk operasi API ConverseStreamdan InvokeModelWithResponseStreamstreaming. |
|
EstimatedTPMQuotaUsage |
SampleCount |
Estimasi konsumsi kuota Token Per Menit (TPM) di seluruh operasi Converse,, ConverseStreamInvokeModel, dan InvokeModelWithResponseStreamAPI. Metrik ini adalah perkiraan dan tidak mencerminkan konsumsi token berbasis reservasi yang mendorong keputusan pelambatan. Throttling didasarkan pada reservasi awal token input plus |
|
CacheReadInputTokens |
SampleCount |
Jumlah token masukan yang dibaca dari cache prompt. Token ini dibebankan pada tingkat yang lebih rendah dan tidak dihitung terhadap kuota TPM Anda. |
|
CacheWriteInputTokens |
SampleCount |
Jumlah token masukan yang ditulis ke cache prompt. Token ini dihitung dalam kuota TPM Anda. |
Ada juga metrik untuk Amazon Bedrock Guardrails dan Amazon Bedrock Agents.
Metrik pencatatan pemanggilan model CloudWatch
Untuk setiap upaya keberhasilan atau kegagalan pengiriman, CloudWatch metrik Amazon berikut akan dipancarkan di bawah namespaceAWS/Bedrock, dan dimensi: Across all model IDs
-
ModelInvocationLogsCloudWatchDeliverySuccess -
ModelInvocationLogsCloudWatchDeliveryFailure -
ModelInvocationLogsS3DeliverySuccess -
ModelInvocationLogsS3DeliveryFailure -
ModelInvocationLargeDataS3DeliverySuccess -
ModelInvocationLargeDataS3DeliveryFailure
Untuk mengambil metrik untuk operasi Amazon Bedrock, Anda menentukan informasi berikut:
-
Dimensi metrik. Dimensi adalah sekumpulan pasangan nama-nilai yang Anda gunakan untuk mengidentifikasi metrik. Amazon Bedrock mendukung dimensi berikut:
-
ModelId— semua metrik -
ModelId + ImageSize + BucketedStepSize– OutputImageCount
-
-
Nama metrik, seperti
InvocationClientErrors.
Anda bisa mendapatkan metrik untuk Amazon Bedrock dengan Konsol Manajemen AWS, the AWS CLI, atau API. CloudWatch Anda dapat menggunakan CloudWatch API melalui salah satu Kit Pengembangan Perangkat AWS Lunak (SDK) atau alat CloudWatch API.
Untuk melihat metrik Amazon Bedrock di CloudWatch konsol, buka bagian metrik di panel navigasi dan pilih opsi semua metrik, lalu cari ID model.
Anda harus memiliki CloudWatch izin yang sesuai untuk memantau Amazon Bedrock dengan CloudWatch Untuk informasi selengkapnya, lihat Otentikasi dan Kontrol Akses untuk Amazon CloudWatch di Panduan Pengguna Amazon CloudWatch .
