View a markdown version of this page

Pantau inferensi mantel dasar menggunakan metrik CloudWatch - Amazon Bedrock
Metrik inferensiMetrik tokenDimensiMemilih tingkat granularitas yang tepatPerbedaan dari metrik bedrock-runtimeMelihat metrik mantel dasar

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Pantau inferensi mantel dasar menggunakan metrik CloudWatch

OpenAI-compatible Titik akhir Amazon Bedrock (bedrock-mantle.region.api.aws) menerbitkan metrik yang menghadap pelanggan ke Amazon di bawah namespace. CloudWatch AWS/BedrockMantle Gunakan metrik ini untuk memantau volume inferensi, konsumsi token, dan tingkat kesalahan di seluruh proyek Akun AWS, dan model Anda.

Jika aplikasi Anda memanggil inferensi melalui bedrock-runtime.region.amazonaws.com penggunaan Converse,,, atau ConverseStreamInvokeModelInvokeModelWithResponseStream, lihat Metrik runtime Amazon Bedrock sebagai gantinya. bedrock-mantlemetrik hanya mencakup inferensi yang dikeluarkan melalui Responses API, Chat Completions API, dan Anthropic Messages API di endpoint. bedrock-mantle

bedrock-mantlemenerbitkan metrik pada empat tingkat granularitas. Setiap tingkat menggunakan kombinasi CloudWatch dimensi yang berbeda, dijelaskan dalamDimensi. Semua metrik dicakup untuk Anda. Akun AWS

Metrik inferensi

Metrik inferensi
Nama metrik Unit Deskripsi
Inferences Hitungan Jumlah total permintaan inferensi yang telah diselesaikan di seluruh API Responses, Chat Completions, dan Messages. Diterbitkan di tingkat Akun, Proyek, Model, dan Proyek+Model.
InferenceClientErrors Hitungan Jumlah permintaan inferensi yang gagal dengan kesalahan sisi klien (4xx). Diterbitkan di tingkat Akun, Proyek, Model, dan Proyek+Model.

Metrik token

Metrik token
Nama metrik Unit Deskripsi
TotalInputTokens Hitungan Token masukan agregat yang dapat ditagih diproses dalam interval publikasi. Diterbitkan di tingkat Akun, Proyek, dan Model. Gunakan untuk perhitungan jumlah dan tarif.
TotalOutputTokens Hitungan Token keluaran agregat yang dapat ditagih yang dihasilkan dalam interval publikasi. Diterbitkan di tingkat Akun, Proyek, dan Model.
InputTokens Hitungan Per-inference token masukan yang dapat ditagih. Setiap inferensi yang diselesaikan memancarkan satu datum. Diterbitkan di tingkat Proyek+Model saja. Gunakan ini saat Anda membutuhkan statistik persentil (p50/p90/p99) dari jumlah token per permintaan.
OutputTokens Hitungan Per-inference token keluaran yang dapat ditagih. Setiap inferensi yang diselesaikan memancarkan satu datum. Diterbitkan di tingkat Proyek+Model saja.

Dimensi

Dimensi
Nama dimensi Nilai Berlaku untuk
Project ID proyek terkait dengan permintaan inferensi. Proyek, Proyek+Model
Model Pengidentifikasi model (misalnya,anthropic.claude-opus-4-7). Model, Proyek+Model

Account-level metrik dicakup untuk Anda Akun AWS dan tidak memiliki dimensi tambahan. Setiap tingkat granularitas memancarkan secara independen, sehingga inferensi tunggal berkontribusi pada keempat level ketika proyek dan model dapat diselesaikan.

Memilih tingkat granularitas yang tepat

  • Tingkat akun — penggunaan keseluruhan, tingkat kesalahan, dan volume token agregat. Cocokkan untuk dasbor tingkat tinggi dan alarm seluruh akun. Tidak cocok untuk analisis biaya, karena harga bervariasi menurut model.

  • Tingkat proyek - rollup per proyek untuk dasbor chargeback dan tingkat tim.

  • Tingkat model — penggunaan per model dan tingkat kesalahan, cocok untuk migrasi dasbor yang dibangun dengan dimensi yang ada. bedrock-runtime ModelId

  • Tingkat Proyek+Model — tingkat primer untuk analisis biaya, dan latensi persentil dan analisis token. Gunakan ini saat Anda membutuhkan atribusi proyek dan atribusi model pada datum yang sama.

Perbedaan dari metrik bedrock-runtime

  • Namespace terpisah. bedrock-mantlemetrik dipublikasikan keAWS/BedrockMantle. Dasbor dan alarm yang ada yang dibangun tidak AWS/Bedrock akan mengambil bedrock-mantle lalu lintas.

  • Penamaan. bedrock-mantlemenggunakan Inferences bukanInvocations, TotalInputTokens dan TotalOutputTokens bukan InputTokenCount danOutputTokenCount, dan InferenceClientErrors bukannyaInvocationClientErrors.

  • Dimensi proyek. bedrock-mantlemetrik membawa Project dimensi yang tidak dimiliki bedrock-runtime metrik, memungkinkan atribusi biaya per proyek.

  • Cross-region inferensi. bedrock-mantlehanya di dalam wilayah. Metrik dipancarkan di Wilayah yang menangani permintaan dan tidak digabungkan di seluruh Wilayah seperti lalu lintas inferensi Lintas wilayah (CRIS) aktif. bedrock-runtime

  • Metrik latensi. InvocationLatencydan TimeToFirstToken ekuivalen belum dipublikasikan oleh. bedrock-mantle

Melihat metrik mantel dasar

Untuk melihat bedrock-mantle metrik di CloudWatch konsol:

  1. Buka CloudWatch konsol.

  2. Pada panel navigasi, silakan pilih Metrik, Semua metrik.

  3. Pilih AWS/BedrockMantle namespace.

  4. Pilih tingkat granularitas dengan memilih kumpulan dimensi yang cocok dengan kueri Anda (misalnya, Project, Model untuk rincian proyek dan model).

Anda harus memiliki CloudWatch izin yang sesuai untuk membaca bedrock-mantle metrik. Untuk informasi selengkapnya, lihat Otentikasi dan kontrol akses untuk Amazon CloudWatch di Panduan CloudWatch Pengguna Amazon.