Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Monitora l'inferenza bedrock-runtime utilizzando le metriche CloudWatch
L'bedrock-runtime.endpoint Amazon Bedrock pubblica le metriche su Amazon sotto il namespace. CloudWatch region.amazonaws.com.rproxy.govskope.caAWS/Bedrock Utilizza queste metriche per monitorare il volume delle chiamate, la latenza, il consumo di token, i tassi di errore e la distribuzione dei log delle chiamate dei modelli.
Se la tua applicazione chiama l'inferenza tramite, consulta invece. bedrock-mantle. Monitora l'inferenza tra basamento e mantello utilizzando le metriche CloudWatchregion.api.aws
Metriche di runtime Amazon Bedrock
La tabella seguente descrive le metriche di runtime fornite da Amazon Bedrock.
| Nome parametro | Unità | Description |
|---|---|---|
| Invocazioni | Conteggio | Numero di richieste riuscite alle operazioni Converse, ConverseStream InvokeModel, e InvokeModelWithResponseStream API. |
|
InvocationLatency |
MilliSeconds |
L'ora che intercorre tra l'invio di una richiesta e la ricezione dell'ultimo token. Per distinguere gli aumenti di latenza causati dalle modifiche del throughput sul lato del servizio dagli aumenti causati da risposte più lunghe del modello, vedere. Diagnostica gli InvocationLatencyaumenti utilizzando token di output al secondo (OTPS) |
|
InvocationClientErrors |
Conteggio |
Numero di invocazioni che provocano errori sul lato client. |
|
InvocationServerErrors |
Conteggio |
Numero di chiamate che generano errori sul lato server. AWS |
|
InvocationThrottles |
Conteggio |
Numero di invocazioni limitate dal sistema. Le richieste con limitazione e altri errori di invocazione non vengono contate come invocazioni o errori. Il numero di limitazioni visualizzato dipenderà dalle impostazioni dei nuovi tentativi nell’SDK. Per ulteriori informazioni, consulta il comportamento dei tentativi nella Guida di riferimento di AWS SDK and Tools. |
|
InputTokenCount |
Conteggio |
Numero di token nell’input. |
| LegacyModelInvocations | Conteggio | Numero di invocazioni che utilizzano modelli Legacy |
|
OutputTokenCount |
Conteggio |
Numero di token nell’output. |
|
OutputImageCount |
Conteggio |
Numero di immagini nell’output (applicabile solo per i modelli di generazione di immagini). |
|
TimeToFirstToken |
MilliSeconds |
Periodo di tempo compreso tra l'invio di una richiesta ConverseStream e la ricezione del primo token, per le operazioni relative all'API di InvokeModelWithResponseStream streaming. |
|
EstimatedTPMQuotaUsage |
Conteggio |
Consumo stimato della quota di token al minuto (TPM) nelle operazioni Converse, ConverseStream InvokeModel, e InvokeModelWithResponseStream API. Questa metrica è un'approssimazione e non riflette il consumo di token basato sulla prenotazione che determina le decisioni di limitazione. La limitazione si basa sulla prenotazione anticipata dei token di input plus |
|
CacheReadInputTokenCount |
Conteggio |
Numero di token di input letti dalla cache dei prompt. Questi token vengono addebitati a una tariffa ridotta e non vengono conteggiati ai fini della tua quota TPM. |
|
CacheWriteInputTokenCount |
Conteggio |
Numero di token di input scritti nella cache dei prompt. Questi token vengono conteggiati ai fini della tua quota TPM. |
Esistono anche metriche per Guardrail per Amazon Bedrock e Agent per Amazon Bedrock.
Metriche di registrazione delle chiamate al modello CloudWatch
Per ogni tentativo di consegna riuscito o fallito, vengono emesse le seguenti CloudWatch metriche Amazon nel namespace e nella dimensione: AWS/Bedrock Across all model IDs
-
ModelInvocationLogsCloudWatchDeliverySuccess -
ModelInvocationLogsCloudWatchDeliveryFailure -
ModelInvocationLogsS3DeliverySuccess -
ModelInvocationLogsS3DeliveryFailure -
ModelInvocationLargeDataS3DeliverySuccess -
ModelInvocationLargeDataS3DeliveryFailure
Per recuperare le metriche per le operazioni di Amazon Bedrock, specifica le seguenti informazioni:
-
La dimensione della metrica. Una dimensione è un set di coppie nome-valore utilizzate per identificare una metrica. Amazon Bedrock supporta le seguenti dimensioni:
-
ModelId: tutte le metriche -
ModelId + ImageSize + BucketedStepSize– OutputImageCount
-
-
Il nome del parametro, ad esempio
InvocationClientErrors.
Puoi ottenere le metriche per Amazon Bedrock con Console di gestione AWS, the o l'API. AWS CLI CloudWatch Puoi utilizzare l' CloudWatch API tramite uno dei AWS Software Development Kit (SDK) o gli strumenti API. CloudWatch
Per visualizzare le metriche di Amazon Bedrock nella CloudWatch console, vai alla sezione delle metriche nel pannello di navigazione e seleziona l'opzione tutte le metriche, quindi cerca l'ID del modello.
Devi disporre delle CloudWatch autorizzazioni appropriate per monitorare Amazon Bedrock. Per ulteriori informazioni, consulta Authentication and Access Control for Amazon nella Amazon CloudWatch User Guide. CloudWatch CloudWatch
