Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Monitora l'inferenza base-runtime utilizzando le metriche CloudWatch
L'bedrock-runtime.endpoint Amazon Bedrock pubblica i parametri su CloudWatch Amazon nel namespace. region.amazonaws.com.rproxy.govskope.caAWS/Bedrock Utilizza queste metriche per monitorare il volume delle chiamate, la latenza, il consumo di token, i tassi di errore e la distribuzione dei log delle invocazioni dei modelli.
Se la tua applicazione richiede l'inferenza, vedi invece. bedrock-mantle. Monitora l'inferenza tra basamento e mantello utilizzando le metriche CloudWatchregion.api.aws
Metriche di runtime Amazon Bedrock
La tabella seguente descrive le metriche di runtime fornite da Amazon Bedrock.
| Nome parametro | Unità | Description |
|---|---|---|
| Invocazioni | SampleCount | Numero di richieste riuscite alle operazioni Converse, ConverseStreamInvokeModel, e InvokeModelWithResponseStreamAPI. |
|
InvocationLatency |
MilliSeconds |
L'ora compresa tra l'invio di una richiesta e la ricezione dell'ultimo token. Per distinguere gli aumenti di latenza causati dalle modifiche del throughput sul lato del servizio dagli aumenti causati da risposte più lunghe del modello, vedere. Diagnostica gli InvocationLatencyaumenti utilizzando token di output al secondo (OTPS) |
|
InvocationClientErrors |
SampleCount |
Numero di invocazioni che provocano errori sul lato client. |
|
InvocationServerErrors |
SampleCount |
Numero di chiamate che generano errori sul lato server. AWS |
|
InvocationThrottles |
SampleCount |
Numero di invocazioni limitate dal sistema. Le richieste con limitazione e altri errori di invocazione non vengono contate come invocazioni o errori. Il numero di limitazioni visualizzato dipenderà dalle impostazioni dei nuovi tentativi nell’SDK. Per ulteriori informazioni, consulta Retry behavior nella Guida di riferimento agli AWS SDK and Tools. |
|
InputTokenCount |
SampleCount |
Numero di token nell’input. |
| LegacyModelInvocations | SampleCount | Numero di invocazioni che utilizzano modelli Legacy |
|
OutputTokenCount |
SampleCount |
Numero di token nell’output. |
|
OutputImageCount |
SampleCount |
Numero di immagini nell’output (applicabile solo per i modelli di generazione di immagini). |
|
TimeToFirstToken |
MilliSeconds |
Orario compreso tra l'invio di una richiesta e la ricezione del primo token, per le operazioni dell'API ConverseStreame InvokeModelWithResponseStreamdello streaming. |
|
EstimatedTPMQuotaUsage |
SampleCount |
Consumo stimato di quote di token al minuto (TPM) nelle operazioni Converse e InvokeModelInvokeModelWithResponseStreamAPI. ConverseStream Questa metrica è un'approssimazione e non riflette il consumo di token basato sulle prenotazioni che determina le decisioni di limitazione. Il throttling si basa sulla prenotazione anticipata di input tokens plus |
|
CacheReadInputTokens |
SampleCount |
Numero di token di input letti dalla cache dei prompt. Questi token vengono addebitati a una tariffa ridotta e non vengono conteggiati ai fini della quota TPM. |
|
CacheWriteInputTokens |
SampleCount |
Numero di token di input scritti nella cache dei prompt. Questi token vengono conteggiati ai fini della quota TPM. |
Esistono anche metriche per Guardrail per Amazon Bedrock e Agent per Amazon Bedrock.
Metriche di registrazione delle invocazioni del modello CloudWatch
Per ogni tentativo di consegna riuscito o non riuscito, vengono emesse le seguenti CloudWatch metriche Amazon sotto il namespace AWS/Bedrock e la dimensione: Across all model IDs
-
ModelInvocationLogsCloudWatchDeliverySuccess -
ModelInvocationLogsCloudWatchDeliveryFailure -
ModelInvocationLogsS3DeliverySuccess -
ModelInvocationLogsS3DeliveryFailure -
ModelInvocationLargeDataS3DeliverySuccess -
ModelInvocationLargeDataS3DeliveryFailure
Per recuperare le metriche per le operazioni di Amazon Bedrock, specifica le seguenti informazioni:
-
La dimensione della metrica. Una dimensione è un set di coppie nome-valore utilizzate per identificare una metrica. Amazon Bedrock supporta le seguenti dimensioni:
-
ModelId: tutte le metriche -
ModelId + ImageSize + BucketedStepSize– OutputImageCount
-
-
Il nome del parametro, ad esempio
InvocationClientErrors.
Puoi ottenere metriche per Amazon Bedrock con l' Console di gestione AWS AWS CLI, l'o l' CloudWatch API. Puoi utilizzare l' CloudWatch API tramite uno dei AWS Software Development Kit (SDK) o gli strumenti API. CloudWatch
Per visualizzare i parametri di Amazon Bedrock nella CloudWatch console, vai alla sezione metriche nel riquadro di navigazione e seleziona l'opzione tutte le metriche, quindi cerca l'ID del modello.
È necessario disporre delle CloudWatch autorizzazioni appropriate per monitorare Amazon Bedrock con. CloudWatch Per ulteriori informazioni, consulta Authentication and Access Control for Amazon CloudWatch nella Amazon CloudWatch User Guide.
