Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Monitoraggio delle prestazioni di Amazon Bedrock
Puoi monitorare tutte le parti della tua applicazione Amazon Bedrock utilizzando Amazon CloudWatch, che raccoglie dati grezzi e li elabora in metriche leggibili quasi in tempo reale. Puoi rappresentare graficamente le metriche utilizzando la console. CloudWatch Puoi anche impostare allarmi che controllano determinate soglie e inviare notifiche o intraprendere azioni quando i valori superano queste soglie.
Per ulteriori informazioni, consulta What is Amazon CloudWatch nella Amazon CloudWatch User Guide.
Amazon Bedrock offre funzionalità di monitoraggio complete su diversi componenti dell'applicazione:
-
Monitora la chiamata del modello utilizzando CloudWatch Logs e Amazon S3- Tieni traccia e analizza le chiamate dei modelli utilizzando CloudWatch Logs e Amazon S3.
-
Monitora le knowledge base utilizzando CloudWatch i log- Monitora le operazioni e le prestazioni della knowledge base.
-
Monitora Amazon Bedrock Guardrails utilizzando i parametri CloudWatch- Tieni traccia delle valutazioni del guardrail e dell'applicazione delle politiche.
-
Monitora gli agenti Amazon Bedrock utilizzando i parametri CloudWatch- Monitora le chiamate agli agenti e le metriche delle prestazioni.
-
Metriche di runtime Amazon Bedrock- Visualizza le principali metriche di runtime, tra cui chiamate, latenza, errori e conteggio dei token.
-
Monitora le modifiche allo stato dei job di Amazon Bedrock con Amazon EventBridge- Tieni traccia delle modifiche allo stato del lavoro e automatizza le risposte agli eventi.
-
Monitora le chiamate API Amazon Bedrock utilizzando CloudTrail- Controlla le chiamate API e monitora l'attività degli utenti.
Argomenti
Monitora la chiamata del modello utilizzando CloudWatch Logs e Amazon S3
Monitora Amazon Bedrock Guardrails utilizzando i parametri CloudWatch
Monitora gli agenti Amazon Bedrock utilizzando i parametri CloudWatch
Metriche di registrazione delle chiamate dei modelli CloudWatch
Monitora le modifiche allo stato dei job di Amazon Bedrock con Amazon EventBridge
Monitora le chiamate API Amazon Bedrock utilizzando CloudTrail
Metriche di runtime Amazon Bedrock
La tabella seguente descrive le metriche di runtime fornite da Amazon Bedrock.
| Nome parametro | Unità | Description |
|---|---|---|
| Invocazioni | SampleCount | Numero di richieste riuscite alle operazioni Converse e InvokeModelWithResponseStreamAPI. ConverseStreamInvokeModel |
|
InvocationLatency |
MilliSeconds |
L'ora compresa tra l'invio di una richiesta e la ricezione dell'ultimo token.
|
|
InvocationClientErrors |
SampleCount |
Numero di invocazioni che provocano errori sul lato client. |
|
InvocationServerErrors |
SampleCount |
Numero di chiamate che generano errori sul AWS lato server. |
|
InvocationThrottles |
SampleCount |
Numero di invocazioni limitate dal sistema. Le richieste con limitazione e altri errori di invocazione non vengono contate come invocazioni o errori. Il numero di limitazioni visualizzato dipenderà dalle impostazioni dei nuovi tentativi nell’SDK. Per ulteriori informazioni, consulta Retry behavior nella Guida di riferimento agli AWS SDK and Tools. |
|
InputTokenCount |
SampleCount |
Numero di token nell’input. |
| LegacyModelInvocations | SampleCount | Numero di invocazioni che utilizzano modelli Legacy |
|
OutputTokenCount |
SampleCount |
Numero di token nell’output. |
|
OutputImageCount |
SampleCount |
Numero di immagini nell’output (applicabile solo per i modelli di generazione di immagini). |
|
TimeToFirstToken |
MilliSeconds |
Orario compreso tra l'invio di una richiesta e la ricezione del primo token, per le operazioni dell'API ConverseStreame InvokeModelWithResponseStreamdello streaming. |
|
EstimatedTPMQuotaUsage |
SampleCount |
Consumo stimato di quote di token al minuto (TPM) nelle operazioni Converse e InvokeModelInvokeModelWithResponseStreamAPI. ConverseStream Questa metrica è un'approssimazione e non riflette il consumo di token basato sulle prenotazioni che determina le decisioni di limitazione. Il throttling si basa sulla prenotazione anticipata di input tokens plus |
|
CacheReadInputTokens |
SampleCount |
Numero di token di input letti dalla cache dei prompt. Questi token vengono addebitati a una tariffa ridotta e non vengono conteggiati ai fini della quota TPM. |
|
CacheWriteInputTokens |
SampleCount |
Numero di token di input scritti nella cache dei prompt. Questi token vengono conteggiati ai fini della quota TPM. |
Esistono anche metriche per Guardrail per Amazon Bedrock e Agent per Amazon Bedrock.
Metriche di registrazione delle chiamate dei modelli CloudWatch
Per ogni tentativo di consegna riuscito o non riuscito, vengono emesse le seguenti CloudWatch metriche Amazon sotto il namespace AWS/Bedrock e la dimensione: Across all model IDs
-
ModelInvocationLogsCloudWatchDeliverySuccess -
ModelInvocationLogsCloudWatchDeliveryFailure -
ModelInvocationLogsS3DeliverySuccess -
ModelInvocationLogsS3DeliveryFailure -
ModelInvocationLargeDataS3DeliverySuccess -
ModelInvocationLargeDataS3DeliveryFailure
Per recuperare le metriche per le operazioni di Amazon Bedrock, specifica le seguenti informazioni:
-
La dimensione della metrica. Una dimensione è un set di coppie nome-valore utilizzate per identificare una metrica. Amazon Bedrock supporta le seguenti dimensioni:
-
ModelId: tutte le metriche -
ModelId + ImageSize + BucketedStepSize– OutputImageCount
-
-
Il nome del parametro, ad esempio
InvocationClientErrors.
Puoi ottenere metriche per Amazon Bedrock con l' Console di gestione AWS AWS CLI, l'o l' CloudWatch API. Puoi utilizzare l' CloudWatch API tramite uno dei AWS Software Development Kit (SDK) o gli strumenti API. CloudWatch
Per visualizzare i parametri di Amazon Bedrock nella CloudWatch console, vai alla sezione metriche nel riquadro di navigazione e seleziona l'opzione tutte le metriche, quindi cerca l'ID del modello.
È necessario disporre delle CloudWatch autorizzazioni appropriate per monitorare Amazon Bedrock con. CloudWatch Per ulteriori informazioni, consulta Authentication and Access Control for Amazon CloudWatch nella Amazon CloudWatch User Guide.
