Osservabilità dell'IA generativa

Con Amazon CloudWatch, puoi osservare i carichi di lavoro di intelligenza artificiale generativa, inclusi AgentCore gli agenti Amazon Bedrock, e ottenere informazioni dettagliate sulle prestazioni, lo stato e la precisione dell'IA. CloudWatch fornisce visualizzazioni preconfigurate della latenza, dell'utilizzo e degli errori dei carichi di lavoro di intelligenza artificiale, consentendoti di rilevare più rapidamente i problemi in componenti come modelli e agenti. End-to-endil tracciamento tempestivo consente di identificare rapidamente i problemi in componenti come knowledge base, strumenti e modelli. CloudWatchle funzionalità di monitoraggio dell'IA sono compatibili con i più diffusi framework di orchestrazione dell'IA generativa come AWS Strands e LangGraph offrono flessibilità nella LangChain scelta del framework.

CloudWatch l'osservabilità generativa dell'IA consente di:

Valuta la qualità e la precisione delle applicazioni di intelligenza artificiale su larga scala attraverso il monitoraggio automatizzato, riducendo i requisiti di revisione manuale acquisendo gli output del modello, le metriche di qualità della risposta e le interazioni con gli utenti finali
Monitorare le invocazioni dei modelli, gli agenti (gestiti, ospitati autonomamente e di terze parti), le knowledge base, i guardrail e gli strumenti
Passare dalla sperimentazione degli agenti alla produzione di applicazioni basate sull'IA generativa innovative, garantendo al contempo qualità, prestazioni e affidabilità superiori. Per ulteriori informazioni, consulta Cos'è Amazon Bedrock AgentCore?
Identifica rapidamente la fonte degli errori utilizzando il tracciamento end-to-end tempestivo, metriche curate e registri
Risolvi i problemi nell'intera applicazione GenAI e nell'infrastruttura sottostante, sfruttando gli strumenti di CloudWatch osservabilità esistenti come Application Signals, Alarms, Dashboards, Sensitive Data Protection e Logs Insights
Accedi alle tracce dei prompt mentre usi Amazon Bedrock e invia tracce strutturate di modelli di terze parti CloudWatch utilizzando ADOT SDK. Per informazioni sull'aggiunta dell'osservabilità al tuo AgentCore agente o strumento Amazon Bedrock, consulta Amazon Bedrock AgentCore

CloudWatch l'osservabilità generativa dell'intelligenza artificiale offre due funzionalità predefinite:

Nota

Puoi utilizzare il pannello di controllo Model Invocation utilizzando qualsiasi modello di inferenza in Amazon Bedrock.

Model Invocations: dashboard metriche dettagliate sull'utilizzo del modello e sul consumo di token e una tabella di log di invocazione curata per visualizzare il contenuto dettagliato di input e output delle inferenze del modello
AgentCore Agenti Amazon Bedrock: metriche di prestazioni e decisioni per elementi primitivi di Amazon AgentCore Bedrock come agenti, memoria, strumenti integrati, gateway e identità

Le metriche chiave disponibili in questo pannello di controllo includono:

Invocazioni totali e medie
Utilizzo dei token (totale, media per query, input, output)
Latenza (media, P90, P99)
Tassi di errore ed eventi di limitazione
Attribuzione dei costi per applicazione, ruolo utente o utente specifico

Argomenti

Avvertimento JavaScript è disabilitato o non è disponibile nel tuo browser.

Per usare la documentazione AWS, JavaScript deve essere abilitato. Consulta le pagine della guida del browser per le istruzioni.

Convenzioni dei documenti

Risoluzione dei problemi

Invocazioni del modello