Osservabilità generativa dell'IA

Con Amazon CloudWatch, puoi osservare i carichi di lavoro di intelligenza artificiale generativa, inclusi AgentCore gli agenti Amazon Bedrock, e ottenere informazioni dettagliate sulle prestazioni, lo stato e la precisione dell'IA. CloudWatch fornisce visualizzazioni preconfigurate della latenza, dell'utilizzo e degli errori dei carichi di lavoro di intelligenza artificiale, consentendoti di rilevare più rapidamente i problemi in componenti come modelli e agenti. End-to-endil tracciamento tempestivo consente di identificare rapidamente i problemi in componenti come knowledge base, strumenti e modelli. CloudWatchle funzionalità di monitoraggio dell'IA sono compatibili con i più diffusi framework di orchestrazione dell'IA generativa come AWS Strands e LangGraph offrono flessibilità nella scelta LangChain del framework.

CloudWatch l'osservabilità generativa dell'IA consente di:

Ottieni informazioni dettagliate sui risultati degli utenti finali, sulle prestazioni, sullo stato di salute e sulla precisione dell'IA, riducendo human-in-the-loop al contempo l'onere della valutazione (HITL)
Monitora le chiamate ai modelli, gli agenti (gestiti, ospitati autonomamente e di terze parti), le knowledge base, i guardrail e gli strumenti
Passa dalla sperimentazione degli agenti alla produzione di applicazioni GenAI innovative, garantendo al contempo qualità, prestazioni e affidabilità superiori. Per ulteriori informazioni, consulta Cos'è Amazon Bedrock AgentCore?
Identifica rapidamente la fonte degli errori utilizzando il tracciamento end-to-end tempestivo, metriche curate e registri
Risolvi i problemi nell'intera applicazione GenAI e nell'infrastruttura sottostante, sfruttando gli strumenti di CloudWatch osservabilità esistenti come Application Signals, Alarms, Dashboards, protezione dei dati sensibili e Logs Insights
Accedi alle tracce dei prompt utilizzando Amazon Bedrock e invia tracce strutturate di modelli di terze parti CloudWatch utilizzando ADOT SDK. Per informazioni sull'aggiunta dell'osservabilità al tuo AgentCore agente o strumento Amazon Bedrock, consulta Amazon Bedrock AgentCore

CloudWatch l'osservabilità generativa dell'IA fornisce due dashboard predefinite:

Nota

È necessario abilitare Amazon Bedrock per visualizzare il pannello di controllo Model Invocation.

Model Invocations: metriche dettagliate sull'utilizzo del modello, sul consumo di token e sui costi
Agenti Amazon Bedrock: metriche di prestazioni e decisioni per gli AgentCore agenti Amazon Bedrock

Le metriche chiave disponibili in queste dashboard includono:

Richiamazioni totali e medie
Utilizzo dei token (totale, media per query, input, output)
Latenza (media, P90, P99)
Tassi di errore ed eventi di limitazione
Attribuzione dei costi per applicazione, ruolo utente o utente specifico

Argomenti

Avvertimento JavaScript è disabilitato o non è disponibile nel tuo browser.

Per usare la documentazione AWS, JavaScript deve essere abilitato. Consulta le pagine della guida del browser per le istruzioni.

Convenzioni dei documenti

Tutorial: A/B test con l'applicazione Evidently sample

Richiamazioni del modello