View a markdown version of this page

Osservabilità dell'IA generativa - Amazon CloudWatch

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Osservabilità dell'IA generativa

Con Amazon CloudWatch, puoi osservare i carichi di lavoro di intelligenza artificiale generativa, inclusi AgentCore gli agenti Amazon Bedrock, e ottenere informazioni dettagliate sulle prestazioni, sullo stato e sulla precisione dell'IA. CloudWatch fornisce visualizzazioni preconfigurate sulla latenza, sull'utilizzo e sugli errori dei carichi di lavoro di intelligenza artificiale, consentendoti di rilevare più rapidamente i problemi in componenti come modelli e agenti. End-to-end il prompt tracing ti aiuta a identificare rapidamente i problemi in componenti come basi di conoscenza, strumenti e modelli. CloudWatchle funzionalità di monitoraggio dell'IA sono compatibili con i più diffusi framework di orchestrazione AI generativa come AWS Strands e LangGraph offrono flessibilità nella scelta del framework. LangChain

CloudWatch l'osservabilità generativa dell'IA consente di:

  • Valuta la qualità e l'accuratezza delle applicazioni di intelligenza artificiale su larga scala attraverso il monitoraggio automatico, riducendo i requisiti di revisione manuale acquisendo i risultati del modello, le metriche sulla qualità della risposta e le interazioni con l'utente finale

  • Monitorare le invocazioni dei modelli, gli agenti (gestiti, ospitati autonomamente e di terze parti), le knowledge base, i guardrail e gli strumenti

  • Passa dalla sperimentazione degli agenti alla produzione di innovative applicazioni di intelligenza artificiale generativa garantendo al contempo qualità, prestazioni e affidabilità superiori. Per ulteriori informazioni, consulta Cos'è Amazon Bedrock? AgentCore

  • Identificare rapidamente l'origine degli errori utilizzando il tracciamento dei prompt end-to-end, log e metriche curate

  • Risolvi i problemi nell'intera applicazione di intelligenza artificiale generativa e nell'infrastruttura sottostante, sfruttando gli strumenti di CloudWatch osservabilità esistenti come segnali applicativi, allarmi, dashboard , protezione dei dati sensibili e Logs Insights https://docs.aws.amazon.com/AmazonCloudWatch/latest/logs/AnalyzingLogData.html

  • Accedi alle tracce dei prompt mentre usi Amazon Bedrock e invia tracce strutturate di modelli di terze parti utilizzando ADOT SDK. CloudWatch Per informazioni sull'aggiunta dell'osservabilità al tuo AgentCore agente o strumento Amazon Bedrock, consulta Amazon Bedrock AgentCore

CloudWatch L'osservabilità generativa dell'IA offre due funzionalità predefinite:

Nota

Puoi utilizzare la dashboard Model Invocation utilizzando qualsiasi modello per l'inferenza in Amazon Bedrock.

  • Model Invocations: dashboard dettagliato delle metriche sull'utilizzo del modello, sul consumo di token e una tabella curata dei log di invocazione per visualizzare i contenuti dettagliati di input e output delle inferenze del modello

  • AgentCore Agenti Amazon Bedrock: metriche prestazionali e decisionali per le primitive di Amazon Bedrock AgentCore come agenti, memoria, strumenti, gateway e identità Built-in

Le metriche chiave disponibili in questo pannello di controllo includono:

  • Invocazioni totali e medie

  • Utilizzo dei token (totale, media per query, input, output)

  • Latenza (media, P90, P99)

  • Tassi di errore ed eventi di limitazione

  • Attribuzione dei costi per applicazione, ruolo utente o utente specifico

Argomenti