Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Esempio: utilizza Application Signals per risolvere i problemi delle applicazioni AI generative che interagiscono con Amazon Bedrock Modelli
Puoi utilizzare Application Signals per risolvere i problemi delle tue applicazioni AI generative che interagiscono con i modelli. Amazon Bedrock Application Signals semplifica questo processo fornendo dati di telemetria pronti all'uso, offrendo informazioni più approfondite sulle interazioni dell'applicazione con i modelli LLM. Aiuta a risolvere casi d'uso chiave come:
Problemi di configurazione del modello
Costi di utilizzo del modello
Latenza del modello
Motivi dell'interruzione nella generazione delle risposte del modello
L'abilitazione di Application Signals with LLM/GenAI Observability offre visibilità in tempo reale sulle interazioni della tua applicazione con i servizi Amazon Bedrock. Application Signals genera e correla automaticamente le metriche e le tracce delle prestazioni per le chiamate API. Amazon Bedrock
Application Signals attualmente supporta i seguenti modelli LLM di Amazon Bedrock.
AI21 Jamba
Amazon Titan
Anthropic Claude
Cohere Command
Meta Llama
Mistral AI
Nova
Fine-grained metriche e tracce
Per ogni chiamata Amazon Bedrock API, Application Signals genera metriche dettagliate sulle prestazioni a livello di risorsa, tra cui:
ID modello
ID guardrail
ID Knowledge Base
ID dell'agente Bedrock
Inoltre, gli intervalli di traccia correlati allo stesso livello aiutano a fornire una visione completa dell'esecuzione delle richieste e delle dipendenze.
OpenTelemetry Supporto per gli attributi GenAI
Application Signals genera i seguenti attributi AI generativi per le chiamate Amazon Bedrock API con convenzione OpenTelemetry semantica. Questi attributi aiutano ad analizzare l'utilizzo del modello, i costi e la qualità della risposta e possono essere impiegati con Transaction Search per ottenere informazioni più approfondite.
gen_ai.system
gen_ai.request.model
gen_ai.request.max_tokens
gen_ai.request.temperature
gen_ai.request.top_p
gen_ai.usage.input_tokens
gen_ai.usage.output_tokens
gen_ai.response.finish_reasons
Ad esempio, puoi utilizzare la funzionalità analitica di Transaction Search per confrontare l'utilizzo e il costo dei token tra diversi modelli LLM per lo stesso prompt, consentendo una selezione del modello efficiente in termini di costi.
Per ulteriori informazioni, consulta Migliorare l' Amazon Bedrock osservabilità con CloudWatch Application Signals.
