Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
AgentCore Diagnostica i problemi di valutazione con un assistente di codifica AI
Se la tua configurazione di AgentCore valutazione non produce risultati, o se riscontri errori, ad esempio LogEventMissingExceptionAgentSpanMappingException, o punteggi di valutazione vuoti, puoi utilizzare l'abilità di diagnostica di AgentCore valutazione per risolvere il problema da solo.
L'abilità è un file markdown che funziona con qualsiasi assistente di codifica AI. Lo carichi nel tuo assistente, fornisci la tua AWS regione, il tipo di implementazione e, facoltativamente, un ID di sessione, e l'assistente ti guida attraverso una diagnosi dettagliata. L'abilità funziona con agenti distribuiti su AgentCore Runtime e agenti ospitati su infrastrutture di terze parti (Amazon ECS, Amazon EKS, AWS Lambda o qualsiasi altro ambiente). L'assistente interroga i tuoi gruppi di CloudWatch log Amazon per identificare la causa principale e consigliare una soluzione.
Cosa diagnostica l'abilità
L'abilità copre i problemi di valutazione più comuni:
-
Risultati di valutazione vuoti: non viene visualizzato alcun punteggio nonostante la configurazione di valutazione sia abilitata.
-
LogEventMissingException— la valutazione segnala che in un intervallo manca il corrispondente evento di registro. -
AgentSpanMappingExceptionoppureToolSpanMappingException: la valutazione non può estrarre la query dell'utente o l'output dello strumento da un intervallo. -
SpanEventParsingException— la valutazione non può analizzare il corpo di un evento. -
Gateway Timeout (504)— i tempi di valutazione sono scaduti. -
ValidationExceptionattivoevaluatorId: il formato dell'ID del valutatore non è corretto. -
Multi-agent problemi relativi all'ambito della valutazione: i valutatori prendono di mira l'agente sbagliato in una traccia multiagente.
Prerequisiti
-
AWS CLI configurata con le credenziali per l'account su cui viene eseguito l'agente. Le credenziali richiedono le seguenti autorizzazioni:
-
logs:DescribeLogGroups,,logs:DescribeLogStreamslogs:StartQuery,logs:GetQueryResults— per interrogare i log CloudWatch -
bedrock-agentcore:GetOnlineEvaluationConfig,bedrock-agentcore:ListOnlineEvaluationConfigs— per leggere le configurazioni di valutazione (solo valutazione online)
-
-
Python 3.9 o successivo con la
boto3libreria è consigliato ma non strettamente obbligatorio: le query diagnostiche possono essere eseguite anche direttamente tramite la CLI. AWS -
Un assistente di codifica AI che supporta lo standard
Agent Skills o che può accettare istruzioni di markdown. -
Un agente che è stato richiamato almeno una volta con l'osservabilità abilitata.
Copia l'abilità
La fonte delle abilità è disponibile nella fonte delle abilità Diagnostiche. Copia l'intero blocco di codice da quell'argomento e salvalo SKILL.md all'interno di una nuova cartella denominata agentcore-eval-diagnostic/ sul tuo computer.
L'abilità è un semplice file markdown. Contiene solo informazioni pubbliche e funziona solo con il tuo account: non è richiesto alcun accesso dal lato del servizio.
Carica l'abilità nel tuo assistente di codifica AI
Salva la fonte delle competenze da Diagnostic skill source SKILL.md all'interno di una cartella denominata agentcore-eval-diagnostic/ sul tuo computer, quindi sposta o copia quella cartella nella directory delle competenze per il tuo assistente di codifica AI. L'abilità segue lo standard aperto AGENTS.md,, CLAUDE.md o. GEMINI.md
Kiro CLI
Posiziona la cartella delle competenze in .kiro/skills/agentcore-eval-diagnostic/ nel tuo progetto o in ~/.kiro/skills/agentcore-eval-diagnostic/ per renderla disponibile in tutti gli spazi di lavoro. Per i dettagli sulla configurazione, consulta la documentazione sulle competenze della CLI di Kiro.
Codice Claude
Inserisci la cartella delle competenze in .claude/skills/agentcore-eval-diagnostic/ nel tuo progetto o in ~/.claude/skills/agentcore-eval-diagnostic/ per renderla disponibile in tutti i progetti. Per i dettagli sulla configurazione, consulta la documentazione sulle competenze
OpenAI Codex CLI
Posiziona la cartella delle competenze in .agents/skills/agentcore-eval-diagnostic/ nel tuo repository o in ~/.agents/skills/agentcore-eval-diagnostic/ per renderla disponibile in tutti i repository. Per i dettagli sulla configurazione, consulta la documentazione sulle competenze di Codex CLI.
Cursore
Cursor utilizza le regole anziché le competenze. Salva il contenuto delle competenze come regola di progetto in.cursor/rules/agentcore-eval-diagnostic.md. Per i dettagli sulla configurazione, consulta la documentazione https://cursor.com/docs/context/rules
Gemini CLI
Posiziona la cartella delle competenze in ~/.gemini/skills/agentcore-eval-diagnostic/ per renderla disponibile in tutti gli spazi di lavoro o nella directory delle competenze del progetto per un utilizzo mirato al progetto. Per i dettagli sulla configurazione, consulta la documentazione sulle competenze Gemini CLI.
Qualsiasi altro assistente AI
Se il tuo assistente supporta lo standard SKILL.md in un messaggio utente o in un file di contesto. L'abilità è autonoma e non dipende da alcuna funzionalità specifica dello strumento.
Esegui una diagnosi
Dopo aver caricato l'abilità, avvia una nuova chat con il tuo assistente AI e fornisci:
-
La tua AWS regione (ad esempio,
us-west-2). -
Il tipo di distribuzione:
agentcore-runtimese l'agente è distribuito su AgentCore Runtime o3p-managedse è ospitato su Amazon ECS, Amazon EKS, AWS Lambda o qualsiasi altro ambiente diverso. AgentCore -
Il tuo tipo di valutazione:
online(utilizza una configurazione di valutazione con campionamento) oon-demand(chiamata diretta all'API Evaluate). -
Facoltativamente, un ID di sessione fornito dal tuo agente traccia (l'
session.idattributo). Se non ne hai uno, l'assistente può scoprire automaticamente le sessioni recenti dai tuoi gruppi di log.
L'assistente interroga i gruppi di CloudWatch log, identifica la causa principale dell'errore e produce un rapporto diagnostico strutturato. Il rapporto include:
-
Un riepilogo della causa principale.
-
Una tabella dei risultati che mostra quali controlli diagnostici sono stati superati o non riusciti.
-
Un elenco degli intervalli e degli eventi interessati.
-
Collegamenti alla AWS documentazione pertinente.
-
Passaggi successivi consigliati.
L'assistente esegue tutte le query nel tuo AWS account sui tuoi gruppi di CloudWatch log. Non accede ai log del AWS servizio o ai dati interni.
Esempio di interazione
Tu: la mia regione èus-west-2, sto usando AgentCore Runtime con valutazione online e il mio ID di sessione èmy-session-abc123. La mia valutazione non sta producendo risultati. Puoi diagnosticarlo?
Assistente AI:
## AgentCore Evaluation Diagnostic Report Session: my-session-abc123 Region: us-west-2 Summary: Service name mismatch — spans are emitted under 'my_agent.DEFAULT' but the evaluation configuration expects 'wrong_name.DEFAULT'. Findings: | Check | Status | Details | | -------------------- | ------ | ------- | | Eval config status | OK | ENABLED, 100% sampling | | Spans found | OK | 15 spans for this session | | Scope support | OK | strands.telemetry.tracer found | | Service name match | FAIL | Config expects wrong_name.DEFAULT | Recommended fix: Update the evaluation configuration's serviceNames to match 'my_agent.DEFAULT'.
Risoluzione dei problemi relativi all'abilità stessa
Se l'assistente non riesce a interrogare i tuoi gruppi di log, verifica che:
-
AWS Le tue credenziali dispongono delle autorizzazioni richieste.
-
La regione che hai fornito corrisponde al luogo in cui è schierato il tuo agente.
-
L'ID della sessione è corretto (copialo dalle tracce del tuo agente).
-
L'agente è stato richiamato nelle ultime 24 ore.