Visualização por agente - Amazon CloudWatch

Visualização por agente

A Visualização por agente fornece um painel selecionado para os agentes da sua conta. É possível visualizar dados de agentes hospedados em serviços nativos da AWS, como o AgentCore Runtime, o Lambda ou o Amazon EC2. Essa visualização também exibe agentes que enviam telemetria para o CloudWatch.

Visão geral

As métricas e os painéis apresentam dados provenientes de amostras de extensões dos agentes. Para obter informações sobre as extensões dos agentes, consulte Spans.

As seguintes métricas são compatíveis para os agentes:

  • Agentes/endpoints: número de agentes e aliases instrumentados, e intervalos de emissão

  • Sessões: número de sessões criadas por agentes instrumentados que emitem extensões. Uma sessão é semelhante a uma conversa e contém o contexto amplo.

  • Rastreamentos: número de rastreamentos criados por agentes instrumentados que emitem extensões. Um rastreamento corresponde a um ciclo individual de solicitação e de resposta dentro de uma sessão.

  • Taxa de erros: porcentagem de erros nas interações dos agentes.

  • Taxa de controle de utilização: porcentagem de interações do agente com controle de utilização.

Escolha Visualizar detalhes para visualizar as métricas para os agentes em gráficos.

Visualização por agentes

Métricas de runtime

As métricas e os painéis de runtime exibem dados provenientes da primitiva runtime. Usando essa primitiva, você pode hospedar seus agentes no runtime do Amazon Bedrock AgentCore. Para obter mais informações, consulte Creating an AgentCore Runtime.

O AgentCore Runtime é compatível com as seguintes métricas:

  • Agentes/Aliases do runtime: acompanha o número de agentes e aliases hospedados no AgentCore Runtime.

  • Sessões do runtime: acompanha o número de sessões criadas por agentes em execução no AgentCore Runtime. Uma sessão é semelhante a uma conversa e contém o contexto amplo de todo o fluxo de interação. Essa métrica é útil para monitorar o uso geral da plataforma, realizar o planejamento de capacidade e ter uma compreensão dos padrões de engajamento dos usuários.

  • Invocações do runtime: número total de solicitações realizadas à API do plano de dados. Cada chamada de API é contabilizada como uma invocação, independentemente do tamanho da carga útil da solicitação ou do status da resposta.

  • Erros do runtime: número de erros relacionados ao sistema e ao usuário. Para obter definições de erros relacionados ao sistema e ao usuário, consulte AgentCore provided runtime metrics.

  • Controles de utilização do runtime: número de solicitações com controle de utilização pelo serviço devido ao excedente do limite permitido de TPS (transações por segundo). Essas solicitações retornam “ThrottlingException” com o código de status HTTP 429. Monitore essa métrica para determinar se é necessário analisar suas cotas de serviço ou otimizar os padrões de solicitação.

Visualize as alterações das métricas ao longo do tempo no painel padrão. Expanda Visualizar detalhes para exibir gráficos de métricas.

Visualização por runtime

Agentes

Os agentes são os componentes responsáveis por coletar e transmitir dados de monitoramento das suas aplicações. A tabela Agentes apresenta todos os agentes configurados na sua conta. Esses agentes podem ser hospedados em serviços nativos da AWS, como o AgentCore Runtime, o Lambda ou o Amazon EC2. Além disso, a tabela apresenta outros agentes que são instrumentados para emitir telemetria ao CloudWatch.

Você pode usar o filtro de agentes para localizar um agente específico que deseja analisar detalhadamente, ou também pode utilizar os nomes das colunas para classificar os agentes e localizar o agente desejado. Selecione o ícone de engrenagem para apresentar ou ocultar colunas adicionais.

Visualização por agentes do runtime

Os detalhes do agente podem ser visualizados ao expandir o nome do agente.

Visão geral dos agentes do runtime

Detalhes do agente: visão geral

A guia Visão geral apresenta painéis automáticos para as métricas dos seus agentes. Essas métricas são provenientes de extensões incluídas na amostra e métricas de runtime (quando o agente faz uso do AgentCore Runtime).

O painel Avaliadores inclui insights dos intervalos com avaliações habilitadas.

  • Principais variações nas pontuações dos avaliadores: mostra quais avaliadores do agente tiveram as maiores alterações desde o último período, com base no intervalo de tempo selecionado.

  • Métricas de configuração de avaliação: mostre as métricas de status operacional dos avaliadores do agente, incluindo o número de vezes que as avaliações foram executadas e o número de erros encontrados.

Para editar uma configuração de avaliação usando o console do Amazon Bedrock AgentCore, clique no link na coluna Avaliador ou Configuração do avaliador. Para revisar os resultados do avaliador, clique em uma pontuação na coluna Pontuação média. Para visualizar todas as avaliações do agente, escolha a guia Avaliações. Para saber mais, consulte Detalhes do agente: avaliações.

O painel Métricas do agente inclui métricas que são derivadas de extensões incluídas na amostra:

  • Sessões e rastreamentos: contagem de sessões e de rastreamentos para este agente.

  • Uso de tokens de FM: contagem total do consumo de tokens de modelos de base. É possível filtrar o gráfico para um modelo de base específico.

  • Erros relacionados ao sistema e ao cliente: contagem de erros do sistema ocorridos durante o processamento de solicitações. Altos níveis de erros no lado do servidor podem indicar possíveis problemas relacionados à infraestrutura ou ao serviço que requerem investigação. Os erros do cliente, por sua vez, são erros resultantes de solicitações inválidas. Altos níveis de erros do lado do cliente podem indicar problemas relacionados à formatação das solicitações ou às permissões.

  • Erros e latência por extensão: as taxas de erro e a latência em uma extensão específica. Atente-se ao fato de que uma extensão pode estar presente em vários agentes.

  • Controles de utilização: número de solicitações com controle de utilização pelo serviço devido ao excedente do limite permitido de TPS (transações por segundo).

  • Autenticação de entrada, chamadas de autorização e tokens de acesso: número de solicitações de autenticação de entrada processadas pelo agente, incluindo verificações de autorização e validações de token de acesso de clientes ou serviços externos

  • Autenticação de saída, distribuição de uso: padrão de distribuição dos métodos de autenticação de saída usados pelo agente, mostrando a frequência e os tipos de mecanismos de autenticação empregados ao acessar serviços externos

O painel Métricas do runtime inclui métricas geradas automaticamente pelo AgentCore Runtime:

  • Sessões e invocações do runtime: contagem de sessões e invocações que este agente em específico gerou enquanto estava hospedado no runtime.

  • Latência do runtime: tempo de latência das solicitações realizadas por agentes hospedados no runtime.

  • Controles de utilização do runtime: número de solicitações com controle de utilização pelo serviço devido ao excedente do limite permitido de TPS (transações por segundo).