As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Painel de desempenho do AI Agent
Você pode usar o painel de desempenho do Agente de IA para visualizar o desempenho do Agente de IA e obter informações sobre os agentes de IA e ao longo do tempo.
O painel fornece um único local para visualizar o desempenho agregado do Agente de IA. Use o painel para ver as métricas de seus agentes de IA, como contagem de invocações, latência e taxa de sucesso.
Habilitar o acesso ao painel
Os usuários devem ter as permissões de perfil de segurança apropriadas:
Métricas de acesso - Permissão de acesso ou o Painel - Permissão de acesso. Para obter informações sobre a diferença de comportamento, consulte Atribuir permissões para visualizar painéis e relatórios no Amazon Connect.
É necessária pelo menos uma das seguintes permissões de perfil de segurança para acessar o painel AI Agent Performance:
-
Designer do agente de IA - permissão de visualização do agente de IA
-
Designer de agente de IA - permissão de visualização rápida de IA
-
Designer de agentes de IA - permissão de visualização de proteções de IA
-
Aplicativos do agente - permissão de visualização do Connect Assistant
O painel está disponível em: Análise e otimização > Painéis de análise > Desempenho do agente de IA.
Especificar o “intervalo de tempo” e o ponto de referência “Comparar com”
Use o filtro de intervalo de tempo para especificar a data e o período em que você deseja visualizar os dados no painel.
Por padrão, o painel exibe os dados da última semana. Você pode personalizar o intervalo de tempo para visualizar dados tão recentes quanto os últimos 15 minutos ou que remontam a até 3 meses no histórico.
Use o filtro Comparar para selecionar um período de tempo com o qual comparar seus dados atuais. Isso permite que você identifique tendências e acompanhe melhorias ou problemas ao longo do tempo.
Resumo do desempenho da IA de autoatendimento
Esta seção mostra a integridade das interações de autoatendimento iniciadas pelo agente de IA. Ele exibe as seguintes métricas principais para o período selecionado, filtradas pelo caso de uso de “autoatendimento”:
-
A IA envolveu contatos:
Contagem total de contatos atendidos quando agentes de IA resolveram consultas de clientes sem envolver agentes humanos.
-
Agentes ativos de IA:
O número total de agentes de IA exclusivos, em que cada agente é identificado por sua combinação exclusiva de nome e versão.
-
Taxa de conclusão da resposta:
A porcentagem de sessões de agentes de IA que tiveram sucesso em responder às solicitações recebidas.
-
Taxa de transferência:
Porcentagem de contatos de autoatendimento atendidos por agentes de IA que foram marcados por precisarem de suporte adicional, incluindo, mas não se limitando a, agentes humanos.
-
Taxa de sucesso da meta:
A proporção de sessões em que os agentes de IA resolveram com sucesso os problemas dos clientes. O valor está entre 0-1, onde 1 indica uma resolução bem-sucedida em todas as sessões.
-
Pontuação de fidelidade:
A proporção de respostas dos agentes de IA que permanecem fiéis ao contexto conversacional, incluindo mensagens e resultados de chamadas de ferramentas. O valor está entre 0-1, onde 1 indica perfeita fidelidade contextual.
A imagem a seguir mostra um exemplo de gráfico resumido do desempenho da IA de autoatendimento.
Resumo do desempenho da IA de assistência ao agente
Esse widget mostra a integridade de suas interações assistidas por agentes, nas quais a IA fornece suporte a agentes humanos. Ele exibe as seguintes métricas principais para o período selecionado, filtradas pelo caso de uso da “Assistência do agente”.
-
A IA envolveu contatos:
Número total de contatos em que agentes de IA ajudaram agentes humanos a resolver dúvidas de clientes.
-
Agentes ativos de IA:
O número total de agentes de IA exclusivos, em que cada agente é identificado por sua combinação exclusiva de nome e versão.
-
Taxa de conclusão da resposta:
A porcentagem de sessões de agentes de IA que tiveram sucesso em responder às solicitações recebidas.
-
Taxa de engajamento proativo com intenção:
Porcentagem de intenções proativas detectadas clicadas por agentes humanos.
-
Pontuação de fidelidade:
A proporção de respostas dos agentes de IA que permanecem fiéis ao contexto conversacional, incluindo mensagens e resultados de chamadas de ferramentas. O valor está entre 0-1, onde 1 indica perfeita fidelidade contextual.
A imagem a seguir mostra um exemplo de gráfico resumido do desempenho da IA de assistência ao agente.
Desempenho dos agentes de IA
Esta tabela fornece uma visão detalhada do desempenho do agente de IA, desde o caso de uso até as versões individuais do agente, e suas principais métricas de desempenho.
A tabela exibe métricas de desempenho em dois níveis:
-
Nível de caso de uso de IA:
Métricas agregadas em todas as versões do agente em um caso de uso (autoatendimento ao cliente final, assistência do agente).
-
Nível de versão do agente de IA:
Métricas de desempenho individuais para cada versão do agente.
Você pode expandir ou reduzir as linhas de casos de uso para detalhar as versões específicas do agente. Para ver como cada versão contribui para o desempenho geral do caso de uso, veja as métricas individuais de cada linha de versão do agente.
Métricas exibidas:
-
Contagem de invocações do agente de IA:
Número total de vezes que a versão do agente de IA foi invocada.
-
Taxa de sucesso de invocação de agentes de IA:
Porcentagem de invocações de agentes de IA que foram executadas com sucesso.
-
Avg. A conversa do agente de IA muda:
Número médio de turnos de conversa que o agente de IA realizou para chegar a um resultado.
-
Resposta útil:
A contagem de sugestões de IA avaliadas como úteis com o polegar para cima.
-
Resposta inútil:
A contagem de sugestões de IA classificadas como inúteis com o polegar para baixo.
-
Precisão de utilização da ferramenta:
A taxa de utilização correta da ferramenta pelo agente de IA. O valor está entre 0-1, onde 1 indica uma utilização perfeita.
-
Precisão da seleção de ferramentas:
A taxa de seleção correta de ferramentas pelos agentes de IA. O valor está entre 0-1, onde 1 indica a seleção ideal.
-
Precisão dos parâmetros da ferramenta:
A taxa de invocações de ferramentas em que os agentes de IA forneceram os parâmetros corretos. O valor está entre 0-1, onde 1 indica a precisão perfeita dos parâmetros.
A imagem a seguir mostra um exemplo de tabela de desempenho de agentes de IA.
Agentes de IA por taxa de sucesso de invocação
O gráfico de taxa de sucesso de agentes de IA por invocação exibe a taxa de sucesso de invocação para cada agente de IA. Você pode configurar ainda mais esse widget filtrando por agentes de IA específicos, tipo de agente de IA, caso de uso de IA ou outras dimensões diretamente desse gráfico.
A imagem a seguir mostra um exemplo de gráfico de taxa de sucesso de agentes de IA por invocação.
Uso da base de conhecimento
Esta tabela fornece uma visão detalhada dos artigos da base de conhecimento referenciados por seus agentes de IA. Você pode expandir por tipo de agente de IA e linhas de agentes de IA para detalhar o nome específico da base de conhecimento e ver quantas vezes uma base de conhecimento foi referenciada por agentes de IA.
Métricas exibidas:
-
Contagem de referências — Número de vezes que o artigo foi referenciado por agentes de IA.
A imagem a seguir mostra um exemplo de tabela de uso da base de conhecimento.
Tendência de desempenho de agentes de IA
A tendência de desempenho do agente de IA é um gráfico de séries temporais que exibe a taxa de sucesso da invocação do agente de IA (barras azuis), a pontuação de fidelidade (linha vermelha) e a precisão da utilização da ferramenta (linha verde) em um determinado período de tempo, dividido por intervalos (15 minutos, diariamente, semanalmente, mensalmente). Você pode configurar diferentes intervalos de tempo usando o botão “Intervalo” diretamente no widget. Os intervalos que você pode selecionar dependem do filtro de intervalo de tempo no nível da página.
Por exemplo:
-
Se tiver um filtro de intervalo de tempo “Hoje” na parte superior do painel, você poderá ver apenas um intervalo de 15 minutos nas últimas 24 horas.
-
Se tiver um filtro de intervalo de tempo de “Dia” na parte superior do painel, você poderá ver uma tendência de intervalo de 8 dias finais ou uma tendência de intervalo de 15 minutos nas últimas 24 horas.
-
Se você tiver um filtro de intervalo de tempo “Semanal” na parte superior do painel, poderá ver as tendências de intervalos diários ou semanais.
-
Se você tiver um filtro de intervalo de tempo “Mês” na parte superior do painel, poderá ver as tendências de intervalos diários ou mensais.
A imagem a seguir mostra um exemplo de gráfico de tendências de desempenho de agentes de IA.
Uso de ferramentas de IA
Esta tabela compara implementações de ferramentas (por exemplo, MCP - Model Context Protocol Return-to-Control) em invocações, latência média e taxa de sucesso de invocação e precisão de utilização da ferramenta.
Por exemplo, você pode selecionar um tipo de agente de IA (como orquestração ou recomendação de resposta) e ver o desempenho de diferentes ferramentas e suas versões dentro desse tipo de agente. Você pode identificar quais versões da ferramenta precisam ser otimizadas classificando as colunas usando a contagem de invocações da ferramenta de IA, a taxa de sucesso da invocação da ferramenta de IA ou a média. Latência de invocação da ferramenta de IA.
A tabela exibe métricas de desempenho em três níveis:
-
Nível do tipo de agente de IA:
Métricas agregadas em todas as ferramentas e versões de um tipo de agente.
-
Nível do tipo de ferramenta de IA:
Métricas agregadas em todas as versões de um tipo específico de ferramenta.
-
Ferramenta de IA:
Métricas de desempenho individuais para cada versão da ferramenta.
Você pode expandir ou reduzir as linhas do tipo de agente de IA e do tipo de ferramenta para detalhar as versões específicas da ferramenta. Para ver como cada versão contribui para o desempenho geral do tipo de ferramenta, veja as métricas individuais de cada linha de versão da ferramenta.
Métricas exibidas:
-
Contagem de invocações da ferramenta de IA:
Número total de vezes que a versão da ferramenta de IA foi invocada.
-
Avg. Latência de invocação da ferramenta de IA:
Latência média de invocação em milissegundos para a versão da ferramenta.
-
Taxa de sucesso de invocação de ferramentas de IA:
Porcentagem de invocações de ferramentas de IA que foram executadas com sucesso.
-
Precisão de utilização da ferramenta:
A taxa de utilização correta da ferramenta pelo agente de IA. O valor está entre 0-1, onde 1 indica uma utilização perfeita.
-
Precisão da seleção de ferramentas:
A taxa de seleção correta de ferramentas pelos agentes de IA. O valor está entre 0-1, onde 1 indica a seleção ideal.
-
Precisão dos parâmetros da ferramenta:
A taxa de invocações de ferramentas em que os agentes de IA forneceram os parâmetros corretos. O valor está entre 0-1, onde 1 indica a precisão perfeita dos parâmetros.
A imagem a seguir mostra um exemplo de tabela de uso de ferramentas de IA.
Desempenho imediato de IA
Esta tabela fornece uma visão detalhada do desempenho do prompt de IA. Você pode expandir as linhas do tipo de agente de IA e do tipo de prompt para detalhar as versões específicas do prompt. Para ver como cada versão contribui para o desempenho geral do tipo de prompt, veja as métricas individuais de cada linha de versão do prompt.
A tabela exibe métricas de desempenho em três níveis:
-
Nível do tipo de agente de IA:
Métricas agregadas em todos os prompts e versões de um tipo de agente de IA.
-
Nível do tipo de prompt de IA:
Métricas agregadas em todas as versões de um tipo específico de prompt de IA.
-
Nível de versão do prompt de IA:
Métricas de desempenho individuais para cada versão do prompt de IA.
Métricas exibidas:
-
Contagem de invocações imediatas do AI:
Número total de vezes que a versão do prompt de IA foi invocada.
-
Taxa de sucesso de invocação imediata de IA:
Porcentagem de invocações de prompt de IA que foram executadas com sucesso.
-
Avg. Latência de invocação imediata da IA:
Latência média de invocação em milissegundos para a versão do prompt de IA.
Além de usar os filtros de página, você pode adicionar filtros à tabela para agentes de IA específicos, solicitações de IA, intervalos de tempo ou outras dimensões.
A imagem a seguir mostra um exemplo de tabela de desempenho do prompt de IA.
Tendência de intenções proativas
O gráfico de tendências de intenções proativas mostra as intenções proativas detectadas (barras azuis) em relação à taxa de engajamento da intenção proativa (linha vermelha) e à taxa de resposta da intenção proativa (linha verde) em um determinado período de tempo, dividida por intervalos (15 minutos, diariamente, semanalmente, mensalmente). Você pode configurar diferentes intervalos de tempo usando o botão “Intervalo” diretamente no widget. Os intervalos que você pode selecionar dependem do filtro de intervalo de tempo no nível da página.
Métricas exibidas:
-
Intenções proativas detectadas:
O número de intenções proativas (consultas de clientes) detectadas durante as sessões de IA, para casos de uso da Assistência ao Agente.
-
Taxa de engajamento proativo com intenção:
A porcentagem de intenções proativas detectadas que foram clicadas ou adotadas por agentes humanos para casos de uso da Assistência ao Agente.
-
Taxa de resposta proativa com intenção:
A porcentagem de intenções proativas engajadas que foram cumpridas com sucesso pelos agentes de IA, para casos de uso da Assistência ao Agente.
A imagem a seguir mostra um exemplo de gráfico de tendências de intenções proativas.
Solicitações de IA por latência de invocação
O gráfico de solicitações de IA por latência de invocação exibe a latência média de invocação em milissegundos para cada solicitação de IA. Você pode configurar ainda mais esse widget filtrando solicitações específicas de IA, tipo de solicitação de IA, agente de IA, tipo de agente de IA, caso de uso de IA ou outras dimensões diretamente deste gráfico.
A imagem a seguir mostra um exemplo de instruções de IA por gráfico de latência de invocação.
Avisos de IA por taxa de sucesso de invocação
O gráfico de taxa de sucesso de solicitações de IA por invocação exibe a taxa de sucesso de invocação para cada solicitação de IA. Você pode configurar ainda mais esse widget filtrando solicitações específicas de IA, tipo de solicitação de IA, agente de IA, tipo de agente de IA, caso de uso de IA ou outras dimensões diretamente deste gráfico.
A imagem a seguir mostra um exemplo de gráfico de taxa de sucesso de solicitações de IA por invocação.
