As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Avaliadores
Os avaliadores são os principais componentes que avaliam o desempenho do seu agente em diferentes dimensões. Eles analisam os rastros dos agentes e fornecem pontuações quantitativas com base em critérios específicos, como utilidade, precisão ou métricas comerciais personalizadas. AgentCore O Evaluations oferece avaliadores integrados para casos de uso comuns e avaliadores terceirizados de bibliotecas de avaliação de código aberto. Você também pode criar avaliadores personalizados adaptados às suas necessidades específicas.
Built-in avaliadores
Built-in avaliadores são soluções pré-configuradas que usam modelos de linguagem grande (LLMs) como juízes para avaliar o desempenho do agente. Esses avaliadores vêm com configurações predefinidas, incluindo modelos de solicitação cuidadosamente elaborados, modelos de avaliadores selecionados e critérios de pontuação padronizados.
Built-in os avaliadores são projetados para atender às necessidades comuns de avaliação e, ao mesmo tempo, garantir consistência e confiabilidade em todas as avaliações. Como eles fazem parte de nossa oferta totalmente gerenciada, você pode usá-los imediatamente, sem nenhuma configuração adicional, e continuaremos melhorando sua qualidade e adicionando novos avaliadores ao longo do tempo. Para preservar a consistência e a confiabilidade, as configurações dos avaliadores integrados não podem ser modificadas.
Third-party avaliadores
Third-party os avaliadores vêm das bibliotecas DeepEval e de código AutoEval aberto. O Amazon Bedrock os AgentCore gerencia da mesma forma que os avaliadores integrados. Selecione um avaliador terceirizado por ID e o serviço o executará, sem necessidade de modelo ou configuração. Você também pode derivar um avaliador personalizado de um avaliador interno ou terceirizado para executar sua lógica em seu próprio modelo. Para obter mais informações, consulte Third-party avaliadores.
Avaliadores personalizados
Os avaliadores personalizados oferecem mais flexibilidade ao permitir que você defina todos os aspectos do seu processo de avaliação. AgentCore As avaliações oferecem suporte aos seguintes tipos de avaliadores personalizados:
-
LLM-as-a-judge avaliadores — Defina seu próprio modelo de avaliador, instruções de avaliação e esquemas de pontuação. Você pode adaptar a avaliação às suas necessidades específicas selecionando o modelo do avaliador, criando instruções de avaliação personalizadas, definindo critérios de avaliação específicos e criando seu próprio esquema de pontuação. Para obter mais informações, consulte Avaliadores Avaliadores personalizados personalizados.
-
Code-based avaliadores — Use sua própria função do AWS Lambda para avaliar programaticamente o desempenho do agente. Essa abordagem oferece controle total sobre a lógica de avaliação, permitindo verificações determinísticas, chamadas de API externas, correspondência de expressões regulares, métricas personalizadas ou quaisquer regras específicas do negócio sem depender de um juiz do LLM. Para obter mais informações, consulte Avaliador personalizado baseado em código.
-
Avaliadores derivados de um avaliador básico — Execute a lógica de um avaliador interno ou terceirizado existente em seu próprio modelo e inferência, em vez do modelo escolhido pelo serviço. Para obter mais informações, consulte Third-party avaliadores.
Esse nível de personalização é particularmente valioso quando você precisa avaliar agentes específicos do domínio, aplicar padrões de qualidade exclusivos ou implementar sistemas de pontuação especializados. Por exemplo, você pode criar critérios de avaliação personalizados para setores específicos, como saúde ou finanças, ou criar esquemas de pontuação que se alinhem às métricas de qualidade da sua organização.
