Avalie o desempenho das fontes de RAG usando as avaliações do Amazon Bedrock - Amazon Bedrock
Modelos compatíveis

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Avalie o desempenho das fontes de RAG usando as avaliações do Amazon Bedrock

Você pode usar métricas computadas para avaliar a eficácia com que um sistema de Geração Aumentada de Recuperação (RAG) recupera informações relevantes de suas fontes de dados e a eficácia das respostas geradas na resposta às perguntas. Os resultados de uma avaliação do RAG permitem que você compare diferentes bases de conhecimento Amazon Bedrock e outras fontes de RAG e, em seguida, escolha a melhor base de conhecimento ou sistema RAG para sua aplicação.

Você pode configurar dois tipos diferentes de trabalhos de avaliação do RAG.

  • Somente recuperação — Em um trabalho de avaliação de RAG somente para recuperação, o relatório é baseado nos dados recuperados de sua fonte de RAG. Você pode avaliar uma base de conhecimento Amazon Bedrock ou trazer seus próprios dados de resposta de inferência de uma fonte externa de RAG.

  • Recuperar e gerar — Em um trabalho de avaliação do retrieve-and-generateRAG, o relatório é baseado nos dados recuperados da sua base de conhecimento e nos resumos gerados pelo modelo gerador de respostas. Você pode usar uma base de conhecimento Amazon Bedrock e um modelo gerador de respostas, ou pode trazer seus próprios dados de resposta de inferência de uma fonte externa de RAG.

Modelos compatíveis

Para criar um trabalho de avaliação do RAG, você precisa acessar pelo menos um dos modelos de avaliador nas listas a seguir. Para criar um retrieve-and-generate trabalho que usa um modelo Amazon Bedrock para gerar as respostas, você também precisa acessar pelo menos um dos modelos de resposta do gerador listados.

Para saber mais sobre como obter acesso aos modelos e à disponibilidade da região, consulteAcessar modelos de base do Amazon Bedrock.

Modelos de avaliador compatíveis (métricas integradas)

  • Amazon Nova Pro – amazon.nova-pro-v1:0

  • AnthropicClaude 3.5 Sonnetv1 — anthropic.claude-3-5-sonnet-20240620-v1:0

  • AnthropicClaude 3.5 Sonnetv2 — anthropic.claude-3-5-sonnet-20241022-v2:0

  • Anthropic Claude 3.7 Sonnet – anthropic.claude-3-7-sonnet-20250219-v1:0

  • Anthropic Claude 3 Haiku – anthropic.claude-3-haiku-20240307-v1:0

  • Anthropic Claude 3.5 Haiku – anthropic.claude-3-5-haiku-20241022-v1:0

  • Meta Llama 3.1 70B Instruct – meta.llama3-1-70b-instruct-v1:0

  • Mistral Large – mistral.mistral-large-2402-v1:0

Os perfis de inferência entre regiões são compatíveis com os modelos listados. Para saber mais, consulte Perfis de inferência entre regiões compatíveis.

Modelos de avaliador compatíveis (métricas personalizadas)

  • Mistral Large24.02 — mistral.mistral-large-2402-v1:0

  • Mistral Large24.07 — mistral.mistral-large-2407-v1:0

  • AnthropicClaude 3.5 Sonnetv1 — anthropic.claude-3-5-sonnet-20240620-v1:0

  • AnthropicClaude 3.5 Sonnetv2 — anthropic.claude-3-5-sonnet-20241022-v2:0

  • Anthropic Claude 3.7 Sonnet – anthropic.claude-3-7-sonnet-20250219-v1:0

  • AnthropicClaude 3 Haiku3 — anthropic.claude-3-haiku-20240307-v1:0

  • AnthropicClaude 3 Haiku3.5 — anthropic.claude-3-5-haiku-20241022-v1:0

  • Meta Llama 3.1 70B Instruct – meta.llama3-1-70b-instruct-v1:0

  • Meta Llama 3.3 70B Instruct – meta.llama3-3-70b-instruct-v1:0

  • Amazon Nova Pro – amazon.nova-pro-v1:0

Os perfis de inferência entre regiões são compatíveis com os modelos listados. Para saber mais, consulte Perfis de inferência entre regiões compatíveis.

Modelos de geradores de resposta compatíveis

Você pode usar os seguintes tipos de modelo no Amazon Bedrock como modelo gerador de respostas em um trabalho de avaliação. Você também pode trazer seus próprios dados de resposta de inferência de modelos que não são do Amazon Bedrock.