Criar um trabalho de avaliação de RAG no Amazon Bedrock

É possível criar um trabalho de avaliação de RAG usando o Console de gerenciamento da AWS, a AWS CLI ou um SDK da AWS compatível.

Esse tipo de trabalho requer acesso a um modelo avaliador. Se você estiver criando um trabalho de recuperação e geração que use um modelo Amazon Bedrock como gerador de resposta, você também precisará acessar esse modelo. Ambos os modelos devem estar disponíveis na mesma Região da AWS. Para ver uma lista de modelos geradores e avaliadores de respostas compatíveis, consulte Modelos compatíveis.

Pré-requisitos

Além de ter acesso a pelo menos um modelo avaliador, para criar um trabalho de avaliação de RAG, você também precisa de determinadas permissões de perfil de serviço do IAM. Para saber mais sobre as ações necessárias e os requisitos de política de confiança, consulte Permissões de perfil de serviço necessárias para criar um trabalho de avaliação de modelo que utiliza um modelo avaliador.

Ao criar o trabalho, você especifica um conjunto de dados de prompts em um bucket do Amazon S3 e um bucket de saída para armazenar os resultados. Para garantir que os buckets do S3 tenham as permissões de CORS necessárias, consulte Permissões de compartilhamento de recursos de origem cruzada (CORS) necessárias em buckets do S3.

Para criar um trabalho no console, o console precisa de permissão para realizar um determinado conjunto de ações e ter acesso aos recursos necessários. A política a seguir define um conjunto mínimo de permissões do IAM necessário para criar um trabalho no console. Na política, recomendamos usar o elemento de política JSON Resource do IAM para limitar o acesso somente aos modelos e buckets necessários ao usuário, grupo ou perfil do IAM.

A política do IAM deve conceder acesso a um modelo avaliador e, para recuperar e gerar trabalhos que usem um modelo gerador de respostas do Amazon Bedrock, deve conceder acesso ao gerador de respostas.