Criar conjuntos de dados de prompts para avaliação de RAG no Amazon Bedrock

Para avaliar a recuperação e a geração de uma base de conhecimento do Amazon Bedrock ou seu próprio sistema de geração aumentada via recuperação (RAG), forneça um conjunto de dados de prompts. Quando você fornece dados de resposta do seu próprio sistema de RAG, o Amazon Bedrock ignora a etapa de invocação da base de conhecimento e executa o trabalho de avaliação diretamente nos seus dados.

Os conjuntos de dados de prompts devem ser armazenados no Amazon S3 e usar o formato de linha JSON e a extensão de arquivo .jsonl. Cada linha também deve ser um objeto JSON válido. Um conjunto de dados pode ter até mil prompts por trabalho de avaliação. Para trabalhos de avaliação de recuperação e geração, o número máximo de turnos para cada conversa é cinco. Para avaliações somente de recuperação, você pode especificar somente um turno.

Para trabalhos criados usando o console, atualize a configuração de compartilhamento de recursos de origem cruzada (CORS) no bucket do S3. Para saber mais sobre as permissões de CORS necessárias, consulte Permissões de compartilhamento de recursos de origem cruzada (CORS) necessárias em buckets do S3.

Consulte os tópicos a seguir para saber mais sobre os pares de chave-valor necessários com base no tipo de trabalho de avaliação selecionado.