Criar um trabalho de avaliação de modelo realizado por humanos

Como criar um trabalho de avaliação de modelo que utiliza trabalhadores humanos

1. Abra o console do Amazon Bedrock.

2. No painel de navegação, em Inferência e avaliação, escolha Avaliações.

3. No painel Avaliação do modelo, em Humano, escolha Criar e selecione Humano: traga sua própria equipe de trabalho.

4. Na página Especificar detalhes do trabalho, forneça as informações a seguir.

   1. Nome da avaliação: dê ao trabalho de avaliação de modelo um nome que descreva o trabalho. Esse nome é mostrado na lista de trabalhos de avaliação de modelo. O nome deve ser único na sua conta em uma Região da AWS.

   2. Descrição (opcional): forneça uma descrição opcional.

   3. Escolha Próximo.

5. Na página Configurar avaliação, em Fonte de inferência, selecione a fonte para sua avaliação de modelo. Você pode avaliar o desempenho dos modelos do Amazon Bedrock ou de outros modelos fornecendo seus próprios dados de resposta de inferência em seu conjunto de dados de prompts. É possível selecionar até duas fontes de inferência. Para trabalhos com duas fontes, você não precisa escolher o mesmo tipo para ambas as fontes; você pode selecionar um modelo do Amazon Bedrock e fornecer seus próprios dados de resposta de inferência para a segunda fonte. Para avaliar modelos do Amazon Bedrock, faça o seguinte:

   1. Em Selecionar origem, escolha Modelos do Bedrock.

   2. Escolha Selecionar modelo para escolher o modelo que você deseja avaliar.

   3. Para selecionar um segundo modelo, escolha Adicionar modelo e repita as etapas anteriores.

6. Para trazer seus próprios dados de resposta de inferência, faça o seguinte:

   1. Em Selecionar origem, escolha Traga suas próprias respostas de inferência.

   2. Em Nome da origem, insira um nome para o modelo usado para criar os dados de resposta. O nome inserido deve corresponder ao parâmetro modelIdentifier no conjunto de dados de prompts.

   3. Para selecionar um segundo modelo, escolha Adicionar modelo e repita as etapas anteriores.

7. Em Tipo de tarefa, selecione o tipo de tarefa que você deseja que o modelo realize durante o trabalho de avaliação de modelo. Todas as instruções para o modelo devem ser incluídas nos próprios prompts. O tipo de tarefa não controla as respostas do modelo.

8. No painel Conjuntos de dados, forneça as informações a seguir.

   1. Em Escolha um conjunto de dados de prompts, especifique o URI do S3 do arquivo do conjunto de dados de prompts ou selecione Procurar no S3 para ver os buckets do S3 disponíveis. É possível ter até mil prompts em um conjunto de dados de prompts personalizado.

   2. Em Destino dos resultados da avaliação, especifique o URI do S3 do diretório em que deseja que os resultados do trabalho de avaliação de modelo sejam salvos ou escolha Procurar no S3 para ver os buckets do S3 disponíveis.

9. (Opcional) Em Chave do KMS: opcional, forneça o ARN da chave gerenciada pelo cliente a ser usada para criptografar o trabalho de avaliação de modelo.

10. No painel Perfil do IAM do Amazon Bedrock: permissões, faça o que se apresenta a seguir. Para saber mais sobre as permissões necessárias para avaliações de modelo, consulte Requisitos de perfil de serviço para trabalhos de avaliação de modelo.

    1. Para usar um perfil de serviço do Amazon Bedrock existente, escolha Usar um perfil de serviço existente. Caso contrário, use Criar um perfil para especificar os detalhes do novo perfil de serviço do IAM.

    2. Em Nome do perfil de serviço, especifique o nome do perfil de serviço do IAM.

    3. Quando tudo estiver pronto, escolha Criar perfil para criar o perfil de serviço do IAM.

11. Escolha Próximo.

12. Em Equipe de trabalho, use o menu suspenso Selecionar equipe para escolher uma equipe existente ou criar uma fazendo o seguinte:

    1. Em Nome da equipe, insira um nome para a equipe.

    2. Em Endereços de e-mail, insira os endereços de e-mail dos trabalhadores humanos da sua equipe.

    3. Em Número de trabalhadores por prompt, selecione o número de trabalhadores que avaliam cada prompt. Depois que as respostas de cada prompt forem analisadas pelo número definido de operadores, o prompt e suas respostas serão retirados de circulação da equipe de trabalho. O relatório dos resultados finais incluirá todas as classificações de cada operador.

       Importante

       Sabe-se que grandes modelos de linguagem ocasionalmente alucinam e geram conteúdo tóxico ou ofensivo. Os operadores poderão ser expostos a material tóxico ou ofensivo durante essa avaliação. Tome as medidas adequadas para treiná-los e notificá-los antes que eles trabalhem na avaliação. Eles podem recusar e largar tarefas ou fazer pausas durante a avaliação enquanto acessam a ferramenta de avaliação humana.

13. Em Perfil do IAM de fluxo de trabalho humano: permissões, selecione um perfil existente ou selecione Criar um perfil.

14. Escolha Próximo.

15. Em Instruções de avaliação, forneça instruções sobre como concluir a tarefa. É possível pré-visualizar a interface do usuário da avaliação que a equipe de trabalho usará para avaliar as respostas, incluindo as métricas, os métodos de classificação e suas instruções. Essa pré-visualização é baseada na configuração que você criou para esse trabalho.

16. Escolha Próximo.

17. Analise a configuração do trabalho e selecione Criar para criá-lo.

    nota

    Depois que o trabalho for iniciado com sucesso, o status mudará para Em andamento. Quando o trabalho for concluído, o status será alterado para Concluído. Enquanto um trabalho de avaliação de modelo ainda estiver Em andamento, é possível optar por interromper o trabalho antes que todas as respostas dos modelos tenham sido avaliadas pela sua equipe de trabalho. Para fazer isso, escolha Interromper avaliação na página inicial da avaliação de modelo. Isso mudará o Status do trabalho de avaliação de modelo para Parando. Depois que o trabalho de avaliação de modelo for interrompido com êxito, o trabalho de avaliação de modelo poderá ser excluído.