As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Gerenciar uma equipe de trabalho de avaliações humanas de modelos no Amazon Bedrock
Em trabalhos de avaliação com a participação de operadores humanos, é necessário ter uma equipe de trabalho. Uma equipe de trabalho é um grupo de operadores que você escolhe. Podem ser funcionários da empresa ou um grupo de especialistas no assunto do setor.
Notificações para operadores no Amazon Bedrock
-
Ao criar um trabalho de avaliação no Amazon Bedrock, os operadores são notificados sobre o trabalho atribuído somente quando você os adiciona pela primeira vez a uma equipe de trabalho.
-
Se você excluir um operador de uma equipe de trabalho durante a criação do trabalho de avaliação, o operador também perderá o acesso a todos os trabalhos de avaliação atribuídos a ele.
-
Para qualquer novo trabalho de avaliação de modelo que você atribuir a um operador humano existente, será necessário notificá-lo diretamente e fornecer o URL do portal de operadores. Os operadores devem usar suas credenciais de login criadas anteriormente para o portal de operadores. Esse portal de operadores é o mesmo para todos os trabalhos de avaliação em sua conta da AWS por região.
É possível criar uma equipe de trabalho humana ou gerenciar uma equipe de trabalho existente configurando os operadores de trabalho de avaliação para uma Força de trabalho privada que é gerenciada pelo Amazon SageMaker Ground Truth. O Amazon SageMaker Ground Truth é compatível com os recursos mais avançados de gerenciamento de força de trabalho. Para saber mais sobre como gerenciar uma equipe de trabalho no Amazon SageMaker Ground Truth, consulte Criar e gerenciar forças de trabalho.
É possível excluir operadores de uma equipe de trabalho configurando um novo trabalho de avaliação. Caso contrário, use o console do Amazon Cognito ou o console do Amazon SageMaker Ground Truth para gerenciar as equipes de trabalho que criou no Amazon Bedrock.
Se o usuário, o grupo ou o perfil do IAM tiver as permissões necessárias, você verá as forças de trabalho e as equipes de trabalho privadas existentes que criou no Amazon Cognito, no Amazon SageMaker Ground Truth ou no Amazon Augmented AI ao criar um trabalho de avaliação de modelo com a participação de operadores humanos.
O Amazon Bedrock comporta até cinquenta operadores por equipe de trabalho.
No campo de endereços de e-mail, é possível inserir até 50 endereços de e-mail. Para adicionar mais operadores a um trabalho de avaliação, use o console do Amazon Cognito ou o console do Ground Truth. Os endereços devem ser separados por uma vírgula. Você deve incluir seu próprio endereço de e-mail para fazer parte da força de trabalho e poder ver as tarefas de rotulagem.
Crie instruções para os operadores humanos
Criar boas instruções para os trabalhos de avaliação de modelo melhora a precisão do operador na conclusão de suas tarefas. É possível modificar as instruções padrão fornecidas no console ao criar um trabalho de avaliação de modelo. Essas instruções são mostradas para o operador na página da interface do usuário em que eles concluem sua tarefa de rotulagem.
Para ajudar os operadores a concluírem as tarefas atribuídas, é possível fornecer instruções em dois locais.
Fornecer uma boa descrição para cada método de avaliação e classificação
As descrições devem oferece uma explicação sucinta das métricas selecionadas. A descrição deve se aprofundar na métrica e deixar claro como você deseja que os operadores avaliem o método de classificação selecionado.
Fornecer instruções gerais de avaliação para os operadores
Essas instruções são mostradas na mesma página da web na qual os operadores concluem uma tarefa. É possível usar esse espaço para fornecer orientação de alto nível para o trabalho de avaliação de modelo e para descrever as respostas reais, caso as tenha incluído no conjunto de dados de prompts.
