As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Rastreie as métricas de desempenho dos operadores
O Amazon SageMaker Ground Truth faz o log de eventos do operador no Amazon CloudWatch, da mesma forma que um operador inicia ou envia uma tarefa. Use métricas do Amazon CloudWatch para medir e rastrear a throughput em uma equipe ou para operadores individuais.
Importante
O rastreamento de eventos do operador não está disponível para fluxos de trabalho de revisão humana do Amazon Augmented AI.
Ativar rastreamento
Durante o processo de configuração para uma nova equipe de trabalho, as permissões de Amazon CloudWatch para registro de eventos do de operador são criadas. Como esse atributo foi adicionado em agosto de 2019, as equipes de trabalho criadas antes disso podem não ter as permissões corretas. Se todas as suas equipes de trabalho foram criadas antes de agosto de 2019, crie uma nova equipe de trabalho. Ela não precisa de nenhum membro e pode ser excluída após a criação, mas ao criá-la, você estabelece as permissões e as aplica a todas as equipes de trabalho, independentemente de quando elas foram criadas.
Rastreie as métricas usando logs
Depois que o rastreamento for ativado, a atividade dos operadores será registrada em log. Abra o console do Amazon CloudWatch e selecione Logs no painel de navegação. Você deve ver um grupo de logs chamado /aws/sagemaker/groundtruth/WorkerActivity.
Cada tarefa concluída é representada por uma entrada de log, que contém informações sobre o operador, sua equipe, o trabalho, quando a tarefa foi aceita e quando ela foi enviada.
exemplo Entrada de log
{ "worker_id": "cd449a289e129409", "cognito_user_pool_id": "us-east-2_IpicJXXXX", "cognito_sub_id": "d6947aeb-0650-447a-ab5d-894db61017fd", "task_accepted_time": "Wed Aug 14 16:00:59 UTC 2019", "task_submitted_time": "Wed Aug 14 16:01:04 UTC 2019", "task_returned_time": "", "task_declined_time": "", "workteam_arn": "arn:aws:sagemaker:us-east-2:############:workteam/private-crowd/Sample-labeling-team", "labeling_job_arn": "arn:aws:sagemaker:us-east-2:############:labeling-job/metrics-demo", "work_requester_account_id": "############", "job_reference_code": "############", "job_type": "Private", "event_type": "TasksSubmitted", "event_timestamp": "1565798464" }
Um ponto de dados útil em cada evento é o cognito_sub_id. Você pode fazer a correspondência com um operador individual.
-
Abra o console do Amazon SageMaker AI em https://console.aws.amazon.com/sagemaker/
. Na seção Ground Truth, selecione Forças de trabalho.
Selecione Private (Privado).
Escolha o nome de uma equipe na seção Equipes privadas.
Na seção Resumo da equipe, selecione o grupo de usuários identificado em Grupo de usuários do Amazon Cognito. Isso o levará ao grupo no console do Amazon Cognito.
A página Group (Grupo) lista os usuários no grupo. Escolha o link de qualquer usuário na coluna Username (Nome de usuário) para ver mais informações sobre o usuário, incluindo um sub ID (ID secundário) exclusivo.
Para obter informações sobre todos os membros da equipe, use a ação ListUsers (exemplos) na API do Amazon Cognito.
Rastreie as métricas usando o console do CloudWatch
Se você não quiser escrever seus próprios scripts para processar e visualizar as informações brutas do log, as métricas do Amazon CloudWatch fornecerão insights sobre a atividade do operador para você.
Para visualizar métricas da
Abra o console do CloudWatch em https://console.aws.amazon.com/cloudwatch/
. -
No painel de navegação, selecione Métricas.
-
Selecione o namespace
AWS/SageMaker/Workteame explore as métricas disponíveis. Por exemplo, selecionar as métricas Workflow e Workteam permite calcular o tempo médio por tarefa enviada para um trabalho de rotulagem específico.
Para obter mais informações, consulte Usar métricas do Amazon CloudWatch.
