Leistungskennzahlen Ihrer Mitarbeiter nachverfolgen - Amazon SageMaker KI
Aktivieren der NachverfolgungVerfolgen Sie Messwerte mithilfe von ProtokollenVerfolgen Sie Metriken mithilfe der Konsole CloudWatch

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Leistungskennzahlen Ihrer Mitarbeiter nachverfolgen

Amazon SageMaker Ground Truth protokolliert Mitarbeiterereignisse bei Amazon CloudWatch, z. B. wenn ein Mitarbeiter eine Aufgabe startet oder einreicht. Verwenden Sie CloudWatch Amazon-Metriken, um den Durchsatz innerhalb eines Teams oder für einzelne Mitarbeiter zu messen und zu verfolgen.

Wichtig

Die Auftragnehmer-Ereignisverfolgung ist für Amazon Augmented AI-Workflows für die Prüfung durch Mensche nicht verfügbar.

Aktivieren der Nachverfolgung

Während des Einrichtungsprozesses für ein neues Arbeitsteam werden die Berechtigungen für die CloudWatch Protokollierung von Mitarbeiterereignissen durch Amazon erstellt. Da diese Funktion im August 2019 hinzugefügt wurde, verfügen Arbeitsteams, die zuvor erstellt wurden, möglicherweise nicht über die richtigen Berechtigungen. Wenn alle Ihre Arbeitsteams vor August 2019 erstellt wurden, erstellen Sie ein neues Arbeitsteam. Es benötigt keine Mitglieder und kann nach der Erstellung gelöscht werden. Durch die Erstellung werden jedoch die Berechtigungen eingerichtet und gelten für alle Ihre Arbeitsteams, unabhängig davon, wann diese erstellt wurden.

Verfolgen Sie Messwerte mithilfe von Protokollen

Sobald die Nachverfolgung aktiviert wurde, werden die Aktivitäten Ihrer Auftragnehmer protokolliert. Öffnen Sie die CloudWatch Amazon-Konsole und wählen Sie im Navigationsbereich Logs aus. Sie sollten eine Protokollgruppe mit dem Namen/sehenaws/sagemaker/groundtruth/WorkerActivity.

Jede abgeschlossene Aufgabe wird durch einen Protokolleintrag dargestellt, der Informationen über den Auftragnehmer, sein Team, den Auftrag, den Zeitpunkt der Annahme der Aufgabe und den Zeitpunkt der Übermittlung enthält.

Beispiel Protokolleintrag
{
  "worker_id": "cd449a289e129409",
  "cognito_user_pool_id": "us-east-2_IpicJXXXX",
  "cognito_sub_id": "d6947aeb-0650-447a-ab5d-894db61017fd",
  "task_accepted_time": "Wed Aug 14 16:00:59 UTC 2019",
  "task_submitted_time": "Wed Aug 14 16:01:04 UTC 2019",
  "task_returned_time": "",
  "task_declined_time": "",
  "workteam_arn": "arn:aws:sagemaker:us-east-2:############:workteam/private-crowd/Sample-labeling-team",
  "labeling_job_arn": "arn:aws:sagemaker:us-east-2:############:labeling-job/metrics-demo",
  "work_requester_account_id": "############",
  "job_reference_code": "############",
  "job_type": "Private",
  "event_type": "TasksSubmitted",
  "event_timestamp": "1565798464"
}

Ein nützlicher Datenpunkt in jedem Ereignis ist die cognito_sub_id. Sie können diese einem einzelnen Worker zuordnen.

  1. Öffnen Sie die Amazon SageMaker AI-Konsole unter https://console.aws.amazon.com/sagemaker/.

  2. Wählen Sie im Bereich Ground Truth die Option Workforces aus.

  3. Wählen Sie Private (Privat) aus.

  4. Wählen Sie im Bereich Private teams (Private Teams) den Namen eines Teams aus.

  5. Wählen Sie im Bereich Team summary (Teamzusammenfassung) die Benutzergruppe aus, die unter Amazon Cognito user group (Amazon Cognito-Benutzergruppe) angegeben ist. Dadurch gelangen Sie zur Gruppe in der Amazon Cognito-Konsole.

  6. Auf der Seite Group (Gruppe) werden die Benutzer in der Gruppe aufgeführt. Wählen Sie den Link eines Benutzers in der Spalte Username (Benutzername), um weitere Informationen zum Benutzer anzuzeigen, einschließlich einer eindeutigen Sub (Unter)-ID.

Um Informationen über alle Teammitglieder zu erhalten, verwenden Sie die ListUsersAktion (Beispiele) in der Amazon Cognito Cognito-API.

Verfolgen Sie Metriken mithilfe der Konsole CloudWatch

Wenn Sie keine eigenen Skripts zur Verarbeitung und Visualisierung der rohen Protokollinformationen schreiben möchten, bieten Ihnen CloudWatch die Amazon-Statistiken Einblicke in die Mitarbeiteraktivitäten.

Anzeigen von -Metriken

  1. Öffnen Sie die CloudWatch Konsole unter https://console.aws.amazon.com/cloudwatch/.

  2. Wählen Sie im Navigationsbereich Metriken aus.

  3. Wählen Sie AWS/SageMaker/Workteam Namensraum aus und sehen Sie sich die verfügbaren Metriken an. Wenn Sie beispielsweise die Metrik Workflow, Workteam und Workforce auswählen, können Sie die durchschnittliche Zeit berechnen, die eine eingereichte Aufgabe für einen bestimmten Kennzeichnungsauftrag benötigt.

Weitere Informationen finden Sie unter Amazon CloudWatch Metrics verwenden.