Überwachung HealthOmics mit CloudWatch Protokollen - AWS HealthOmics
Protokolltypen für HealthOmics WorkflowsMeldet sich an CloudWatch Loggt sich in Amazon S3 einInteraktive CloudWatch Protokolle in der CLIVon der Konsole aus auf CloudWatch Protokolle zugreifen

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Überwachung HealthOmics mit CloudWatch Protokollen

HealthOmics generiert eine Vielzahl von Protokollen, die Ihnen helfen, Ihre Läufe zu verstehen und Fehler zu beheben. Protokolle sind an zwei Orten verfügbar: CloudWatch und in Amazon S3.

Standardmäßig ist bei Läufen die Protokollierung aktiviert. Sie können die Protokollierung für einen Lauf optional deaktivieren, indem Sie dies LogLevel = OFF in der startrun Anforderung festlegen.

Anmerkung

Für Service-Updates konfigurieren und überwachen Sie Ihr Personal Health Dashboard. Weitere Informationen zur Verwaltung des Dashboards finden Sie unter Erste Schritte mit Ihrem AWS Health Dashboard.

Protokolltypen für HealthOmics Workflows

HealthOmics bietet die folgenden Arten von Protokollen für Workflows:

  • Engine-Logs — Die zugrunde liegenden Workflow-Engines (Nextflow, WDL und CWL) erstellen Engine-Logs für Läufe. Diese Protokolle können Ihnen bei der Behebung von Problemen mit der Workflow-Definition helfen.

  • Ausführungsmanifestprotokolle — Diese Protokolle enthalten allgemeine Informationen zu jeder ausgeführten Aufgabe, z. B. Aufgabenstatus, Startzeit, Stoppzeit und Grund für den Fehler (falls die Aufgabe fehlgeschlagen ist).

    Run-Manifest-Protokolle enthalten auch Statistiken zur Ressourcennutzung, die hilfreich sein können, um Möglichkeiten zur Ressourcenoptimierung zu verstehen. Zu diesen Statistiken gehören:

    • CPU-Durchschnitt

    • CPUs maximal

    • CPUs reserviert

    • GPUs reserviert

    • memoryAverageGiB

    • memoryMaximumGiB

    • memoryReservedGiB

    • Laufende Sekunden

  • Ausführungsprotokolle — Ausführungsprotokolle geben den allgemeinen Ausführungsstatus und die Uhrzeit an, zu der einzelne Aufgaben gestartet, ausgeführt, gestoppt und abgeschlossen werden. Ausführungsprotokolle geben Ihnen auch Einblick in die Schritte des Dateiimports und -exports.

  • Aufgabenprotokolle — Aufgabenprotokolle enthalten detaillierte Protokollierungsinformationen zu einzelnen Aufgaben in Ihrem Lauf. Die Ausgaben in Ihrem Aufgabenprotokoll hängen von der Aufgabendefinition und davon ab, wo Sie Protokollanweisungen in Ihrem Code verwenden. Wenn Ihre Aufgabenprotokolle nicht den erforderlichen Einblick bieten, sollten Sie erwägen, Ihrer Aufgabendefinition zusätzliche Protokollanweisungen hinzuzufügen, um aussagekräftigere Aufgabenprotokolle zu erstellen.

  • Cache-Logs ausführen — Run-Cache-Logs geben Aufschluss über den Gesamtstatus der ausgeführten Caches und das Zwischenspeichern von Aufgabenausgaben. Run-Cache-Logs geben Ihnen Einblick in Cache-Treffer und -Fehlschläge bei jeder Ausführung, bei der Caching verwendet wird.

  • outputs.json — Für WDL- und CWL-Workflows wird nach Abschluss der Ausführung eine von HealthOmics der Engine generierte Datei mit dem Namen an Ihren Amazon S3 outputs.json S3-Bucket gesendet. Diese Datei enthält eine Liste und eine Übersicht aller Ausgaben für den Lauf.

Meldet sich an CloudWatch

CloudWatch generiert Workflow-Protokolle für fehlgeschlagene und erfolgreiche Läufe. Alle Protokolle sind für fehlgeschlagene und erfolgreiche Läufe verfügbar, mit Ausnahme von Engine-Protokollen, die nur für fehlgeschlagene Läufe verfügbar sind.

Sie finden die CloudWatch Workflow-Protokolle in der folgenden Protokollgruppe:/aws/omics/WorkflowLog. Außerdem stellt die Ausgabe des API-Vorgangs „Get-Run“ den CloudWatch Protokollstream ARNs für die Modul- und Ausführungsprotokolle bereit.

In der Standardeinstellung werden die CloudWatch Protokolle auf unbestimmte Zeit AWS aufbewahrt. Sie können die Aufbewahrungsrichtlinie für die Protokollgruppe anpassen, um einen Aufbewahrungszeitraum zwischen 10 Jahren und einem Tag festzulegen.

Die folgende Tabelle enthält eine Zusammenfassung der CloudWatch Anmeldungen HealthOmics. Alle Workflow-Protokolle sind für erfolgreiche und fehlgeschlagene Ausführungen verfügbar, mit Ausnahme von Engine-Protokollen, die nur für fehlgeschlagene Läufe verfügbar sind.

Protokollnamen Verfügbar in CloudWatch Protokollen Wann ist das Protokoll verfügbar Format des Protokollstreams
Motorprotokolle Ja, für fehlgeschlagene Läufe

Nach Abschluss des Laufs

 run/ /engine runID
Führen Sie Manifestprotokolle aus Ja

Nach Abschluss der Ausführung

 manifest/run//runIDrunUUID
Protokolle ausführen Ja In Echtzeit laufen/ runID
Aufgabenprotokolle Ja In Echtzeit run/ /task/ runID taskID
Cache-Protokolle ausführen Ja In Echtzeit RunCache//runCacheIdrunCacheUUID
outputs.json (WDL und CWL) Nein – –

Loggt sich in Amazon S3 ein

Nur die Engine-Logs und die outputs.json Datei werden an Amazon S3 übermittelt.

Nach Abschluss eines Laufs werden die Engine-Protokolle an Ihren S3-Bucket übermittelt und sind unbegrenzt verfügbar, bis Sie sie löschen. Diese Protokolle befinden sich im Protokollverzeichnis der S3-Ausgabe-URI, die Sie für den Workflow angegeben haben.

Der Pfad zum Protokollverzeichnis hat das folgende Format:s3://{user_provided_path}/logs/.

Die folgende Tabelle enthält eine Zusammenfassung der in Ihrem Amazon S3 S3-Bucket verfügbaren HealthOmics Protokolle.

Protokollnamen Verfügbar in Amazon S3 Wann ist das Protokoll verfügbar Stream-Pfad protokollieren
Engine-Protokolle Ja Nach Abschluss des Laufs s3://user_provided_path/logs/engine.log
outputs.json (WDL und CWL) Ja

Nach Abschluss der Ausführung

 s3://user_provided_path/runID/runUUID/logs/outputs.json
Führen Sie Manifestprotokolle, Ausführungsprotokolle und Aufgabenprotokolle aus Nein – –

Interaktive CloudWatch Protokolle in der CLI

Sie können die CloudWatch Protokolle interaktiv mit dem Befehl Live Tail im interaktiven Modus anzeigen. Sie können den Fortschritt des Laufs in Echtzeit verfolgen und bis zu 5 Schlüsselwörter definieren, die in den Protokollen hervorgehoben werden sollen:

aws logs start-live-tail  \
  --mode interactive  \
  --log-group-identifiers arn:aws:logs:region:account-ID:log-group:/aws/omics/WorkflowLog

Weitere Informationen finden Sie unter Start live tail in der AWS CLI Befehlsreferenz.

Von der Konsole aus auf CloudWatch Protokolle zugreifen

Um auf die Protokolle für einen Lauf zuzugreifen, können Sie über die Seite mit den Ausführungsdetails in der HealthOmics Konsole direkt auf diese Protokolle zugreifen.

  1. Öffnen Sie die HealthOmics -Konsole.

  2. Öffnen Sie bei Bedarf den linken Navigationsbereich (±1). Wählen Sie Läufe.

  3. Wählen Sie den Lauf aus der Tabelle Runs aus.

  4. Auf der Seite mit den Ausführungsdetails können Sie eine der folgenden Aktionen auswählen:

    1. Wählen Sie unter „Ausführungsübersicht“ die Option „Ausführungsprotokolle anzeigen“ aus. Die Konsole öffnet die Ausführungsprotokolle in der CloudWatch Konsole.

    2. Wählen Sie unter Zusammenfassung ausführen die Option Protokolle in Amazon S3 anzeigen aus. Die Konsole öffnet den Logs-Ordner in der Amazon S3 S3-Konsole.

    3. Wählen Sie unter Aufgaben ausführen die Option Protokolle anzeigen, Ausführungsprotokolle anzeigen oder Ausführungsmanifestprotokolle anzeigen für eine Aufgabe aus. Die Konsole öffnet die Protokolle in der CloudWatch Konsole.

Sie können auch von der CloudWatch Konsole aus zu den Protokollen navigieren:

  1. Öffnen Sie die CloudWatch Konsole https://console.aws.amazon.com/cloudwatch/.

  2. Wählen Sie im linken Menü Protokollgruppen aus.

  3. Wählen Sie die /aws/omics/WorkflowLog-Gruppe aus.

    Wenn die Liste der Protokollgruppen lang ist, können Sie Omics in das Suchtextfeld eingeben, um die Liste einzugrenzen.

  4. Wenn die Seite mit den Protokollgruppendetails geöffnet wird, wählen Sie den Protokollstream aus, den Sie anzeigen möchten. Die Konsole zeigt die Ereignisse für diesen Protokollstream an.