Status der AWS Glue-Auftragsausführung in der Konsole
Sie können den Status eines AWS Glue-ETL-Auftrags (Extract, Transform, Load (ETL) anzeigen, während er ausgeführt wird oder nachdem er angehalten wurde. Sie können den Status mit der AWS Glue-Konsole anzeigen.
Zugriff auf das Dashboard für die Auftragsüberwachung
Sie greifen auf das Dashboard zur Auftragsüberwachung zu, indem Sie den Link Überwachung der Auftragsausführung im AWS Glue-Navigationsbereich unter ETL-Aufträge auswählen.
Übersicht über das Dashboard zur Auftragsüberwachung
Das Dashboard zur Auftragsüberwachung bietet eine Gesamtübersicht der Auftragsausführungen und gibt an, wie viele Aufträge sich jeweils in den Status Running (Wird ausgeführt), Canceled (Abgebrochen), Success (Erfolgreich) und Failed (Fehlgeschlagen) befinden. Zusätzliche Kacheln zeigen die Gesamt-Erfolgsquote der Auftragsausführung, die geschätzte DPU-Auslastung für Aufträge, eine Aufschlüsselung der Auftragsstatus nach Auftragstyp, Worker-Typ und Datum.
Die Diagramme in den Kacheln sind interaktiv. Sie können einen beliebigen Block in einem Diagramm auswählen und einen Filter anwenden, sodass nur diese Aufträge in der Tabelle Job runs (Auftragsausführungen) unten auf der Seite angezeigt werden.
Sie können den Datumsbereich der auf dieser Seite angezeigten Informationen mithilfe der Auswahl Date range (Datumsbereich) ändern. Wenn Sie den Datumsbereich ändern, werden auf den Informationskacheln nur die Werte aus den vergangenen x Tagen angezeigt. Sie können auch einen bestimmten Datumsbereich anwenden, wenn Sie Custom (Benutzerdefiniert) bei der Datumsbereichauswahl auswählen.
Anzeigen von Auftragsausführungen
Anmerkung
Der Verlauf der Auftragsausführung ist 90 Tage lang für Ihren Workflow und Ihre Auftragsausführung zugänglich.
Die Ressource Job runs (Auftragsausführungen) zeigt die Aufträge für den angegebenen Datumsbereich und die Filter an.
Sie können die Aufträge nach zusätzlichen Kriterien filtern, z. B. Status, Worker-Typ, Auftragstyp und Auftragsname. Im Filterfeld oberhalb der Tabelle können Sie den Text eingeben, der als Filter verwendet werden soll. Während Sie den Text eingeben, werden die Tabellenergebnisse mit Zeilen ergänzt, die übereinstimmenden Text enthalten.
Sie können eine Teilmenge der Aufträge anzeigen, indem Sie Elemente aus den Diagrammen im Dashboard zur Auftragsüberwachung auswählen. Wenn Sie beispielsweise die Anzahl der laufenden Aufträge in der Kachel Job runs summary (Zusammenfassung der Auftragsausführungen) auswählen, dann zeigt die Liste Auftragsausführungen nur die Aufträge an, die derzeit den Status Running (Wird ausgeführt) haben. Wenn Sie einen der Balken im Balkendiagramm Worker type breakdown (Gliederung des Worker-Typs) auswählen, werden nur Auftragsausführungen mit dem übereinstimmenden Worker-Typ und Status in der Liste Job runs (Auftragsausführungen) angezeigt.
In der Ressourcenliste Job runs (Auftragsausführungen) sind die Details für die Auftragsausführungen zu sehen. Sie können die Zeilen in der Tabelle sortieren, indem Sie eine Spaltenüberschrift auswählen. In der Tabelle finden Sie die folgenden Informationen:
| Property (Eigenschaft) | Description (Beschreibung) |
|---|---|
| Job name (Auftragsname) | Der Name des -Auftrags. |
| Type (Typ) |
Den Typen der Auftragsumgebung.
|
| Start time (Startzeit) |
Das Datum und die Uhrzeit, an denen diese Auftragsausführung gestartet wurde |
| End time (Endzeit) |
Das Datum und die Uhrzeit, an denen diese Auftragsausführung abgeschlossen wurde |
| Run status (Ausführungsstatus) |
Den aktuellen Status der Auftragsausführung. Der Status kann die folgenden Werte haben:
|
| Run time (Laufzeit) | Die Zeit, in der durch die Auftragsausführung Ressourcen verbraucht wurden |
| Capacity (Kapazität) |
Die Anzahl von AWS Glue-Datenverarbeitungseinheiten (Data Processing Units, DPUs), die dieser Auftragsausführung zugewiesen wurden Weitere Hinweise zur Kapazitätsplanung finden Sie unter Überwachung für die DPU-Kapazitätsplanung im AWS Glue-Entwicklerhandbuch. |
| Worker type (Worker-Typ) |
Der Typ des vordefinierten Workers, der zugeordnet wurde, als ein Auftrag in der Ausführung war. Die Werte können
|
| DPU hours (DPU-Stunden) |
Die geschätzte Anzahl der für die Auftragsausführung verwendeten DPUs. Eine DPU ist ein relativer Maßstab für die Verarbeitungsleistung. Mit DPUs werden die Kosten für die Ausführung Ihres Auftrags ermittelt. Weitere Informationen finden Sie in der AWS Glue-Preisliste |
Sie können eine beliebige Auftragsausführung in der Liste auswählen und sich weitere Informationen anzeigen lassen. Wählen Sie eine Auftragsausführung aus und führen Sie dann einen der folgenden Schritte aus:
-
Wählen Sie im Menü Actions (Aktionen) die Option View job (Auftrag anzeigen), um den Auftrag im visuellen Editor zu sehen.
-
Wählen Sie im Menü Actions (Aktionen) die Option Stop run (Ausführung stoppen), um die aktuelle Ausführung des Auftrags zu stoppen.
-
Wählen Sie die Schaltfläche View CloudWatch logs (CloudWatch-Protokolle anzeigen), um die Auftragsausführungsprotokolle für diesen Auftrag anzuzeigen.
-
Wählen Sie Details anzeigen aus, um die Seite mit den Details zur Auftragsausführung zu öffnen.
Anzeigen der Auftragsausführungsprotokolle
Sie können die Auftragsprotokolle auf verschiedene Weise anzeigen:
-
Wählen Sie auf der Seite Monitoring (Überwachung) in der Tabelle Job runs (Auftragsausführungen) eine Auftragsausführung aus und anschließend View CloudWatch logs (CloudWatch-Protokolle anzeigen).
-
Wählen Sie im visuellen Auftragseditor auf der Registerkarte Runs (Ausführungen) eines Auftrags die Hyperlinks aus, um die Protokolle anzuzeigen:
-
Logs (Protokolle) – Link zu den Apache-Spark-Auftragsprotokollen, die geschrieben werden, wenn die kontinuierliche Protokollierung für eine Auftragsausführung aktiviert ist. Wenn Sie diesen Link auswählen, gelangen Sie zu den Amazon CloudWatch-Protokollen in der Protokollgruppe
/aws-glue/jobs/logs-v2. Standardmäßig enthalten die Protokolle keine unwichtigen Meldungen von Apache-Hadoop-YARN-Heartbeats und Apache-Spark-Treiber- oder Executor-Protokollmeldungen. Weitere Informationen zur fortlaufenden Protokollierung finden Sie unter Kontinuierliche Protokollierung für AWS Glue-Aufträge im AWS Glue-Entwicklerhandbuch. -
Error logs (Fehlerprotolle) – Link zu den Protokollen, die für diese Auftragsausführung in
stderrgeschrieben werden. Wenn Sie diesen Link auswählen, gelangen Sie zu den Amazon CloudWatch-Protokollen in der Protokollgruppe/aws-glue/jobs/error. Die Protokolle zeigen Details zu den einzelnen aufgetretenen Fehlern. -
Logs (Protokolle) – Link zu den Protokollen, die für diese Auftragsausführung in
stdoutgeschrieben wurden. Wenn Sie diesen Link auswählen, gelangen Sie zu den Amazon CloudWatch-Protokollen in der Protokollgruppe/aws-glue/jobs/output. In diesen Protokolle sehen Sie alle Details über die Tabellen, die im AWS Glue Data Catalog erstellt wurden und alle aufgetretenen Fehler.
-
Anzeigen der Details einer Auftragsausführung
Sie können einen Auftrag in der Liste Job runs (Auftragsausführungen) auf der Seite Monitoring (Überwachung) auswählen und sich dann mit View run details (Details zu Ausführung anzeigen) detaillierte Informationen für diese Ausführung des Auftrags anzeigen lassen.
Die Informationen auf der Seite mit den Ausführungsdetails umfassen Folgendes:
| Property (Eigenschaft) | Description (Beschreibung) |
|---|---|
| Job name (Auftragsname) | Der Name des -Auftrags. |
| Run status (Ausführungsstatus) |
Den aktuellen Status der Auftragsausführung. Der Status kann die folgenden Werte haben:
|
| Glue version (Glue-Version) | Die AWS Glue-Version, die von der Auftragsausführung verwendet wird. |
| Recent attempt (Letzte Versuche) | Die Anzahl der automatischen Wiederholungsversuche für diese Auftragsausführung. |
| Start time (Startzeit) |
Das Datum und die Uhrzeit, an denen diese Auftragsausführung gestartet wurde |
| End time (Endzeit) |
Das Datum und die Uhrzeit, an denen diese Auftragsausführung abgeschlossen wurde |
| Startupzeit |
Dauer der Vorbereitung für die Auftragsausführung. |
| Execution time (Ausführungszeit) |
Dauer der Ausführung des Auftragsskripts. |
| Trigger name (Auslösername) |
Der Name des Triggers, der dem Auftrag zugeordnet ist. |
| Last modified on (Letzte Änderung) |
Das Datum, an dem der Auftrag zuletzt geändert wurde. |
| Sicherheitskonfiguration |
Die Sicherheitskonfiguration für den Auftrag, einschließlich Verschlüsselung für Amazon S3 und CloudWatch sowie die Verschlüsselungseinstellungen für Auftrags-Lesezeichen. |
| Zeitüberschreitung | Der Schwellenwert für eine Zeitüberschreitung bei der Auftragsausführung. |
| Allocated capacity (Zugewiesene Kapazität) |
Die Anzahl von AWS Glue-Datenverarbeitungseinheiten (Data Processing Units, DPUs), die dieser Auftragsausführung zugewiesen wurden Weitere Hinweise zur Kapazitätsplanung finden Sie unter Überwachung für die DPU-Kapazitätsplanung im AWS Glue-Entwicklerhandbuch. |
| Max capacity (Maximale Kapazität) |
Die maximale Kapazität, die für die Auftragsausführung verfügbar ist. |
| Number of workers (Anzahl der Worker) | Die Anzahl der Worker, die für die Auftragsausführung verwendet werden. |
| Worker-Typ |
Der Typ der vordefinierten Worker, die der Auftragsausführung zugewiesen sind Werte können
|
| Logs (Protokolle) | Ein Link zu den Auftragsprotokollen für die kontinuierliche Protokollierung (/aws-glue/jobs/logs-v2). |
| Output Logs (Ausgabeprotokolle) | Ein Link zu den Auftrags-Ausgabeprotokolldateien (/aws-glue/jobs/output). |
| Fehlerprotokolle | Ein Link zu den Auftrags-Fehlerprotokolldateien (/aws-glue/jobs/error). |
Sie können auch die folgenden zusätzlichen Elemente anzeigen, die verfügbar sind, wenn Sie Informationen zu den letzten Auftragsausführungen aufrufen. Weitere Informationen finden Sie unter Anzeigen von Informationen zu den letzten Auftragsausführungen.
Eingabeargumente
Kontinuierliche Protokolle
Metriken – Sie können sich Visualisierungen einfacher Metriken ansehen. Weitere Informationen zu den enthaltenen Metriken finden Sie unter Anzeigen von Amazon CloudWatch-Metriken für eine Spark-Auftragsausführung.
Spark-UI: Sie können Spark-Protokolle für einen Auftrag in der Spark-Benutzeroberfläche visualisieren. Weitere Informationen zur Verwendung der Spark-Web-UI finden Sie unter Überwachen von Aufgaben über die Apache-Spark-Webbenutzeroberfläche. Aktivieren Sie dieses Feature, indem Sie den Schritten in Aktivieren der Apache-Spark-Webbenutzeroberfläche für AWS Glue-Aufgaben folgen.
Anzeigen von Amazon CloudWatch-Metriken für eine Spark-Auftragsausführung
Auf der Seite mit Details zu einer Auftragsausführung unterhalb des Abschnitts Run details (Details zur Ausführung) können Sie die Auftragsmetriken sehen. AWS Glue Studio sendet Aufträge an Amazon CloudWatch für jede Ausführung eines Auftrags.
AWS Glue meldet Metriken alle 30 Sekunden an Amazon CloudWatch. Die AWS Glue-Metriken stellen Deltawerte gegenüber den zuvor gemeldeten Werten dar. Gegebenenfalls aggregieren (summieren) die Metrik-Dashboards die 30-Sekunden-Wertezu einem Wert für die gesamte vergangene Minute. Die Apache-Spark-Metriken, die AWS Glue an Amazon CloudWatch übergibt, sind in der Regel absolute Werte, die den aktuellen Zustand zum Zeitpunkt ihrer Meldung darstellen.
Anmerkung
Sie müssen für Ihr Konto den Zugriff auf Amazon CloudWatch einrichten.
Die Metriken enthalten Informationen über die Auftragsausführung, z. B.:
-
ETL data movement (ETL-Datenverschiebung) – die Anzahl der Bytes, die von Amazon S3 gelesen oder darin geschrieben wurden.
-
Memory profile: Heap used (Speicherprofil: verwendeter Heap) – die Anzahl der vom Heap der Java Virtual Machine (JVM) verwendeten Speicherbytes.
-
Memory profile: Heap usage (Speicherprofil: Heap-Nutzung) – der prozentuale Anteil des vom JVM-Heap verwendeten Speichers (zwischen 0 und 1).
-
CPU load (CPU-Last) – der verwendete prozentuale Anteil der CPU-Systemauslastung (zwischen 0 und 1).
Anzeigen von Amazon CloudWatch-Metriken für eine Ray-Auftragsausführung
Auf der Seite mit Details zu einer Auftragsausführung unterhalb des Abschnitts Run details (Details zur Ausführung) können Sie die Auftragsmetriken sehen. AWS Glue Studio sendet Aufträge an Amazon CloudWatch für jede Ausführung eines Auftrags.
AWS Glue meldet Metriken alle 30 Sekunden an Amazon CloudWatch. Die AWS Glue-Metriken stellen Deltawerte gegenüber den zuvor gemeldeten Werten dar. Gegebenenfalls aggregieren (summieren) die Metrik-Dashboards die 30-Sekunden-Wertezu einem Wert für die gesamte vergangene Minute. Die Apache-Spark-Metriken, die AWS Glue an Amazon CloudWatch übergibt, sind in der Regel absolute Werte, die den aktuellen Zustand zum Zeitpunkt ihrer Meldung darstellen.
Anmerkung
Sie müssen für Ihr Konto den Zugriff auf Amazon CloudWatch einrichten, wie in beschrieben.
In Ray-Aufträgen können Sie die folgenden aggregierten Metrikdiagramme anzeigen. Damit können Sie ein Profil Ihres Clusters und Ihrer Aufgaben entwickeln und auf detaillierte Informationen über jeden Knoten zugreifen. Die Zeitreihendaten, die hinter diesen Diagrammen stehen, sind in CloudWatch für weitere Analysen verfügbar.
- Aufgabenprofil: Status der Aufgabe
-
Zeigt die Anzahl der Ray-Aufgaben im System an. Jedem Aufgabenlebenszyklus wird eine eigene Zeitreihe zugewiesen.
- Aufgabenprofil: Name der Aufgabe
-
Zeigt die Anzahl der Ray-Aufgaben im System an. Es werden nur ausstehende und aktive Aufgaben angezeigt. Jedem Aufgabentyp (nach Namen) wird eine eigene Zeitreihe zugewiesen.
- Cluster-Profil: Verwendete CPUs
-
Zeigt die Anzahl der verwendeten CPU-Kerne an. Jedem Knoten wird eine eigene Zeitreihe zugewiesen. Knoten werden durch IP-Adressen identifiziert, die kurzlebig sind und nur zur Identifizierung verwendet werden.
- Cluster-Profil: Speichernutzung des Objektspeichers
-
Zeigt die Speichernutzung durch den Ray-Objekt-Cache an. Jedem Speicherort (physischer Speicher, auf der Festplatte zwischengespeichert und in Amazon S3 verschüttet) wird eine eigene Zeitreihe zugewiesen. Der Objektspeicher verwaltet die Datenspeicherung auf allen Knoten im Cluster. Weitere Informationen finden Sie unter Objekte
in der Ray-Dokumentation. - Cluster-Profil: Anzahl der Knoten
-
Zeigt die Anzahl der für den Cluster bereitgestellten Knoten an.
- Knotendetail: CPU-Auslastung
-
Zeigt die CPU-Auslastung auf jedem Knoten als Prozentsatz an. Jede Reihe zeigt einen aggregierten Prozentsatz der CPU-Auslastung aller Kerne auf dem Knoten.
- Knotendetail: Speichernutzung
-
Zeigt die Speichernutzung auf jedem Knoten in GB an. Jede Reihe zeigt den zwischen allen Prozessen auf dem Knoten zusammengefassten Speicher, einschließlich Ray-Aufgaben und dem Plasma-Speicherprozess. Dies gilt nicht für auf der Festplatte gespeicherte oder an Amazon S3 übertragene Objekte.
- Knotendetail: Festplattennutzung
-
Zeigt die Festplattennutzung auf jedem Knoten in GB an.
- Knotendetails: Festplatten-E/A-Geschwindigkei
-
Zeigt Festplatten-E/A auf jedem Knoten in KB/s an.
- Knotendetails: Netzwerk-E/A-Durchsatz
-
Zeigt Netzwerk-E/A auf jedem Knoten in KB/s an.
- Knotendetail: CPU-Auslastung durch Ray-Komponente
-
Zeigt die CPU-Nutzung in Teilkernen an. Jeder Ray-Komponente an jedem Knoten wird eine eigene Zeitreihe zugewiesen.
- Knotendetail: Speichernutzung durch Ray-Komponente
-
Zeigt die Speichernutzung in GB an. Jeder Ray-Komponente an jedem Knoten wird eine eigene Zeitreihe zugewiesen.
