Auftragsausführungen

• JobRun-Struktur

• Vorgängerstruktur

• JobBookmarkEntry-Struktur

• BatchStopJobRunSuccessfulSubmission-Struktur

• BatchStopJobRunError-Struktur

• NotificationProperty-Struktur

Felder

• Id – UTF-8-Zeichenfolge, nicht weniger als 1 oder mehr als 255 Bytes lang, passend zum Single-line string pattern.

  Die ID dieser Auftragsausführung.

• Attempt – Zahl (Ganzzahl).

  Die Anzahl der Versuche für die Ausführung dieses Auftrags.

• PreviousRunId – UTF-8-Zeichenfolge, nicht weniger als 1 oder mehr als 255 Bytes lang, passend zum Single-line string pattern.

  Die ID der vorherigen Ausführung dieses Auftrags. Beispiel: Die JobRunId in der StartJobRun-Aktion.

• TriggerName – UTF-8-Zeichenfolge, nicht weniger als 1 oder mehr als 255 Bytes lang, passend zum Single-line string pattern.

  Der Name des Auslösers, der diese Auftragsausführung gestartet hat.

• JobName – UTF-8-Zeichenfolge, nicht weniger als 1 oder mehr als 255 Bytes lang, passend zum Single-line string pattern.

  Der Name der Auftragsdefinition, die in dieser Ausführung verwendet wird.

• JobMode – UTF-8-Zeichenfolge (zulässige Werte: SCRIPT="" | VISUAL="" | NOTEBOOK="").

  Ein Modus, der beschreibt, wie ein Auftrag erstellt wurde. Gültige Werte für sind:

  • SCRIPT: Der Auftrag wurde mit dem AWS Glue-Studio-Skripteditor erstellt.

  • VISUAL: Der Auftrag wurde mit dem visuellen AWS Glue-Studio-Editor erstellt.

  • NOTEBOOK: Der Auftrag wurde mit einem Notebook für interaktive Sitzungen erstellt.

  Wenn das Feld JobMode fehlt oder null ist, wird SCRIPT als Standardwert zugewiesen.

• JobRunQueuingEnabled – Boolesch.

  Gibt an, ob die Warteschlange für die Auftragsausführung aktiviert ist.

  Der Wert „true“ bedeutet, dass die Auftragsausführungswarteschlange für die Auftragsausführung aktiviert ist. Wenn der Wert „false“ oder leer ist, wird die Auftragsausführung nicht in die Warteschlange aufgenommen.

• StartedOn – Zeitstempel.

  Das Datum und die Uhrzeit, an denen diese Auftragsausführung gestartet wurde

• LastModifiedOn – Zeitstempel.

  Der letzte Zeitpunkt, an dem diese Auftragsausführung geändert wurde.

• CompletedOn – Zeitstempel.

  Das Datum und die Uhrzeit, an denen diese Auftragsausführung abgeschlossen wurde

• JobRunState – UTF-8-Zeichenfolge (zulässige Werte: STARTING | RUNNING | STOPPING | STOPPED | SUCCEEDED | FAILED | TIMEOUT | ERROR | WAITING | EXPIRED).

  Den aktuellen Status der Auftragsausführung. Weitere Informationen über den Status von Aufgaben, die in ungewöhnlicher Weise beendet wurden, finden Sie unter AWS Glue-Aufgabenausführungsstatus.

• Arguments – Ein Map-Array von Schlüssel-Wert-Paaren.

  Jeder Schlüssel ist eine UTF-8-Zeichenfolge.

  Jeder Wert ist eine UTF-8-Zeichenfolge.

  Die mit dieser Ausführung verknüpften Auftragsargumente. Für diese Auftragsauführung ersetzen sie den Satz der Standardargumente direkt in der Auftragsdefinition.

  Sie können hier Argumente angeben, die von Ihrem eigenen Auftragsausführungsskript verwendet werden, sowie Argumente, die von AWS Glue verwendet werden.

  Auftragsargumente können protokolliert werden. Übergeben Sie keine Klartext-Geheimnisse als Argumente. Abrufen von Geheimnissen aus einer AWS Glue-Verbindung, AWS Secrets Manager oder einem anderen Mechanismus zur Verwaltung von Geheimnissen, wenn Sie beabsichtigen, sie innerhalb des Auftrags zu behalten.

  Weitere Informationen zum Angeben und Nutzen Ihrer eigenen Auftragsargumente finden Sie im Thema Aufrufen von AWS Glue-APIs in Python im Entwicklerhandbuch.

  Informationen zu den Argumenten, die Sie für dieses Feld beim Konfigurieren von Spark-Aufträgen angeben können, finden Sie im Thema Spezielle Parameter, die von AWS Glue verwendet werden im Entwicklerhandbuch.

  Informationen zu den Argumenten, die Sie für dieses Feld beim Konfigurieren von Ray-Aufträgen angeben können, finden Sie unter Verwenden von Auftragsparametern in Ray-Aufträgen im Entwicklerhandbuch.

• ErrorMessage – UTF-8-Zeichenfolge.

  Eine Fehlermeldung, die mit dieser Auftragsausführung verknüpft ist.

• PredecessorRuns – Ein Array mit Vorgänger-Objekten.

  Eine Liste der Vorgänger zu dieser Auftragsausführung.

• AllocatedCapacity – Zahl (Ganzzahl).

  Diese Feld ist als veraltet gekennzeichnet. Verwenden Sie stattdessen MaxCapacity.

  Die Anzahl der diesem JobRun zugeordneten AWS Glue Data Processing Units (DPUs). Von 2 bis 100 DPUs können zugeordnet werden. Der Standardwert ist 10. Bei einer DPU handelt es sich um ein relatives Maß der Rechenleistung, die aus 4 vCPUs Rechenkapazität und 16 GB Arbeitsspeicher besteht. Weitere Informationen finden Sie in der AWS GluePreisliste.

• ExecutionTime – Zahl (Ganzzahl).

  Die Zeit (in Sekunden), in der durch die Auftragsausführung Ressourcen verbraucht wurden.

• Timeout – Zahl (ganze Zahl), mindestens 1.

  DerJobRun-Timeoutwert in Minuten. Dies ist die maximale Zeitspanne, in der eine Auftragsausführung Ressourcen verbrauchen kann, ehe sie beendet wird und in den TIMEOUT-Status wechselt. Dieser Wert überschreibt den Wert der Zeitüberschreitung im übergeordneten Auftrag.

  Aufträge müssen Timeout-Werte von weniger als 7 Tagen oder 10.080 Minuten haben. Andernfalls geben die Aufträge eine Ausnahme aus.

  Wenn der Wert leer gelassen wird, ist das Timeout standardmäßig auf 2.880 Minuten festgelegt.

  Für alle vorhandenen AWS Glue-Aufträge mit einem Timeout-Wert von mehr als 7 Tagen wird standardmäßig ein Wert von 7 Tagen verwendet. Wenn Sie beispielsweise ein Timeout von 20 Tagen für einen Batch-Auftrag angegeben haben, wird dieser am 7. Tag gestoppt.

  Wenn Sie für Streaming-Aufträge ein Wartungsfenster eingerichtet haben, wird es während des Wartungsfensters nach 7 Tagen neu gestartet.

• MaxCapacity – Nummer (doppelt).

  Bei Aufträgen mit Glue-Version 1.0 oder früher mithilfe des Standard-Worker-Typs die Anzahl von AWS Glue-Datenverarbeitungseinheiten (DPUs) angeben, die bei der Ausführung dieses Auftrags zugewiesen werden können. Bei einer DPU handelt es sich um ein relatives Maß der Rechenleistung, die aus 4 vCPUs Rechenkapazität und 16 GB Arbeitsspeicher besteht. Weitere Informationen finden Sie in der AWS GluePreisliste.

  Bei Aufträgen ab Glue-Version 2.0 können Sie keine Maximum capacity angeben. Stattdessen sollten Sie einen Worker type und die Number of workers festlegen.

  Setzen Sie nicht MaxCapacity, wenn Sie WorkerType und NumberOfWorkers verwenden.

  Der Wert, der MaxCapacity zugewiesen werden kann, ist davon abhängig, ob Sie eine Python-Shell-Aufgabe, eine Apache-Spark-ETL-Aufgabe oder eine Apache-Spark-Streaming-ETL-Aufgabe ausführen:

  • Wenn Sie einen Python-Shell-Auftrag (JobCommand.Name="pythonshell") angeben, können Sie entweder 0,0625 oder 1 DPU zuweisen. Der Standardwert ist 0,0625 DPU.

  • Wenn Sie eine Apache Spark ETL-Aufgabe (JobCommand.Name=“glueetl“) oder eine Apache-Spark-Streaming-ETL-Aufgabe (JobCommand.Name="gluestreaming“) angeben, können Sie 2 bis 100 DPUs zuweisen. Der Standardwert ist 10 DPUs. Diesem Auftragstyp dürfen keine DPU-Bruchteile zugeteilt werden.

• WorkerType – UTF-8-Zeichenfolge (zulässige Werte: Standard="" | G.1X="" | G.2X="" | G.025X="" | G.4X="" | G.8X="" | Z.2X="").

  Der Typ der vordefinierten Worker, der zugeordnet wird, wenn ein Auftrag ausgeführt wird. Akzeptiert einen Wert von G.1X, G.2X, G.4X, G.8X oder G.025X für Spark-Aufträge. Akzeptiert den Wert Z.2X für Ray-Aufträge.

  • Für den Worker-Typ G.1X ist jedem Worker 1 DPU (4 vCPUs, 16 GB Arbeitsspeicher, 94 GB Festplattenplatz) sowie ein Executor pro Worker zugewiesen. Wir empfehlen diesen Worker-Typ für Workloads wie Datentransformationen, Zusammenführungen und Abfragen. Er bietet eine skalierbare und kostengünstige Möglichkeit, die meisten Aufträge auszuführen.

  • Für den Worker-Typ G.2X sind jedem Worker 2 DPU (8 vCPUs, 32 GB Arbeitsspeicher, 138 GB Festplattenplatz) sowie ein Executor pro Worker zugewiesen. Wir empfehlen diesen Worker-Typ für Workloads wie Datentransformationen, Zusammenführungen und Abfragen. Er bietet eine skalierbare und kostengünstige Möglichkeit, die meisten Aufträge auszuführen.

  • Für den Worker-Typ G.4X sind jedem Worker 4 DPU (16 vCPUs, 64 GB Arbeitsspeicher, 256 GB Festplattenplatz) sowie ein Executor pro Worker zugewiesen. Wir empfehlen diesen Worker-Typ für Aufträge, deren Workloads Ihre anspruchsvollsten Transformationen, Aggregationen, Verknüpfungen und Abfragen enthalten. Dieser Worker-Typ ist nur für Spark-ETL-Aufträge der AWS Glue-Version 3.0 oder höher in den folgenden AWS-Regionen verfügbar: USA Ost (Ohio), USA Ost (Nord-Virginia), USA West (Oregon), Asien-Pazifik (Singapur), Asien-Pazifik (Sydney), Asien-Pazifik (Tokio), Kanada (Zentral), Europa (Frankfurt), Europa (Irland) und Europa (Stockholm).

  • Für den Worker-Typ G.8X sind jedem Worker 8 DPU (32 vCPUs, 128 GB Arbeitsspeicher, 512 GB Festplattenplatz) sowie ein Executor pro Worker zugewiesen. Wir empfehlen diesen Worker-Typ für Aufträge, deren Workloads Ihre anspruchsvollsten Transformationen, Aggregationen, Verknüpfungen und Abfragen enthalten. Dieser Worker-Typ ist nur für Spark-ETL-Aufträge der AWS Glue-Version 3.0 oder höher verfügbar, und zwar in denselben AWS-Regionen, die auch für den G.4X-Worker-Typ unterstützt werden.

  • Für den Worker-Typ G.025X sind jedem Worker 0,25 DPU (2 vCPUs, 4 GB Arbeitsspeicher, 84 GB Festplattenplatz) sowie ein Executor pro Worker zugewiesen. Wir empfehlen diesen Worker-Typ für Streaming-Aufträge mit geringem Volumen. Dieser Worker-Typ ist nur für Streaming-Aufträge der AWS Glue Version 3.0 oder später verfügbar.

  • Für den Worker-Typ Z.2X sind jedem Worker 2 M-DPU (8 vCPUs, 64 GB Arbeitsspeicher) mit 128 GB Festplatte zugeordnet und er stellt basierend auf dem Autoscaler bis zu 8-Ray-Worker bereit.

• NumberOfWorkers – Zahl (Ganzzahl).

  Die Anzahl der Worker eines definierten workerType die zugewiesenj werden, wenn ein Auftrag ausgeführt wird.

• SecurityConfiguration – UTF-8-Zeichenfolge, nicht weniger als 1 oder mehr als 255 Bytes lang, passend zum Single-line string pattern.

  Der Name der SecurityConfiguration-Struktur, die mit diesem Auftrag verwendet werden soll.

• LogGroupName – UTF-8-Zeichenfolge.

  Der Name der Protokollgruppe für die sichere Protokollierung, die in Amazon CloudWatch mit AWS KMS serverseitig verschlüsselt werden kann. Dieser Name kann /aws-glue/jobs/ sein, in diesem Fall ist die Standard-Verschlüsselung NONE. Wenn Sie einen Rollennamen und einen SecurityConfiguration- Namen (d. h., /aws-glue/jobs-yourRoleName-yourSecurityConfigurationName/) verwenden, dann wird die Sicherheitskonfiguration verwendet, um die Protokollgruppe zu verschlüsseln.

• NotificationProperty – Ein NotificationProperty-Objekt.

  Gibt die Konfigurationseigenschaften einer Auftragsausführungs-Benachrichtigung an.

• GlueVersion – UTF-8-Zeichenfolge, nicht weniger als 1 oder mehr als 255 Bytes lang, passend zum Custom string pattern #47.

  Bei Spark-Aufträgen ermittelt GlueVersion die Versionen von Apache Spark und Python, die AWS Glue in einem Auftrag verfügbar sind. Die Python-Version gibt die Version an, die für Aufträge vom Typ Spark unterstützt wird.

  In Ray-Aufträge sollte die GlueVersion auf 4.0 oder höher eingestellt sein. Welche Versionen von Ray, Python und zusätzlichen Bibliotheken in Ihrem Ray-Auftrag verfügbar sind, wird jedoch durch die Runtime-Parameter des Auftragsbefehls bestimmt.

  Weitere Informationen zu den verfügbaren AWS Glue-Versionen und den entsprechenden Spark- und Python-Versionen finden Sie unter Glue-Version im Entwicklerhandbuch.

  Für Aufträge, die ohne Angabe einer Glue-Version erstellt werden, gilt standardmäßig Glue 0.9.

• DPUSeconds – Nummer (doppelt).

  Dieses Feld kann entweder für Auftragsausführungen mit Ausführungsklasse FLEX festgelegt werden oder wenn Auto Scaling aktiviert ist und stellt die Ausführungszeit jedes Executor während des Lebenszyklus einer Auftragsausführung in Sekunden dar, multipliziert mit einem DPU-Faktor (1 für G.1X-, 2 für G.2X- und 0,25 für G.025X-Worker). Dieser Wert kann von executionEngineRuntime * MaxCapacity abweichen, da die Anzahl der zu einem bestimmten Zeitpunkt ausgeführten Executors bei Auto-Scaling-Aufträgen geringer sein kann als die MaxCapacity. Daher ist es möglich, dass der Wert von DPUSeconds kleiner ist als executionEngineRuntime * MaxCapacity.

• ExecutionClass – UTF-8-Zeichenfolge, nicht länger als 16 Bytes (gültige Werte: FLEX="" | STANDARD="").

  Gibt an, ob der Auftrag mit einer Standard- oder einer flexiblen Ausführungsklasse ausgeführt wird. Die Standardausführungsklasse ist ideal für zeitkritische Workloads, die einen schnellen Auftragsstart und dedizierte Ressourcen erfordern.

  Die flexible Ausführungsklasse ist geeignet für zeitunabhängige Aufträge, deren Start- und Abschlusszeiten variieren können.

  Nur Auftärge mit der AWS Glue-Version 3.0 oder höher und dem Befehlstyp glueetl dürfen ExecutionClass auf FLEX setzen. Die flexible Ausführungsklasse ist für Spark-Aufträge verfügbar.

• MaintenanceWindow – UTF-8-Zeichenfolge, die Custom string pattern #34 entspricht.

  Dieses Feld gibt einen Wochentag und eine Uhrzeit für ein Wartungsfenster für Streaming-Aufträge an. AWS Glue führt regelmäßig Wartungsaktivitäten durch. Während dieser Wartungsfenster muss AWS Glue Ihre Streaming-Aufträge neu starten.

  AWS Glue startet den Auftrag innerhalb von 3 Stunden nach Ablauf des angegebenen Wartungsfensters neu. Wenn Sie beispielsweise das Wartungsfenster für Montag um 10:00 Uhr GMT einrichten, werden Ihre Aufträge zwischen 10:00 Uhr GMT und 13:00 Uhr GMT neu gestartet.

• ProfileName – UTF-8-Zeichenfolge, nicht weniger als 1 oder mehr als 255 Bytes lang, passend zum Single-line string pattern.

  Der Name eines AWS Glue-Nutzungsprofils, das der Auftragsausführung zugeordnet ist.

• StateDetail – UTF-8-Zeichenfolge, nicht mehr als 400.000 Bytes lang.

  Dieses Feld enthält Details, die sich auf den Status einer Aufgabenausführung beziehen. Das Feld ist nullwertfähig.

  Wenn sich eine Auftragsausführung beispielsweise im Status WARTEN befindet, weil die Auftragsausführung in die Warteschlange gestellt wurde, enthält das Feld den Grund, warum sich die Auftragsausführung in diesem Status befindet.

• ExecutionRoleSessionPolicy – UTF-8-Zeichenfolge, nicht weniger als 2 oder mehr als 2.048 Bytes lang.

  Mithilfe dieser Inline-Sitzungsrichtlinie für die StartJobRun-API können Sie die Berechtigungen der angegebenen Ausführungsrolle für den Umfang des Auftrags dynamisch einschränken, ohne dass zusätzliche IAM-Rollen erstellt werden müssen.

Felder

• JobName – UTF-8-Zeichenfolge, nicht weniger als 1 oder mehr als 255 Bytes lang, passend zum Single-line string pattern.

  Der Name der Auftragsdefinition, der bei der vorherigen Auftragsausführung verwendet wurde.

• RunId – UTF-8-Zeichenfolge, nicht weniger als 1 oder mehr als 255 Bytes lang, passend zum Single-line string pattern.

  Die Auftragsausführungs-ID der Vorgängerauftragsausführung.

Felder

• JobName – UTF-8-Zeichenfolge.

  Der Name des jeweiligen Auftrags.

• Version – Zahl (Ganzzahl).

  Die Version des Auftrags.

• Run – Zahl (Ganzzahl).

  Die Ausführungs-ID-Nummer.

• Attempt – Zahl (Ganzzahl).

  Die Versuchs-ID-Nummer.

• PreviousRunId – UTF-8-Zeichenfolge.

  Die eindeutige Ausführungskennung, die der vorherigen Auftragsausführung zugeordnet ist.

• RunId – UTF-8-Zeichenfolge.

  Die Ausführungs-ID-Nummer.

• JobBookmark – UTF-8-Zeichenfolge.

  Die Textmarke selbst.

Felder

• JobName – UTF-8-Zeichenfolge, nicht weniger als 1 oder mehr als 255 Bytes lang, passend zum Single-line string pattern.

  Der Name der Auftragsdefinition, der bei der gestoppten Auftragsausführung verwendet wurde.

• JobRunId – UTF-8-Zeichenfolge, nicht weniger als 1 oder mehr als 255 Bytes lang, passend zum Single-line string pattern.

  Die JobRunId der Auftragsausführung, die gestoppt wurde.

Felder

• JobName – UTF-8-Zeichenfolge, nicht weniger als 1 oder mehr als 255 Bytes lang, passend zum Single-line string pattern.

  Der Name der Auftragsdefinition, der bei der fraglichen Auftragsausführung verwendet wurde.

• JobRunId – UTF-8-Zeichenfolge, nicht weniger als 1 oder mehr als 255 Bytes lang, passend zum Single-line string pattern.

  Die JobRunId der jeweiligen Auftragsausführung.

• ErrorDetail – Ein ErrorDetail-Objekt.

  Gibt Details über den aufgetretenen Fehler an.

Felder

• NotifyDelayAfter – Zahl (ganze Zahl), mindestens 1.

  Nach dem Start eines Auftragslaufs gibt dies die Anzahl der Minuten an, die gewartet werden muss, bevor eine Benachrichtigung über die Verzögerung eines Auftragslaufs gesendet wird.

• StartJobRun-Aktion (Python: start_job_run)

• BatchStopJobRun-Aktion (Python: batch_stop_job_run)

• GetJobRun-Aktion (Python: get_job_run)

• GetJobRuns-Aktion (Python: get_job_runs)

• GetJobBookmark-Aktion (Python: get_job_bookmark)

• GetJobBookmarks-Aktion (Python: get_job_bookmarks)

• ResetJobBookmark-Aktion (Python: reset_job_bookmark)

Anforderung

• JobName – Erforderlich: UTF-8-Zeichenfolge, nicht weniger als 1 oder mehr als 255 Bytes lang, passend zum Single-line string pattern.

  Der Name der zu verwendenden Auftragsdefinition.

• JobRunQueuingEnabled – Boolesch.

  Gibt an, ob die Warteschlange für die Auftragsausführung aktiviert ist.

  Der Wert „true“ bedeutet, dass die Auftragsausführungswarteschlange für die Auftragsausführung aktiviert ist. Wenn der Wert „false“ oder leer ist, wird die Auftragsausführung nicht in die Warteschlange aufgenommen.

• JobRunId – UTF-8-Zeichenfolge, nicht weniger als 1 oder mehr als 255 Bytes lang, passend zum Single-line string pattern.

  Die ID einer vorherigen JobRun für einen erneuten Versuch.

• Arguments – Ein Map-Array von Schlüssel-Wert-Paaren.

  Jeder Schlüssel ist eine UTF-8-Zeichenfolge.

  Jeder Wert ist eine UTF-8-Zeichenfolge.

  Die mit dieser Ausführung verknüpften Auftragsargumente. Für diese Auftragsauführung ersetzen sie den Satz der Standardargumente direkt in der Auftragsdefinition.

  Sie können hier Argumente angeben, die von Ihrem eigenen Auftragsausführungsskript verwendet werden, sowie Argumente, die von AWS Glue verwendet werden.

  Auftragsargumente können protokolliert werden. Übergeben Sie keine Klartext-Geheimnisse als Argumente. Abrufen von Geheimnissen aus einer AWS Glue-Verbindung, AWS Secrets Manager oder einem anderen Mechanismus zur Verwaltung von Geheimnissen, wenn Sie beabsichtigen, sie innerhalb des Auftrags zu behalten.

  Weitere Informationen zum Angeben und Nutzen Ihrer eigenen Auftragsargumente finden Sie im Thema Aufrufen von AWS Glue-APIs in Python im Entwicklerhandbuch.

  Informationen zu den Argumenten, die Sie für dieses Feld beim Konfigurieren von Spark-Aufträgen angeben können, finden Sie im Thema Spezielle Parameter, die von AWS Glue verwendet werden im Entwicklerhandbuch.

  Informationen zu den Argumenten, die Sie für dieses Feld beim Konfigurieren von Ray-Aufträgen angeben können, finden Sie unter Verwenden von Auftragsparametern in Ray-Aufträgen im Entwicklerhandbuch.

• AllocatedCapacity – Zahl (Ganzzahl).

  Diese Feld ist als veraltet gekennzeichnet. Verwenden Sie stattdessen MaxCapacity.

  Die Anzahl der AWS Glue Data Processing Units (DPUs), die diesem JobRun zugeordnet werden sollen. Sie können ab 2 DPUs zuweisen. Der Standardwert ist 10. Bei einer DPU handelt es sich um ein relatives Maß der Rechenleistung, die aus 4 vCPUs Rechenkapazität und 16 GB Arbeitsspeicher besteht. Weitere Informationen finden Sie in der AWS GluePreisliste.

• Timeout – Zahl (ganze Zahl), mindestens 1.

  DerJobRun-Timeoutwert in Minuten. Dies ist die maximale Zeitspanne, in der eine Auftragsausführung Ressourcen verbrauchen kann, ehe sie beendet wird und in den TIMEOUT-Status wechselt. Dieser Wert überschreibt den Wert der Zeitüberschreitung im übergeordneten Auftrag.

  Aufträge müssen Timeout-Werte von weniger als 7 Tagen oder 10.080 Minuten haben. Andernfalls geben die Aufträge eine Ausnahme aus.

  Wenn der Wert leer gelassen wird, ist das Timeout standardmäßig auf 2.880 Minuten festgelegt.

  Für alle vorhandenen AWS Glue-Aufträge mit einem Timeout-Wert von mehr als 7 Tagen wird standardmäßig ein Wert von 7 Tagen verwendet. Wenn Sie beispielsweise ein Timeout von 20 Tagen für einen Batch-Auftrag angegeben haben, wird dieser am 7. Tag gestoppt.

  Wenn Sie für Streaming-Aufträge ein Wartungsfenster eingerichtet haben, wird es während des Wartungsfensters nach 7 Tagen neu gestartet.

• MaxCapacity – Nummer (doppelt).

  Bei Aufträgen mit Glue-Version 1.0 oder früher mithilfe des Standard-Worker-Typs die Anzahl von AWS Glue-Datenverarbeitungseinheiten (DPUs) angeben, die bei der Ausführung dieses Auftrags zugewiesen werden können. Bei einer DPU handelt es sich um ein relatives Maß der Rechenleistung, die aus 4 vCPUs Rechenkapazität und 16 GB Arbeitsspeicher besteht. Weitere Informationen finden Sie in der AWS GluePreisliste.

  Bei Aufträgen ab Glue-Version 2.0 können Sie keine Maximum capacity angeben. Stattdessen sollten Sie einen Worker type und die Number of workers festlegen.

  Setzen Sie nicht MaxCapacity, wenn Sie WorkerType und NumberOfWorkers verwenden.

  Der Wert, der MaxCapacity zugewiesen werden kann, ist davon abhängig, ob Sie eine Python-Shell-Aufgabe, eine Apache-Spark-ETL-Aufgabe oder eine Apache-Spark-Streaming-ETL-Aufgabe ausführen:

  • Wenn Sie einen Python-Shell-Auftrag (JobCommand.Name="pythonshell") angeben, können Sie entweder 0,0625 oder 1 DPU zuweisen. Der Standardwert ist 0,0625 DPU.

  • Wenn Sie eine Apache Spark ETL-Aufgabe (JobCommand.Name=“glueetl“) oder eine Apache-Spark-Streaming-ETL-Aufgabe (JobCommand.Name="gluestreaming“) angeben, können Sie 2 bis 100 DPUs zuweisen. Der Standardwert ist 10 DPUs. Diesem Auftragstyp dürfen keine DPU-Bruchteile zugeteilt werden.

• SecurityConfiguration – UTF-8-Zeichenfolge, nicht weniger als 1 oder mehr als 255 Bytes lang, passend zum Single-line string pattern.

  Der Name der SecurityConfiguration-Struktur, die mit diesem Auftrag verwendet werden soll.

• NotificationProperty – Ein NotificationProperty-Objekt.

  Gibt die Konfigurationseigenschaften einer Auftragsausführungs-Benachrichtigung an.

• WorkerType – UTF-8-Zeichenfolge (zulässige Werte: Standard="" | G.1X="" | G.2X="" | G.025X="" | G.4X="" | G.8X="" | Z.2X="").

  Der Typ der vordefinierten Worker, der zugeordnet wird, wenn ein Auftrag ausgeführt wird. Akzeptiert einen Wert von G.1X, G.2X, G.4X, G.8X oder G.025X für Spark-Aufträge. Akzeptiert den Wert Z.2X für Ray-Aufträge.

  • Für den Worker-Typ G.1X ist jedem Worker 1 DPU (4 vCPUs, 16 GB Arbeitsspeicher, 94 GB Festplattenplatz) sowie ein Executor pro Worker zugewiesen. Wir empfehlen diesen Worker-Typ für Workloads wie Datentransformationen, Zusammenführungen und Abfragen. Er bietet eine skalierbare und kostengünstige Möglichkeit, die meisten Aufträge auszuführen.

  • Für den Worker-Typ G.2X sind jedem Worker 2 DPU (8 vCPUs, 32 GB Arbeitsspeicher, 138 GB Festplattenplatz) sowie ein Executor pro Worker zugewiesen. Wir empfehlen diesen Worker-Typ für Workloads wie Datentransformationen, Zusammenführungen und Abfragen. Er bietet eine skalierbare und kostengünstige Möglichkeit, die meisten Aufträge auszuführen.

  • Für den Worker-Typ G.4X sind jedem Worker 4 DPU (16 vCPUs, 64 GB Arbeitsspeicher, 256 GB Festplattenplatz) sowie ein Executor pro Worker zugewiesen. Wir empfehlen diesen Worker-Typ für Aufträge, deren Workloads Ihre anspruchsvollsten Transformationen, Aggregationen, Verknüpfungen und Abfragen enthalten. Dieser Worker-Typ ist nur für Spark-ETL-Aufträge der AWS Glue-Version 3.0 oder höher in den folgenden AWS-Regionen verfügbar: USA Ost (Ohio), USA Ost (Nord-Virginia), USA West (Oregon), Asien-Pazifik (Singapur), Asien-Pazifik (Sydney), Asien-Pazifik (Tokio), Kanada (Zentral), Europa (Frankfurt), Europa (Irland) und Europa (Stockholm).

  • Für den Worker-Typ G.8X sind jedem Worker 8 DPU (32 vCPUs, 128 GB Arbeitsspeicher, 512 GB Festplattenplatz) sowie ein Executor pro Worker zugewiesen. Wir empfehlen diesen Worker-Typ für Aufträge, deren Workloads Ihre anspruchsvollsten Transformationen, Aggregationen, Verknüpfungen und Abfragen enthalten. Dieser Worker-Typ ist nur für Spark-ETL-Aufträge der AWS Glue-Version 3.0 oder höher verfügbar, und zwar in denselben AWS-Regionen, die auch für den G.4X-Worker-Typ unterstützt werden.

  • Für den Worker-Typ G.025X sind jedem Worker 0,25 DPU (2 vCPUs, 4 GB Arbeitsspeicher, 84 GB Festplattenplatz) sowie ein Executor pro Worker zugewiesen. Wir empfehlen diesen Worker-Typ für Streaming-Aufträge mit geringem Volumen. Dieser Worker-Typ ist nur für Streaming-Aufträge der AWS Glue Version 3.0 oder später verfügbar.

  • Für den Worker-Typ Z.2X sind jedem Worker 2 M-DPU (8 vCPUs, 64 GB Arbeitsspeicher) mit 128 GB Festplatte zugeordnet und er stellt basierend auf dem Autoscaler bis zu 8-Ray-Worker bereit.

• NumberOfWorkers – Zahl (Ganzzahl).

  Die Anzahl der Worker eines definierten workerType die zugewiesenj werden, wenn ein Auftrag ausgeführt wird.

• ExecutionClass – UTF-8-Zeichenfolge, nicht länger als 16 Bytes (gültige Werte: FLEX="" | STANDARD="").

  Gibt an, ob der Auftrag mit einer Standard- oder einer flexiblen Ausführungsklasse ausgeführt wird. Die Standardausführungsklasse ist ideal für zeitkritische Workloads, die einen schnellen Auftragsstart und dedizierte Ressourcen erfordern.

  Die flexible Ausführungsklasse ist geeignet für zeitunabhängige Aufträge, deren Start- und Abschlusszeiten variieren können.

  Nur Auftärge mit der AWS Glue-Version 3.0 oder höher und dem Befehlstyp glueetl dürfen ExecutionClass auf FLEX setzen. Die flexible Ausführungsklasse ist für Spark-Aufträge verfügbar.

• ProfileName – UTF-8-Zeichenfolge, nicht weniger als 1 oder mehr als 255 Bytes lang, passend zum Single-line string pattern.

  Der Name eines AWS Glue-Nutzungsprofils, das der Auftragsausführung zugeordnet ist.

• ExecutionRoleSessionPolicy – UTF-8-Zeichenfolge, nicht weniger als 2 oder mehr als 2.048 Bytes lang.

  Mithilfe dieser Inline-Sitzungsrichtlinie für die StartJobRun-API können Sie die Berechtigungen der angegebenen Ausführungsrolle für den Umfang des Auftrags dynamisch einschränken, ohne dass zusätzliche IAM-Rollen erstellt werden müssen.

Antwort

• JobRunId – UTF-8-Zeichenfolge, nicht weniger als 1 oder mehr als 255 Bytes lang, passend zum Single-line string pattern.

  Die dieser Auftragsausführung zugewiesenen ID.

Fehler

• InvalidInputException

• EntityNotFoundException

• InternalServiceException

• OperationTimeoutException

• ResourceNumberLimitExceededException

• ConcurrentRunsExceededException

Anforderung

• JobName – Erforderlich: UTF-8-Zeichenfolge, nicht weniger als 1 oder mehr als 255 Bytes lang, passend zum Single-line string pattern.

  Der Name der Auftragsdefinition, für die Auftragsausführungen gestoppt werden sollen.

• JobRunIds – Erforderlich: Ein Array mit UTF-8-Zeichenfolgen, nicht weniger als 1 und nicht mehr als 25 Zeichenfolgen.

  Eine Liste der JobRunIds, die für diese Auftragsdefinition gestoppt werden sollen.

Antwort

• SuccessfulSubmissions – Ein Array mit BatchStopJobRunSuccessfulSubmission-Objekten.

  Eine Liste der JobRuns, die erfolgreich für das Anhalten übermittelt wurden.

• Errors – Ein Array mit BatchStopJobRunError-Objekten.

  Eine Liste der Fehler, die beim Versuch, die JobRuns zu stoppen, aufgetreten sind, einschließlich der JobRunId, bei der jeder Fehler aufgetreten ist und Details über den Fehler.

Fehler

• InvalidInputException

• InternalServiceException

• OperationTimeoutException

Anforderung

• JobName – Erforderlich: UTF-8-Zeichenfolge, nicht weniger als 1 oder mehr als 255 Bytes lang, passend zum Single-line string pattern.

  Der Name der ausgeführten Auftragsdefinition.

• RunId – Erforderlich: UTF-8-Zeichenfolge, nicht weniger als 1 oder mehr als 255 Bytes lang, passend zum Single-line string pattern.

  Die ID der Auftragsausführung.

• PredecessorsIncluded – Boolesch.

  "True", wenn eine Liste der Vorgängerausführungen zurückgegeben werden soll.

Antwort

• JobRun – Ein JobRun-Objekt.

  Die angeforderten Metadaten der Auftragsausführung.

Fehler

• InvalidInputException

• EntityNotFoundException

• InternalServiceException

• OperationTimeoutException

Anforderung

• JobName – Erforderlich: UTF-8-Zeichenfolge, nicht weniger als 1 oder mehr als 255 Bytes lang, passend zum Single-line string pattern.

  Der Name de Auftragsdefinition, für die alle Auftragsausführungen abgerufen werden sollen.

• NextToken – UTF-8-Zeichenfolge.

  Ein Fortsetzungs-Token, wenn dies ein Fortsetzungsaufruf ist.

• MaxResults – Zahl (Ganzzahl), nicht kleiner als 1 oder größer als 200.

  Die maximale Größe der Antwort.

Antwort

• JobRuns – Ein Array mit JobRun-Objekten.

  Eine Liste der Metadatenobjekte der Auftragsausführung.

• NextToken – UTF-8-Zeichenfolge.

  Ein Fortsetzungs-Token, falls nicht alle angeforderten Auftragsausführungen zurückgegeben wurden.

Fehler

• InvalidInputException

• EntityNotFoundException

• InternalServiceException

• OperationTimeoutException

• Verfolgen von verarbeiteten Daten mit Auftragslesezeichen

• Auftragsparameter, die von AWS Glue verwendet werden

• Auftrags-Struktur

Anforderung

• JobName – Erforderlich: UTF-8-Zeichenfolge.

  Der Name des jeweiligen Auftrags.

• Version – Zahl (Ganzzahl).

  Die Version des Auftrags.

• RunId – UTF-8-Zeichenfolge.

  Die dieser Auftragsausführung zugeordnete eindeutige Kennung.

Antwort

• JobBookmarkEntry – Ein JobBookmarkEntry-Objekt.

  Eine Struktur, die einen Punkt definiert, an dem ein Auftrag die Verarbeitung fortsetzen kann.

Fehler

• EntityNotFoundException

• InvalidInputException

• InternalServiceException

• OperationTimeoutException

• ValidationException

• Verfolgen von verarbeiteten Daten mit Auftragslesezeichen

• Auftragsparameter, die von AWS Glue verwendet werden

• Auftrags-Struktur

Anforderung

• JobName – Erforderlich: UTF-8-Zeichenfolge.

  Der Name des jeweiligen Auftrags.

• MaxResults – Zahl (Ganzzahl).

  Die maximale Größe der Antwort.

• NextToken – Zahl (Ganzzahl).

  Ein Fortsetzungs-Token, wenn dies ein Fortsetzungsaufruf ist.

Antwort

• JobBookmarkEntries – Ein Array mit JobBookmarkEntry-Objekten.

  Eine Liste der Auftrags-Lesezeicheneinträge, die einen Punkt definiert, an dem ein Auftrag die Verarbeitung fortsetzen kann.

• NextToken – Zahl (Ganzzahl).

  Ein Fortsetzungstoken, der den Wert 1 hat, wenn alle Einträge zurückgegeben werden, oder >1, wenn nicht alle angeforderten Auftragsausführungen zurückgegeben wurden.

Fehler

• InvalidInputException

• EntityNotFoundException

• InternalServiceException

• OperationTimeoutException

• Verfolgen von verarbeiteten Daten mit Auftragslesezeichen

• Auftragsparameter, die von AWS Glue verwendet werden

• Auftrags-Struktur

Anforderung

• JobName – Erforderlich: UTF-8-Zeichenfolge.

  Der Name des jeweiligen Auftrags.

• RunId – UTF-8-Zeichenfolge.

  Die dieser Auftragsausführung zugeordnete eindeutige Kennung.

Antwort

• JobBookmarkEntry – Ein JobBookmarkEntry-Objekt.

  Der zurückgesetzte Textmarkeneintrag.

Fehler

• EntityNotFoundException

• InvalidInputException

• InternalServiceException

• OperationTimeoutException