Bereitstellen eigener, benutzerdefinierter Skripts - AWS Glue

Bereitstellen eigener, benutzerdefinierter Skripts

Skripts führen die Vorgänge zum Extrahieren, Transformieren und Laden (Extract, Transform and Load, ETL) in AWS Glue aus. Ein Skript wird erstellt, wenn Sie automatisch die Quellcodelogik für einen Auftrag generieren. Sie können dieses Skript entweder bearbeiten oder Ihr eigenes Skript bereitstellen.

Um eigene, benutzerdefinierte Skripts in AWS Glue bereitzustellen, führen Sie die folgenden Schritte aus:

  1. Melden Sie sich bei der AWS Management Console an und öffnen Sie die AWS Glue-Konsole unter https://console.aws.amazon.com/glue/.

  2. Wählen Sie die Registerkarte ETL-Aufträge, und zeigen Sie dann den Abschnitt Auftrag erstellen an. Wählen Sie eine Option für den Skript-Editor.

  3. Wählen Sie unter This job runs (Dieser Auftrag wird ausgeführt) eine der folgenden Optionen:

    • Einen neuen Skripts mit Boilerplate-Code erstellen

    • Einen vorhandenen Skript hochladen und bearbeiten

  4. Wählen Sie auf der Seite Auftragsdetails die IAM-Rolle, die für die Ausführung Ihres benutzerdefinierten Skripts erforderlich ist. Weitere Informationen finden Sie unter Identity and Access Management für AWS Glue.

  5. Wählen Sie alle Verbindungen, auf die Ihr Skript verweist. Diese Objekte werden benötigt, um eine Verbindung zu den erforderlichen JDBC-Datenspeichern herzustellen.

    Eine Elastic Network-Schnittstelle ist eine virtuelle Netzwerkschnittstelle, die Sie an eine Instance in einer Virtual Private Cloud (VPC) anhängen können. Wählen Sie die Elastic Network-Schnittstelle, die erforderlich ist, um eine Verbindung mit dem Datenspeicher herzustellen, der im Skript verwendet wird.

  6. Stellen Sie zusätzliche Konfigurationen, einschließlich Parameter, bereit, die für Ihren Auftragstyp spezifisch sind. Weitere Informationen zur Konfiguration für Ihren Auftragstyp finden Sie im Abschnitt Erstellen von Visual-ETL-Aufträgen.

  7. Fügen Sie auf der Registerkarte Skript Ihr benutzerdefiniertes Skript ein oder schreiben Sie es.

Verwenden Sie den Inhalt dieses Abschnitts als Leitfaden für das Schreiben Ihres benutzerdefinierten Skripts.

Weitere Informationen zum Hinzufügen von Aufträgen in AWS Glue finden Sie unter Erstellen von Visual-ETL-Aufträgen.

Eine Schritt-für-Schritt-Anleitung finden Sie im Tutorial Add job (Auftrag hinzufügen) in der AWS Glue-Konsole.