Erstellen einer Kafka-Verbindung - AWS Glue

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Erstellen einer Kafka-Verbindung

Wenn Sie eine Kafka-Verbindung erstellen, wählen Sie Kafka im Dropdown-Menü und es werden zusätzliche zu konfigurierende Einstellungen angezeigt:

  • Details zum Kafka-Cluster

  • Authentifizierung

  • Verschlüsselung

  • Netzwerkoptionen

Konfigurieren der Details des Kafka-Clusters

  1. Wählen Sie den Clusterstandort aus. Sie können zwischen einem von Amazon verwalteten Streaming für Apache Kafka (MSK)-Cluster oder einem vom Kunden verwalteten Apache Kafka-Cluster wählen. Weitere Informationen zu von Amazon verwaltetes Streaming für Apache Kafka finden Sie unter Von Amazon verwaltetes Streaming für Apache Kafka (MSK).

    Anmerkung

    Amazon Managed Streaming for Apache Kafka unterstützt nur TLS- und SASL/SCRAM-SHA-512-Authentifizierungsmethoden.

    Der Screenshot zeigt den Detail-Abschnitt des Kafka-Clusters mit Optionen zur Auswahl eines Clusterstandorts und zum Aufrufen von Kafka-Boostrap-Server-URLs.

  2. Geben Sie die URLs für Ihre Kafka-Bootstrap-Server ein. Sie können mehrere eingeben, indem Sie jeden Server durch ein Komma trennen. Geben Sie die Portnummer am Ende der URL an, indem Sie :<port number> anfügen.

    Beispiel: b-1.vpc-test-2.034a88o.kafka-us-east-1.amazonaws.com:9094

Authentifizierungsmethode auswählen

Der Screenshot zeigt das Dropdown-Menü zur Auswahl einer Kafka-Authentifizierungsmethode.

AWS Glue unterstützt das Simple Authentication and Security Layer (SASL)-Framework für die Authentifizierung. Das SASL-Framework unterstützt verschiedene Authentifizierungsmechanismen und AWS Glue bietet sowohl das SCRAM-Protokoll (Benutzername und Passwort) als auch GSSAPI (Kerberos-Protokoll) und PLAIN-Protokolle (Benutzername und Passwort).

Wenn Sie eine Authentifizierungsmethode aus dem Dropdown-Menü auswählen, können die folgenden Client-Authentifizierungsmethoden ausgewählt werden:

  • Keine – Keine Authentifizierung. Dies ist nützlich, wenn Sie eine Verbindung zu Testzwecken herstellen.

  • SASL/SCRAM-SHA-512 – Wenn Sie diese Authentifizierungsmethode wählen, können Sie Anmeldeinformationen zur Authentifizierung angeben. Es stehen zwei Optionen zur Verfügung:

    • Verwenden von AWS Secrets Manager (empfohlen) – Wenn Sie diese Option auswählen, können Sie Ihre Anmeldedaten im AWS Secrets Manager speichern und AWS Glue bei Bedarf darauf zugreifen lassen. Geben Sie das Secret an, das die SSL- oder SASL-Authentifizierungsdaten speichert.

      Der Screenshot zeigt die Optionen für Anmeldeinformationen zur Authentifizierung, wenn die Authentifizierungsmethode SASL/SCRAM-SHA-512 lautet.

    • Geben Sie Benutzername und Passwort direkt an.

  • SASL/GSSAPI (Kerberos) – Wenn Sie diese Option auswählen, können Sie den Speicherort der Keytab-Datei, die krb5.conf-Datei auswählen und den Kerberos-Hauptnamen und den Kerberos-Servicenamen eingeben. Die keytab-Datei und die krb5.conf-Datei müssen sich an einem Amazon-S3-Speicherort befinden. Da MSK SASL/GSSAPI noch nicht unterstützt, ist diese Option nur für vom Kunden verwaltete Apache-Kafka-Cluster verfügbar. Weitere Informationen finden Sie unter MIT Kerberos-Dokumentation: Keytab.

  • SASL/PLAIN – Wenn Sie diese Authentifizierungsmethode wählen, können Sie Anmeldeinformationen zur Authentifizierung angeben. Es stehen zwei Optionen zur Verfügung:

    • Verwenden von AWS Secrets Manager (empfohlen) – Wenn Sie diese Option auswählen, können Sie Ihre Anmeldedaten im AWS Secrets Manager speichern und AWS Glue bei Bedarf darauf zugreifen lassen. Geben Sie das Secret an, das die SSL- oder SASL-Authentifizierungsdaten speichert.

    • Geben Sie Benutzername und Passwort direkt an.

  • SSL-Client-Authentifizierung – wenn Sie diese Option auswählen, können Sie den Speicherort des Kafka-Client-Keystores auswählen, indem Sie Amazon S3 durchsuchen. Optional können Sie das Kennwort für den Kafka-Client-Keystore und das Kafka-Client-Schlüsselkennwort eingeben.

Der Screenshot zeigt die Verschlüsselungsoption, wenn SSL die Authentifizierungsmethode ist.

Konfigurieren der Verschlüsselungs-Einstellungen

  1. Wenn die Kafka-Verbindung eine SSL-Verbindung erfordert, aktivieren Sie das Kontrollkästchen für Require SSL connection (SSL-Verbindung erforderlich). Beachten Sie, dass die Verbindung fehlschlägt, wenn keine Verbindung über SSL herstellen werden kann. SSL für Verschlüsselung kann mit jeder der Authentifizierungsmethoden (SASL/SCRAM-SHA-512, SASL/GSSAPI, SASL/PLAIN oder SSL-Client-Authentifizierung) verwendet werden und ist optional.

    Wenn die Authentifizierungsmethode auf SSL client authentication (SSL-Client-Authentifizierung) festgelegt ist, wird diese Option automatisch ausgewählt und deaktiviert, um Änderungen zu verhindern.

  2. (Optional). Wählen Sie den Speicherort des privaten Zertifikats der Zertifizierungsstelle (CA). Beachten Sie, dass sich der Speicherort der Zertifizierung an einem S3-Standort befinden muss. Wählen Sie Browse (Durchsuchen), um die Datei aus einem verbundenen S3-Bucket auszuwählen. Der Pfad muss im Format s3://bucket/prefix/filename.pem eingegeben werden. Er muss mit dem Dateinamen und der Erweiterung .pem enden.

  3. Sie können die Validierung des Zertifikats einer Zertifizierungsstelle (CA) überspringen. Wählen Sie das Kontrollkästchen Skip validation of certificate from certificate authority (CA) (Validierung des Zertifikats der Zertifizierungsstelle (CA). Wenn dieses Kästchen nicht aktiviert ist, validiert AWS Glue Zertifikate für drei Algorithmen:

    • SHA256withRSA

    • SHA384withRSA

    • SHA512withRSA

Der Screenshot zeigt die Optionen zum Konfigurieren der Verschlüsselung, einschließlich der Frage, ob eine SSL-Verbindung erforderlich ist oder nicht, die Option, den Speicherort des privaten Zertifikats der Zertifizierungsstelle (CA) auszuwählen, und die Option, die Validierung des Zertifikats der Zertifizierungsstelle (CA) zu überspringen.

(Optional) Netzwerkoptionen

Im Folgenden werden optionale Schritte zum Konfigurieren von VPC-, Subnetz- und Sicherheitsgruppen aufgeführt. Wenn Ihr AWS Glue-Auftrag auf Amazon-EC2-Instances in einem Virtual Private Cloud (VPC)-Subnetz ausgeführt werden muss, müssen Sie zusätzliche VPC-spezifische Konfigurationsinformationen angeben.

  1. Wählen Sie die VPC (Virtual Private Cloud) aus, die Ihre Datenquelle enthält.

  2. Wählen Sie das Subnetz mit Ihrer VPC aus.

  3. Wählen Sie eine oder mehrere Sicherheitsgruppen aus, um den Zugriff auf den Datenspeicher in Ihrem VPC-Subnetz zuzulassen. Sicherheitsgruppen sind mit der Ihrem Subnetz angefügten ENI verknüpft. Sie müssen mindestens eine Sicherheitsgruppe mit einer selbstreferenzierenden eingehenden Regel für alle TCP-Ports auswählen.

Der Screenshot zeigt die optionalen Netzwerkoptionen für VPC-, Subnetz- und Sicherheitsgruppen.