Schritt 4: Erstellen Sie ein Thema im Amazon MSK-Cluster

Öffnen Sie die Amazon-MSK-Konsole unter https://console.aws.amazon.com/msk/.

Wählen Sie in der Navigationsleiste die Region aus, in der Sie den MSK-Cluster erstellt haben.

Wählen Sie den MSK-Cluster aus.

Notieren Sie sich die Version von Apache Kafka, die auf dem Cluster verwendet wird.

Ersetzen Sie die Amazon-MSK-Versionsnummern in diesem Tutorial durch die in Schritt 3 erhaltene Version.

Connect zu Ihrem Client-Computer her.

1. Öffnen Sie die EC2 Amazon-Konsole unter https://console.aws.amazon.com/ec2/.

2. Wählen Sie im Navigationsbereich Instances aus. Aktivieren Sie dann das Kontrollkästchen neben dem Namen des Client-Computers, auf dem Sie ihn erstellt habenSchritt 3: Einen Client-Computer erstellen.

3. Klicken Sie auf Actions (Aktionen) und anschließend auf Connect (Verbinden). Folgen Sie den Anweisungen in der Konsole, um eine Verbindung zum Client-Computer herzustellen.

Installieren Sie Java und richten Sie die Umgebungsvariable Kafka-Version ein.

1. Installieren Sie Java auf dem Client-Computer, indem Sie den folgenden Befehl ausführen.

   sudo yum -y install java-11

2. Speichern Sie die Kafka-Version Ihres MSK-Clusters in der UmgebungsvariablenKAFKA_VERSION, wie im folgenden Befehl gezeigt. Sie benötigen diese Informationen während des gesamten Setups.

   export KAFKA_VERSION={KAFKA VERSION}

   Wenn Sie beispielsweise Version 3.6.0 verwenden, verwenden Sie den folgenden Befehl.

   export KAFKA_VERSION=3.6.0

Laden Sie Apache Kafka herunter und entpacken Sie es.

1. Führen Sie den folgenden Befehl aus, um Apache Kafka herunterzuladen.

   wget https://archive.apache.org/dist/kafka/$KAFKA_VERSION/kafka_2.13-$KAFKA_VERSION.tgz

   Wenn Ihr MSK-Cluster beispielsweise Apache Kafka Version 3.6.0 verwendet, führen Sie den folgenden Befehl aus.

   wget https://archive.apache.org/dist/kafka/3.6.0/kafka_2.13-3.6.0.tgz

   Anmerkung

   Die folgende Liste enthält einige alternative Kafka-Download-Informationen, die Sie verwenden können, falls Probleme auftreten.

   • Wenn Sie Verbindungsprobleme haben oder eine Mirror-Site verwenden möchten, versuchen Sie es mit dem Apache-Mirror-Selektor, wie im folgenden Befehl gezeigt.

     wget https://www.apache.org/dyn/closer.cgi?path=/kafka/$KAFKA_VERSION/kafka_2.13-$KAFKA_VERSION.tgz

   • Laden Sie eine entsprechende Version direkt von der Apache Kafka-Website herunter.

2. Führen Sie den folgenden Befehl in dem Verzeichnis aus, in das Sie im vorherigen Schritt die TAR-Datei heruntergeladen haben.

   tar -xzf kafka_2.13-$KAFKA_VERSION.tgz

3. Speichern Sie den vollständigen Pfad zum neu erstellten Verzeichnis in der KAFKA_ROOT Umgebungsvariablen.

   export KAFKA_ROOT=$(pwd)/kafka_2.13-$KAFKA_VERSION

Richten Sie die Authentifizierung für Ihren MSK-Cluster ein.

1. Laden Sie die neueste Version der Amazon MSK IAM JAR-Datei im $KAFKA_ROOT/libs Verzeichnis herunter. Verwenden Sie den folgenden Befehl, um die Datei herunterzuladen, und {LATEST VERSION} ersetzen Sie sie durch die tatsächliche Versionsnummer.

   cd $KAFKA_ROOT/libs wget https://github.com/aws/aws-msk-iam-auth/releases/latest/download/aws-msk-iam-auth-{LATEST VERSION}-all.jar

   Die Amazon MSK IAM JAR-Datei ermöglicht Ihrem Client-Computer den Zugriff auf den MSK-Cluster mithilfe der IAM-Authentifizierung.

   Anmerkung

   Bevor Sie irgendwelche Kafka-Befehle ausführen, die mit Ihrem MSK-Cluster interagieren, müssen Sie möglicherweise die Amazon MSK IAM JAR-Datei zu Ihrem Java-Klassenpfad hinzufügen. Stellen Sie die CLASSPATH Umgebungsvariable ein, wie im folgenden Beispiel gezeigt.

   export CLASSPATH=$KAFKA_ROOT/libs/aws-msk-iam-auth-{LATEST VERSION}-all.jar

   Dadurch wird die CLASSPATH für Ihre gesamte Sitzung festgelegt, sodass die JAR für alle nachfolgenden Kafka-Befehle verfügbar ist.

2. Gehen Sie in das $KAFKA_ROOT/config Verzeichnis, in dem Sie die Client-Konfigurationsdatei erstellen möchten.

   cd $KAFKA_ROOT/config

3. Kopieren Sie die folgenden Eigenschaften-Einstellungen und fügen Sie sie in eine neue Datei ein. Speichern Sie die Datei als client.properties.

   security.protocol=SASL_SSL
   sasl.mechanism=AWS_MSK_IAM
   sasl.jaas.config=software.amazon.msk.auth.iam.IAMLoginModule required;
   sasl.client.callback.handler.class=software.amazon.msk.auth.iam.IAMClientCallbackHandler

(Optional) Wenn Sie auf Speicherprobleme stoßen oder mit einer großen Anzahl von Themen oder Partitionen arbeiten, können Sie die Java-Heap-Größe für Kafka-Tools anpassen. Stellen Sie dazu die KAFKA_HEAP_OPTS Umgebungsvariable ein, bevor Sie Kafka-Befehle ausführen.

Im folgenden Beispiel werden sowohl die maximale als auch die anfängliche Heap-Größe auf 512 Megabyte festgelegt. Passen Sie diese Werte an Ihre spezifischen Anforderungen und verfügbaren Systemressourcen an.

export KAFKA_HEAP_OPTS="-Xmx512M -Xms512M"

Rufen Sie Ihre Cluster-Verbindungsinformationen ab.

1. Öffnen Sie die Amazon-MSK-Konsole unter https://console.aws.amazon.com/msk/.

2. Warten Sie, bis der Status Ihres Clusters Aktiv ist. Dies kann einige Minuten dauern. Wenn der Status Aktiv lautet, wählen Sie den Cluster-Namen aus. Dadurch gelangen Sie zu einer Seite mit der Cluster-Zusammenfassung.

3. Wählen Sie Client-Informationen anzeigen.

4. Kopieren Sie die Verbindungszeichenfolge für den privaten Endpunkt.

   Sie erhalten drei Endpunkte für jeden der Broker. Speichern Sie eine dieser Verbindungszeichenfolgen in der UmgebungsvariablenBOOTSTRAP_SERVER, wie im folgenden Befehl gezeigt. <bootstrap-server-string>Ersetzen Sie durch den tatsächlichen Wert der Verbindungszeichenfolge.

   export BOOTSTRAP_SERVER=<bootstrap-server-string>

Führen Sie den folgenden Befehl aus, um das Thema zu erstellen.

$KAFKA_ROOT/bin/kafka-topics.sh --create --bootstrap-server $BOOTSTRAP_SERVER --command-config $KAFKA_ROOT/config/client.properties --replication-factor 3 --partitions 1 --topic MSKTutorialTopic

Wenn Sie eine NoSuchFileException für die client.properties Datei erhalten, stellen Sie sicher, dass diese Datei im aktuellen Arbeitsverzeichnis innerhalb des Kafka-Verzeichnisses bin existiert.

CLASSPATH=$KAFKA_ROOT/libs/aws-msk-iam-auth-{LATEST VERSION}-all.jar \
$KAFKA_ROOT/bin/kafka-topics.sh --create \
--bootstrap-server $BOOTSTRAP_SERVER \
--command-config $KAFKA_ROOT/config/client.properties \
--replication-factor 3 \
--partitions 1 \
--topic MSKTutorialTopic

(Optional) Vergewissern Sie sich, dass das Thema erfolgreich erstellt wurde.

1. Wenn der Befehl erfolgreich ist, sollte die folgende Meldung angezeigt werden: Created topic MSKTutorialTopic.

2. Listen Sie alle Themen auf, um zu bestätigen, dass Ihr Thema existiert.

   $KAFKA_ROOT/bin/kafka-topics.sh --list --bootstrap-server $BOOTSTRAP_SERVER --command-config $KAFKA_ROOT/config/client.properties

Wenn der Befehl nicht erfolgreich ist oder Sie auf einen Fehler stoßen, finden Sie Informationen Problembehandlung bei Ihrem Amazon MSK-Cluster zur Problembehandlung unter.

(Optional) Wenn Sie Ihre Umgebungsvariablen für die nächsten Schritte in diesem Tutorial behalten möchten, überspringen Sie diesen Schritt. Andernfalls können Sie die Variablen rückgängig machen, wie im folgenden Beispiel gezeigt.

unset KAFKA_VERSION KAFKA_ROOT BOOTSTRAP_SERVER CLASSPATH KAFKA_HEAP_OPTS