Erstellen Sie einen von MSK bereitgestellten Cluster mit dem AWS Management Console - Amazon Managed Streaming für Apache Kafka

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Erstellen Sie einen von MSK bereitgestellten Cluster mit dem AWS Management Console

Die Verfahren in diesem Thema beschreiben die allgemeine Aufgabe beim Erstellen eines von MSK bereitgestellten Clusters mithilfe der Option Benutzerdefiniertes Erstellen in der. AWS Management Console Mithilfe anderer in der AWS Management Console verfügbarer Optionen können Sie auch Folgendes erstellen:

Verfahren in diesem Thema

  1. Öffnen Sie die Amazon-MSK-Konsole unter https://console.aws.amazon.com/msk/.

  2. Wählen Sie Cluster erstellen.

  3. Wählen Sie als Methode zur Clustererstellung die Option Benutzerdefiniert aus.

  4. Geben Sie als Clustername einen Namen an, der eindeutig ist und nicht mehr als 64 Zeichen enthält.

  5. Wählen Sie als Clustertyp die Option Provisioned aus.

  6. Wählen Sie für die Apache Kafka-Version eine Version aus, die auf den Brokern ausgeführt werden soll. Um einen Vergleich der Amazon MSK-Funktionen zu sehen, die von den einzelnen Apache Kafka-Versionen unterstützt werden, wählen Sie Versionskompatibilität anzeigen.

  7. Gehen Sie im Abschnitt Brokers wie folgt vor:

    1. Wählen Sie als Brokertyp eine der folgenden Optionen aus:

      • Express-Broker: Leistungsstarke, skalierbare Broker mit vollständig verwaltetem virtuellem Speicher. Wählen Sie diesen Brokertyp für anspruchsvolle Anwendungen mit hohem Durchsatz.

      • Standardbroker: Traditioneller Kafka-Broker mit vollständiger Konfigurationskontrolle. Wählen Sie diesen Brokertyp für allgemeine Workloads mit moderaten Durchsatzanforderungen.

      Weitere Informationen zu diesen Brokertypen finden Sie unter. Amazon MSK-Brokertypen

    2. Wählen Sie unter Broker-Größe eine Größe, die für den Cluster verwendet werden soll, basierend auf den Rechen-, Arbeitsspeicher- und Speicheranforderungen des Clusters.

    3. Wählen Sie unter Anzahl der Zonen die Anzahl der Zonen aus, AWS Availability Zonesauf die die Broker verteilt sind.

      Express-Broker benötigen für eine höhere Verfügbarkeit drei Availability Zones.

    4. Geben Sie für Broker pro Zone die Anzahl der Broker an, die Amazon MSK in jeder Availability Zone erstellen soll. Das Minimum ist ein Broker pro Availability Zone und das Maximum beträgt 30 Broker pro Cluster für ZooKeeper basierte Cluster und 60 Broker pro Cluster für KRaftbasierte Cluster.

In diesem Verfahren wird beschrieben, wie Sie Ihre Datenspeicheranforderungen für alle Broker konfigurieren und den Speichermodus angeben können. Auf diese Weise können Sie Ihre Datenspeicheranforderungen auf der Grundlage Ihrer Workload-Anforderungen definieren. Darüber hinaus beschreibt dieses Verfahren die Clusterkonfigurationseinstellungen, mit denen die Funktionsweise Ihrer Broker gesteuert wird. Zu diesen Einstellungen gehören Brokerkonfigurationen, Standardthemeneinstellungen und mehrstufige Speicherrichtlinien.

  1. Wenn Sie den Brokertyp als Standard ausgewählt haben, gehen Sie im Abschnitt Speicher wie folgt vor:

    1. Wählen Sie unter Speicher die anfängliche Speichermenge aus, über die Ihr Cluster verfügen soll. Sie können die Speicherkapazität nicht verringern, nachdem Sie den Cluster erstellt haben.

    2. (Optional) Abhängig von der ausgewählten Broker-Größe (Instanzgröße) können Sie auch den Durchsatz für bereitgestellten Speicher pro Broker angeben. Mit dieser Option können Sie den Amazon EBS-Volumes jedes Brokers eine dedizierte Eingabe- und Ausgabeleistung (I/O) zuweisen.

      Um diese Option zu aktivieren, wählen Sie Broker-Größe (Instance-Größe) kafka.m5.4xlarge oder größer für x86 und kafka.m7g.2xlarge oder größer für Graviton-basierte Instances. Aktivieren Sie dann das Kontrollkästchen Durchsatz für bereitgestellten Speicher aktivieren. Wenn Sie dieses Kontrollkästchen aktivieren, können Sie manuell einen Durchsatz von mindestens 250 MiB pro Sekunde festlegen. Dies ist hilfreich für I/O-intensive Workloads oder Anwendungen, die eine schnelle, vorhersehbare Speicherleistung erfordern. Weitere Informationen finden Sie unter Bereitstellung von Speicherdurchsatz für Standard-Broker in einem Amazon MSK-Cluster.

    3. Geben Sie für den Cluster-Speichermodus an, wie Daten in Ihrem Cluster gespeichert und verwaltet werden. Diese Option bestimmt den Typ und die Konfiguration des Speichers, der für Ihre Broker verwendet wird. Wählen Sie eine der folgenden Optionen:

      • Nur EBS-Speicher: Speichert alle Themendaten lokal auf Amazon Elastic Block Store (Amazon EBS) -Volumes, die an jeden Broker angeschlossen sind. Wählen Sie diesen Modus für konsistente Leistungsanforderungen und schnellen Zugriff auf aktuelle Nachrichten.

      • Mehrstufiger Speicher und EBS-Speicher: Kombiniert lokale Amazon EBS-Daten mit kostengünstigem Remote-Speicher für große Datenmengen in Amazon S3. Dieser Modus reduziert die Amazon EBS-Speicherkosten, unterstützt eine längere Datenspeicherung und skaliert den Speicher automatisch ohne manuelles Eingreifen. Wählen Sie diesen Modus, wenn Sie Daten für längere Zeiträume zu geringeren Kosten aufbewahren möchten oder wenn Sie erwarten, dass Ihr Speicherbedarf erheblich steigen wird.

    Anmerkung

    Sie müssen den Speicher für Express-Broker nicht verwalten.

  2. Geben Sie für die Clusterkonfiguration eine der folgenden Optionen an, um das Verhalten Ihres Clusters zu definieren:

    • Amazon MSK-Standardkonfiguration: Enthält einen vordefinierten Satz von Konfigurationen, die für allgemeine Anwendungsfälle optimiert sind. Wählen Sie diese Option für eine schnelle Einrichtung und Bereitstellung von Clustern. Informationen zu Amazon-MSK-Konfigurationen finden Sie unter Bereitgestellte Amazon MSK-Konfiguration.

    • Benutzerdefinierte Konfiguration: Ermöglicht die Angabe Ihrer eigenen Broker- und Themeneinstellungen. Sie können entweder eine vorhandene benutzerdefinierte Konfiguration aus der Liste auswählen oder eine neue benutzerdefinierte Konfiguration erstellen. Wählen Sie diese Option, um Ihren Brokern eine genau abgestimmte Steuerung zu ermöglichen, z. B. spezifische Leistungsoptimierungen, Sicherheitseinstellungen und mehr.

  3. Wählen Sie Weiter aus, um fortzufahren.

Die Netzwerkkonfiguration definiert, wie Ihr Cluster in Ihrer AWS Infrastruktur bereitgestellt wird. Dazu gehören VPC, Availability Zones und Subnetze sowie Sicherheitsgruppen, die Netzwerk, Verfügbarkeit und Zugriff kontrollieren.

  1. Gehen Sie für Netzwerke wie folgt vor:

    1. Wählen Sie die VPC aus, die Sie für den Cluster verwenden möchten.

    2. Geben Sie auf der Grundlage der Anzahl der Availability Zones, die Sie zuvor ausgewählt haben, die Availability Zones und Subnetze an, in denen Broker bereitstellen werden.

      Für Standard-Broker in der Region USA West (Nordkalifornien) benötigen Sie zwei Subnetze in zwei verschiedenen Availability Zones. Für andere Regionen, in denen Amazon MSK verfügbar ist, können Sie entweder zwei oder drei Subnetze angeben. Die beiden Subnetze müssen sich in verschiedenen Availability Zones befinden.

      Für Express-Broker benötigen Sie drei Subnetze in drei verschiedenen Availability Zones.

      Wenn Sie einen von MSK bereitgestellten Cluster erstellen, verteilt MSK die Brokerknoten gleichmäßig auf die von Ihnen angegebenen Subnetze.

    3. Wählen oder erstellen Sie für Sicherheitsgruppen in Amazon EC2 eine oder mehrere Sicherheitsgruppen, denen Sie Zugriff auf Ihren Cluster gewähren möchten. Diese EC2 Amazon-Sicherheitsgruppen kontrollieren den eingehenden und ausgehenden Verkehr zu Ihren Brokern. Zum Beispiel die Sicherheitsgruppen von Client-Computern.

      Wenn Sie Sicherheitsgruppen angeben, die mit Ihnen gemeinsam genutzt werden, müssen Sie sicherstellen, dass Sie über die entsprechenden Berechtigungen verfügen. Insbesondere benötigen Sie die ec2:DescribeSecurityGroups-Berechtigung. Weitere Informationen finden Sie unter Verbindung zu einem MSK-Cluster herstellen.

  2. Wählen Sie Weiter aus, um fortzufahren.

  1. Gehen Sie im Abschnitt Sicherheitseinstellungen wie folgt vor:

    1. Wählen Sie eine oder mehrere der folgenden Authentifizierungs- und Autorisierungsmethoden, um den Client-Zugriff auf Ihre Kafka-Cluster zu kontrollieren:

      • Nicht authentifizierter Zugriff: Ermöglicht Clients den Zugriff auf den Cluster, ohne Anmeldeinformationen angeben zu müssen. Diese Methode stellt ein Sicherheitsrisiko dar und entspricht möglicherweise nicht den bewährten Sicherheitsmethoden. Weitere Informationen finden Sie unter msk-unrestricted-access-check.

      • Rollenbasierte IAM-Authentifizierung: Ermöglicht die Client-Authentifizierung und -Autorisierung mithilfe AWS von IAM-Benutzern/-Rollen. Diese Methode ermöglicht eine detaillierte Steuerung des Clusterzugriffs mithilfe von IAM-Richtlinien. Wir haben diese Methode für Anwendungen empfohlen, die bereits in ausgeführt werden. AWS

      • SASL/SCRAM-Authentifizierung: Erfordert von den Clients die Angabe von Benutzernamen und Passwort, die für die Authentifizierung gespeichert sind. AWS Secrets Manager Amazon MSK ruft diese Anmeldeinformationen von Secrets Manager ab und authentifiziert Benutzer sicher.

        Um Anmeldeinformationen für die Authentifizierung für einen Cluster einzurichten, erstellen Sie zunächst eine geheime Ressource in Secrets Manager. Verknüpfen Sie dann die Anmeldedaten mit diesem Secret. Weitere Hinweise zu dieser Zugriffskontrollmethode finden Sie unter SASL/SCRAM Authentifizierung für einen Amazon MSK-Cluster einrichten.

      • TLS-Client-Authentifizierung über AWS Certificate Manager (ACM): Ermöglicht die gegenseitige Authentifizierung zwischen Clients und Brokern mithilfe digitaler Zertifikate. Sie müssen ein AWS Private Certificate Authority (AWS Private CA) entweder in demselben oder einem anderen Cluster AWS-Konto wie Ihr Cluster konfigurieren.

        Wir empfehlen dringend, bei der Implementierung von AWS Private CA mTLS unabhängige s für jeden MSK-Cluster zu verwenden. Dadurch wird sichergestellt, dass TLS-Zertifikate, die von signiert wurden, PCAs nur bei einem einzigen MSK-Cluster authentifiziert werden, wodurch eine strenge Zugriffskontrolle gewährleistet wird.

  2. Wählen Sie unter Verschlüsselung die Art des KMS-Schlüssels aus, den Sie für die Verschlüsselung von Daten im Ruhezustand verwenden möchten. Weitere Informationen finden Sie unter Amazon MSK-Verschlüsselung im Ruhezustand.

    Die Verschlüsselung von Daten im Ruhezustand schützt die Integrität der gespeicherten Daten, während die Verschlüsselung während der Übertragung die Vertraulichkeit der Daten durch die Netzwerküberwachung während der Übertragung schützt.

  3. Wählen Sie Weiter aus, um fortzufahren.

In diesem Verfahren wird beschrieben, wie Sie Ihre Broker-Metriken einrichten und Broker-Logs sammeln und bereitstellen. Mit diesen Einstellungen können Sie den Zustand und die Leistung Ihres Clusters beobachten und analysieren und Probleme beheben. Weitere Informationen finden Sie unter Überwachen Sie einen von Amazon MSK bereitgestellten Cluster.

  1. Wählen Sie für CloudWatch Amazon-Metriken für diesen Cluster eine der folgenden Überwachungsebenen aus. Die auf jeder Überwachungsebene gesammelten Metriken werden CloudWatch zur Visualisierung und Warnung integriert.

    1. Grundlegende Überwachung: Bietet eine Reihe wichtiger Metriken auf Clusterebene ohne zusätzliche Kosten. Diese Stufe eignet sich für die meisten Anwendungsfälle mit allgemeinen Überwachungsanforderungen.

    2. Verbesserte Überwachung auf Brokerebene: Bietet detaillierte Broker-Metriken gegen Aufpreis. Diese Stufe umfasst grundlegende Überwachungs- und detailliertere Broker-Metriken, wie z. B. Tiered Storage-Metriken, Byte in/out anderer Broker und Gesamtbetriebszeit. read/write Bei dieser Stufe zahlen Sie für die Metriken, während die Basismetriken weiterhin kostenlos sind.

    3. Verbesserte Überwachung auf Themenebene: Stellt gegen Aufpreis Metriken für einzelne Themen bereit. Wählen Sie diese Stufe, um einen detaillierteren Überblick über die Leistung der einzelnen Makler zu erhalten. Diese Stufe umfasst eine erweiterte Überwachung auf Brokerebene und Metriken auf Themenebene, z. B. Tiered Storage-Metriken für ein bestimmtes Thema und die Anzahl der pro Sekunde empfangenen Nachrichten.

    4. Verbesserte Überwachung auf Partitionsebene: Bietet gegen Aufpreis die detaillierteste Ansicht der Metriken pro Partition. Wählen Sie diese Ebene, um eine möglichst detaillierte Überwachung zu erhalten, indem Sie die Metriken für jede Partition innerhalb jedes Themas für alle Broker erfassen. Diese Stufe umfasst eine erweiterte Überwachung auf Themenebene und detaillierte partitionsspezifische Metriken, wie z. B. Offset-Lag-Metriken.

    Weitere Informationen zu den Metriken, die für die Brokertypen Standard und Express auf jeder dieser Überwachungsebenen verfügbar sind, finden Sie unter und. CloudWatch Metriken für Standard-Broker CloudWatch Metriken für Express-Broker

  2. (Optional) Wenn Sie Metriken mit JMX Exporter, Node Exporter oder beiden im Prometheus-Format exportieren möchten, wählen Sie Enable open monitoring with Prometheus. Weitere Informationen zu dieser Option finden Sie unter Monitor mit Prometheus.

  3. (Optional) Wählen Sie eine oder mehrere der folgenden Optionen aus, um Ihren MSK-Cluster so zu konfigurieren, dass er Broker-Protokolle AWS-Services zur Fehlerbehebung und Prüfung an verschiedene weiterleitet. Amazon MSK erstellt diese Zielressourcen nicht für Sie, wenn sie nicht bereits vorhanden sind. Weitere Informationen finden Sie unter Broker-Protokolle.

    • An Amazon CloudWatch Logs liefern: Sendet Protokolle CloudWatch mit Clustering-, Such- und Visualisierungsfunktionen an. Sie können Protokolle abfragen und analysieren, ohne das AWS Management Console zu verlassen.

    • An Amazon S3 liefern: Speichert Protokolle als Dateien in Amazon S3 S3-Buckets zur Langzeitarchivierung und Batch-Analyse.

    • An Amazon Data Firehose liefern: Senden Sie Protokolle an Firehose, um sie automatisch an Amazon OpenSearch Service zur Fehlerbehebung in Echtzeit zu senden.

  4. (Optional) Um Ihren Cluster leichter zu identifizieren, zu organisieren oder nach ihm zu suchen, wählen Sie Neues Tag hinzufügen, um Tags als Schlüssel-Wert-Paare hinzuzufügen. Fügen Sie Ihrem Cluster beispielsweise ein Tag mit dem Schlüssel-Wert-Paar und hinzu. Load testing Test

    Weitere Informationen zur Verwendung von Tags in Ihren Clustern finden Sie unter. Kennzeichnen Sie einen Amazon MSK-Cluster

  5. Wählen Sie Weiter aus, um fortzufahren.

  1. Überprüfen Sie die Einstellungen für Ihren Cluster.

    Wählen Sie Bearbeiten oder Zurück, um die zuvor angegebenen Einstellungen zu ändern oder zum vorherigen Konsolenbildschirm zurückzukehren.

  2. Wählen Sie Cluster erstellen.

  3. Überprüfen Sie den Status dieses Clusters im Abschnitt Cluster-Zusammenfassung auf der Seite mit den Cluster-Details. Der Status ändert sich von Erstellen auf Aktiv, wenn Amazon MSK den Cluster bereitstellt. Wenn der Status Active lautet, können Sie die Verbindung mit dem Cluster herstellen. Weitere Informationen zu Cluster-Status finden Sie unter Verstehen Sie die Zustände der bereitgestellten MSK-Cluster.