Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Verwenden Sie eine Ingestion-Pipeline mit OpenSearch Amazon Managed Streaming for Apache Kafka

Sie können das Kafka-Plugin verwenden, um Daten aus Amazon Managed Streaming for Apache Kafka (Amazon MSK) in Ihre Ingestion-Pipeline aufzunehmen. OpenSearch Mit Amazon MSK können Sie Anwendungen erstellen und ausführen, die Apache Kafka zur Verarbeitung von Streaming-Daten verwenden. OpenSearch Ingestion verwendet, um eine Verbindung AWS PrivateLink zu Amazon MSK herzustellen. Sie können Daten sowohl aus Amazon MSK- als auch aus Amazon MSK Serverless-Clustern aufnehmen. Der einzige Unterschied zwischen den beiden Prozessen besteht in den erforderlichen Schritten, die Sie ergreifen müssen, bevor Sie Ihre Pipeline einrichten.

Bereitgestellte Amazon MSK-Voraussetzungen

Bevor Sie Ihre OpenSearch Ingestion-Pipeline erstellen, führen Sie die folgenden Schritte aus:

Voraussetzungen für Amazon MSK Serverless

Bevor Sie Ihre OpenSearch Ingestion-Pipeline erstellen, führen Sie die folgenden Schritte aus:

Schritt 1: Konfigurieren Sie eine Pipeline-Rolle

Nachdem Sie Ihren von Amazon MSK bereitgestellten oder serverlosen Cluster eingerichtet haben, fügen Sie der Pipeline-Rolle, die Sie in Ihrer Pipeline-Konfiguration verwenden möchten, die folgenden Kafka-Berechtigungen hinzu:

JSON

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "kafka-cluster:Connect",
                "kafka-cluster:AlterCluster",
                "kafka-cluster:DescribeCluster",
                "kafka:DescribeClusterV2",
                "kafka:GetBootstrapBrokers"
            ],
            "Resource": [
                "arn:aws:kafka:region:account-id:cluster/cluster-name/cluster-id"
            ]
        },
        {
            "Effect": "Allow",
            "Action": [
                "kafka-cluster:*Topic*",
                "kafka-cluster:ReadData"
            ],
            "Resource": [
                "arn:aws:kafka:region:account-id:topic/cluster-name/cluster-id/topic-name"
            ]
        },
        {
            "Effect": "Allow",
            "Action": [
                "kafka-cluster:AlterGroup",
                "kafka-cluster:DescribeGroup"
            ],
            "Resource": [
                "arn:aws:kafka:region:account-id:group/cluster-name/*"
            ]
        }
    ]
}

Schritt 2: Erstellen Sie die Pipeline

Anschließend können Sie eine OpenSearch Ingestion-Pipeline wie die folgende konfigurieren, die Kafka als Quelle angibt:

version: "2"
log-pipeline:
  source:
    kafka:
      acknowledgements: true 
      topics:
      - name: "topic-name"  
        group_id: "grouplambd-id"
      aws:
        msk:
          arn: "arn:aws:kafka:region:account-id:cluster/cluster-name/cluster-id"
        region: "us-west-2"
  processor:
  - grok:
      match:
        message:
        - "%{COMMONAPACHELOG}"
  - date:
      destination: "@timestamp"
      from_time_received: true
  sink:
  - opensearch:
      hosts: ["https://search-domain-endpoint.us-east-1es.amazonaws.com"]
      index: "index_name"
      aws_region: "region"
      aws_sigv4: true

Sie können einen vorkonfigurierten Amazon MSK-Blueprint verwenden, um diese Pipeline zu erstellen. Weitere Informationen finden Sie unter Mit Blueprints arbeiten.

Schritt 3: (Optional) Verwenden Sie die Schemaregistrierung AWS Glue

Wenn Sie OpenSearch Ingestion mit Amazon MSK verwenden, können Sie das AVRO-Datenformat für Schemas verwenden, die in der Schema Registry gehostet werden. AWS Glue Mit der AWS Glue Schema Registry können Sie Datenstromschemas zentral erkennen, steuern und weiterentwickeln.

Um diese Option zu verwenden, aktivieren Sie das Schema type in Ihrer Pipeline-Konfiguration:

schema:
  type: "aws_glue"

Sie müssen in Ihrer Pipeline-Rolle auch Lesezugriffsberechtigungen bereitstellen AWS Glue . Sie können die AWS verwaltete Richtlinie namens verwenden AWSGlueSchemaRegistryReadonlyAccess. Darüber hinaus muss sich Ihre Registrierung in derselben AWS-Konto Region wie Ihre OpenSearch Ingestion-Pipeline befinden.

Schritt 4: (Optional) Empfohlene Recheneinheiten (OCUs) für die Amazon MSK-Pipeline konfigurieren

Jede Recheneinheit hat einen Nutzer pro Thema. Makler gleichen die Partitionen zwischen diesen Verbrauchern für ein bestimmtes Thema aus. Wenn jedoch die Anzahl der Partitionen die Anzahl der Verbraucher übersteigt, hostet Amazon MSK mehrere Partitionen auf jedem Verbraucher. OpenSearch Ingestion verfügt über eine integrierte auto Skalierung, mit der je nach CPU-Auslastung oder Anzahl ausstehender Datensätze in der Pipeline nach oben oder unten skaliert werden kann.

Um eine optimale Leistung zu erzielen, verteilen Sie Ihre Partitionen zur Parallelverarbeitung auf viele Recheneinheiten. Wenn Themen eine große Anzahl von Partitionen haben (z. B. mehr als 96, was das Maximum OCUs pro Pipeline ist), empfehlen wir, eine Pipeline mit 1—96 OCUs zu konfigurieren. Das liegt daran, dass sie bei Bedarf automatisch skaliert wird. Wenn ein Thema eine geringe Anzahl von Partitionen hat (z. B. weniger als 96), sollten Sie die maximale Recheneinheit der Anzahl der Partitionen anpassen.

Wenn eine Pipeline mehr als ein Thema enthält, wählen Sie das Thema mit der höchsten Anzahl von Partitionen als Referenz für die Konfiguration der maximalen Recheneinheiten aus. Indem Sie eine weitere Pipeline mit einem neuen Satz von OCUs zu demselben Thema und derselben Benutzergruppe hinzufügen, können Sie den Durchsatz nahezu linear skalieren.