Erste Schritte mit der Streaming-Aufnahme aus Apache Kafka-Quellen - Amazon Redshift
Streaming-Aufnahme von Kafka einrichten

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Erste Schritte mit der Streaming-Aufnahme aus Apache Kafka-Quellen

In diesem Thema wird beschrieben, wie Streaming-Daten aus Amazon MSK, Apache Kafka oder Confluent Cloud mithilfe einer materialisierten Ansicht genutzt werden.

Die Streaming-Erfassung von Amazon Redshift soll den Prozess der direkten Erfassung von Stream-Daten von einem Streaming-Dienst in Amazon Redshift oder Amazon Redshift Serverless vereinfachen. Dies funktioniert mit Amazon MSK Provisioned und Amazon MSK Serverless, mit Open-Source-Apache Kafka und mit Confluent Cloud. Die Amazon Redshift Redshift-Streaming-Aufnahme macht es überflüssig, ein Apache Kafka-Thema in Amazon S3 bereitzustellen, bevor die Stream-Daten in Redshift aufgenommen werden.

Auf technischer Ebene ermöglicht Streaming-Ingestion die Aufnahme von Stream- oder Themendaten mit geringer Latenz und hoher Geschwindigkeit in eine materialisierte Amazon Redshift Redshift-Ansicht. Nach der Einrichtung können Sie mithilfe einer Aktualisierung der materialisierten Ansicht große Datenmengen erfassen.

Sie müssen über eine Apache Kafka-Quelle verfügen, bevor Sie die Amazon Redshift Redshift-Streaming-Aufnahme konfigurieren können. Wenn Sie keine Quelle haben, erstellen Sie eine mit den folgenden Anweisungen:

Streaming-Aufnahme von Kafka einrichten

Gehen Sie wie folgt vor, um die Streaming-Aufnahme von Amazon MSK- oder Apache Kafka-Quellen, die nicht AWS verwaltet werden (Apache Kafka und Confluent Cloud), zu Amazon Redshift einzurichten.

Richten Sie die Authentifizierung ein

In diesem Abschnitt wird die Einrichtung der Authentifizierung beschrieben, damit Ihre Amazon Redshift Redshift-Anwendung auf eine Amazon MSK-Quelle zugreifen kann.

Nachdem Sie die Rolle Ihrer Anwendung erstellt haben, fügen Sie eine der folgenden Richtlinien hinzu, um den Zugriff auf Ihren Amazon MSK-, Apache Kafka- oder Confluent Cloud-Cluster zu ermöglichen. Für die mTLS-Authentifizierung können Sie die Zertifikate, die Amazon Redshift verwendet, in ACM oder Secrets Manager speichern. Sie müssen also die Richtlinie auswählen, die dem Speicherort des Zertifikats entspricht.

Die IAM-Zugriffskontrolle für Amazon Redshift ist für MSK-Cluster mit Kafka-Version 2.7.1 oder höher verfügbar.

AUTHENTIFIZIERUNG IAM (nur Amazon MSK):

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "MSKIAMpolicy",
            "Effect": "Allow",
            "Action": [
                "kafka-cluster:ReadData",
                "kafka-cluster:DescribeTopic",
                "kafka-cluster:Connect" 
            ],
            "Resource": [
                "arn:aws:kafka:*:0123456789:cluster/MyTestCluster/*",
                "arn:aws:kafka:*:0123456789:topic/MyTestCluster/*"
            ]
        },
        {
            "Effect": "Allow",
            "Action": [
                "kafka-cluster:AlterGroup",
                "kafka-cluster:DescribeGroup"
            ],
            "Resource": [
                "arn:aws:kafka:*:0123456789:group/MyTestCluster/*"
            ]
        }
    ]
}

AUTHENTIFIZIERUNG MTLS: Verwendung eines Zertifikats, das gespeichert ist in AWS Certificate Manager

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "MSKmTLSACMpolicy",
            "Effect": "Allow",
            "Action": [
                "acm:ExportCertificate" 
            ],
            "Resource": [
                "arn:aws:acm:us-east-1:444455556666:certificate/certificate_ID"
            ]
        }
    ]
}

AUTHENTIFIZIERUNG MTLS: Verwendung eines Zertifikats, das gespeichert ist in AWS Secrets Manager

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "MSKmTLSSecretsManagerpolicy",
            "Effect": "Allow",
            "Action": [
                "secretsmanager:GetSecretValue" 
            ],
            "Resource": [
                "arn:aws:secretsmanager:us-east-1:444455556666:secret:secret_ID"
            ]
        }
    ]
}
Amazon MSK

Wenn Sie AUTHENTICATION NONE verwenden, um eine Verbindung zu einer Amazon MSK-Quelle herzustellen, ist keine IAM-Rolle erforderlich. Wenn Sie jedoch AUTHENTICATION IAM oder MTLS verwenden, um sich bei Ihrem Amazon MSK-Cluster zu authentifizieren, muss Ihrem Amazon Redshift-Cluster oder Amazon Redshift Serverless Namespace eine angefügte IAM-Rolle mit entsprechenden Berechtigungen zugewiesen sein. Erstellen Sie eine IAM-Rolle mit einer Vertrauensrichtlinie, die es Ihrem Amazon Redshift-Cluster oder Ihrem Amazon Redshift Serverless Namespace ermöglicht, die Rolle zu übernehmen. Nachdem Sie die Rolle erstellt haben, fügen Sie eine der folgenden Berechtigungen hinzu, um IAM oder MTLS zu unterstützen. Für die mTLS-Authentifizierung können die von Amazon Redshift verwendeten Zertifikate in AWS Certificate Manager oder gespeichert werden. Sie müssen also die Richtlinie auswählen AWS Secrets Manager, die dem Speicherort des Zertifikats entspricht. Ordnen Sie die Rolle Ihrem von Amazon Redshift bereitgestellten Cluster oder Redshift Serverless-Namespace zu. Informationen zur Konfiguration der Vertrauensrichtlinie für die IAM-Rolle finden Sie unter Autorisieren von Amazon Redshift für den Zugriff auf andere AWS Dienste in Ihrem Namen.

Die folgende Tabelle enthält kostenlose Konfigurationsoptionen, die für die Streaming-Erfassung von Amazon MSK festgelegt werden können:

Amazon-Redshift-Konfiguration Amazon-MSK-Konfiguration Port zum Öffnen zwischen Redshift und Amazon MSK
AUTHENTICATION NONE TLS-Transport deaktiviert 9092
AUTHENTICATION NONE TLS-Transport aktiviert 9094
AUTHENTICATION IAM IAM 9098/9198
AUTHENTIFIZIERUNG MTLS TLS-Transport aktiviert 9094

Die Amazon-Redshift-Authentifizierung wird in der Anweisung CREATE EXTERNAL SCHEMA festgelegt.

Anmerkung

Im Fall, dass der Amazon-MSK-Cluster über aktivierte Mutual Transport Layer Security (mTLS)-Authentifizierung verfügt, wird Amazon Redshift durch die Konfiguration von AUTHENTICATION NONE angewiesen, Port 9094 für nicht authentifizierten Zugriff zu verwenden. Da der Port jedoch für die mTLS-Authentifizierung verwendet wird, schlägt dies fehl. Aus diesem Grund empfehlen wir, bei der Verwendung von mTLS auf AUTHENTIFIZIERUNGS-MTLS umzusteigen.

Apache Kafka or Confluent Cloud

Für Apache Kafka und Confluent Cloud unterstützt Amazon Redshift die folgenden Verbindungsprotokolle:

  • Sie können mTLS oder Klartext mit TLS-Transport für die Authentifizierung verwenden, wenn Sie eine Verbindung zu Apache Kafka herstellen.

  • Sie können mTLS nur für die Authentifizierung verwenden, wenn Sie eine Verbindung zu Confluent Cloud herstellen.

Amazon Redshift unterstützt die folgenden Verschlüsselungsprotokolle für die Verbindung mit Apache Kafka oder Confluent Cloud:

Unterstützte Authentifizierungsmethoden für Apache Kafka und Confluent Cloud

Amazon Redshift Kafka-Sicherheitsprotokoll Unterstützung für Apache Kafka Confluent Cloud-Unterstützung
AUTHENTICATION NONE KLARTEXT Nein Nein
AUTHENTICATION NONE SSL Ja Nein
AUTHENTICATION IAM SASL_SSL Nein Nein
AUTHENTIFIZIERUNG MTLS SSL Ja (mit Zertifikat) Ja (mit Zertifikat)

Beachten Sie, dass Amazon Redshift SASL/PLAINTEXT nicht unterstützt SASL/SCRAM .

Einrichtung Ihrer VPC

Nachdem Sie Ihre Authentifizierungsressourcen erstellt haben, überprüfen Sie Ihre VPC und stellen Sie sicher, dass Ihr Amazon Redshift-Cluster oder Ihre Amazon Redshift Serverless-Arbeitsgruppe über eine Route verfügt, um zu Ihrer Apache Kafka-Quelle zu gelangen.

Anmerkung

Für Amazon MSK sollten die Regeln für eingehende Sicherheitsgruppen für Ihren Amazon MSK-Cluster die Sicherheitsgruppe Ihres Amazon Redshift Redshift-Clusters oder Ihrer Redshift Serverless-Arbeitsgruppe zulassen. Die von Ihnen angegebenen Ports hängen von den Authentifizierungsmethoden ab, die auf Ihrem Amazon MSK-Cluster konfiguriert sind. Weitere Informationen finden Sie unter Portinformationen und Zugriff von innerhalb und AWS außerhalb der VPC.

Als Nächstes aktivieren Sie erweitertes VPC-Routing auf Ihrem Amazon Redshift-Cluster oder Ihrer Amazon Redshift Serverless-Arbeitsgruppe. Weitere Informationen finden Sie unter Aktivieren von Enhanced VPC Routing.

Erstellen Sie eine materialisierte Ansicht

In diesem Abschnitt richten Sie die materialisierte Ansicht ein, die Amazon Redshift für den Zugriff auf Ihre Apache Kafka-Streaming-Daten verwendet.

Angenommen, Sie haben einen Apache Kafka-Cluster verfügbar, besteht der erste Schritt darin, ein Schema in Redshift zu definieren CREATE EXTERNAL SCHEMA und auf den Cluster als Datenquelle zu verweisen. Um auf Daten in dem Thema zuzugreifen, definieren Sie anschließend den STREAM in einer materialisierten Ansicht. Sie können Datensätze aus Ihrem Thema mit dem standardmäßigen Amazon Redshift Redshift-VARBYTE-Datentyp speichern oder ein Schema definieren, das die Daten in das halbstrukturierte Format konvertiert. SUPER Wenn Sie die materialisierte Ansicht abfragen, sind die zurückgegebenen Datensätze eine Ansicht des Themas. point-in-time

  1. Erstellen Sie in Amazon Redshift ein externes Schema, das dem Apacke Kafka-Cluster zugeordnet werden soll. Die Syntax ist die folgende:

    CREATE EXTERNAL SCHEMA MySchema
FROM KAFKA
[ IAM_ROLE [ default | 'iam-role-arn' ] ]
AUTHENTICATION [ none | iam | mtls ]
{AUTHENTICATION_ARN 'acm-certificate-arn' |  SECRET_ARN 'asm-secret-arn'};

    KAFKABedeutet in der FROM Klausel, dass das Schema Daten aus einer Apache Kafka-Quelle zuordnet.

    AUTHENTICATIONbezeichnet den Authentifizierungstyp für die Streaming-Aufnahme. Es sind drei Typen verfügbar:

    • none — Gibt an, dass keine Authentifizierung erforderlich ist. Dies entspricht einem nicht authentifizierten Zugriff auf MSK. Dies entspricht der SSL-Authentifizierung in Apache Kafka. Diese Authentifizierungsmethode wird für Confluent Cloud nicht unterstützt.

    • iam: Gibt an, dass eine IAM-Authentifizierung erfolgt. Sie können die IAM-Authentifizierung nur mit Amazon MSK verwenden. Stellen Sie bei Auswahl dieser Option sicher, dass die IAM-Rolle über Berechtigungen für die IAM-Authentifizierung verfügt. Weitere Informationen zur Einrichtung der erforderlichen IAM-Richtlinien finden Sie unter. Streaming-Aufnahme von Kafka einrichten

    • mtls — Gibt an, dass Mutual Transport Layer Security eine sichere Kommunikation ermöglicht, indem die Authentifizierung zwischen einem Client und einem Server erleichtert wird. In diesem Fall ist der Client Redshift und der Server ist Apache Kafka. Weitere Informationen zur Konfiguration der Streaming-Aufnahme mit mTLS finden Sie unter. Authentifizierung mit mTLS für Redshift-Streaming-Ingestion aus Apache Kafka-Quellen

    Beachten Sie, dass die Amazon MSK-Authentifizierung mit einem Benutzernamen und einem Passwort für die Streaming-Aufnahme nicht unterstützt wird.

    Der AUTHENTICATION_ARN Parameter gibt den ARN des ACM-Zertifikats für Mutual Transport Layer Security (mTLS) an, mit dem Sie eine verschlüsselte Verbindung herstellen.

    Der SECRET_ARN Parameter gibt den ARN des AWS Secrets Manager Geheimnisses an, das das Zertifikat enthält, das von Amazon Redshift für mTLS verwendet werden soll.

    Die folgenden Beispiele zeigen, wie Sie den Broker-URI für den Amazon MSK-Cluster festlegen, wenn Sie das externe Schema erstellen:

    Verwenden der IAM-Authentifizierung:

    CREATE EXTERNAL SCHEMA my_schema
FROM KAFKA
IAM_ROLE 'arn:aws:iam::012345678901:role/my_role'
AUTHENTICATION IAM
URI 'b-1.myTestCluster.123z8u.c2.kafka.us-west-1.amazonaws.com:9098,b-2.myTestCluster.123z8u.c2.kafka.us-west-1.amazonaws.com:9098'

    Ohne Authentifizierung:

    CREATE EXTERNAL SCHEMA my_schema
FROM KAFKA 
AUTHENTICATION none
URI 'b-1.myTestCluster.123z8u.c2.kafka.us-west-1.amazonaws.com:9092,b-2.myTestCluster.123z8u.c2.kafka.us-west-1.amazonaws.com:9092'

    Verwendung von mTLS:

    CREATE EXTERNAL SCHEMA my_schema
FROM KAFKA
IAM_ROLE 'arn:aws:iam::012345678901:role/my_role'
AUTHENTICATION MTLS
URI 'b-1.myTestCluster.123z8u.c2.kafka.us-west-1.amazonaws.com:9094,b- 2.myTestCluster.123z8u.c2.kafka.us-west-1.amazonaws.com:9094'
{AUTHENTICATION_ARN 'acm-certificate-arn' |  SECRET_ARN 'asm-secret-arn'}

    Weitere Informationen zum Erstellen eines externen Schemas finden Sie unter CREATE EXTERNAL SCHEMA.

  2. Erstellen Sie eine materialisierte Ansicht, um die Daten aus dem Thema zu konsumieren. Verwenden Sie einen SQL-Befehl wie das folgende Beispiel.

    CREATE MATERIALIZED VIEW MyView AUTO REFRESH YES AS
SELECT *
FROM MySchema."mytopic";

    Bei den Namen von Kafka-Themen wird die Groß- und Kleinschreibung beachtet. Die Namen können sowohl Groß- als auch Kleinbuchstaben enthalten. Um Themen mit Namen in Großbuchstaben aufzunehmen, können Sie die Konfiguration true auf Sitzungs- oder Datenbankebene enable_case_sensitive_identifier auf einstellen. Weitere Informationen finden Sie unter Namen und Kennungen und enable_case_sensitive_identifier.

    Um die automatische Aktualisierung zu aktivieren, verwenden Sie AUTO REFRESH YES. Standardmäßig wird die manuelle Aktualisierung verwendet.

  3. Die Metadatenspalten umfassen folgende Spalten:

    Metadatenspalte Datentyp Beschreibung
    kafka_partition bigint Partitions-ID des Datensatzes aus dem Kafka-Thema
    kafka_offset bigint Offset des Datensatzes im Kafka-Thema für eine bestimmte Partition
    kafka_timestamp_type char(1)

    Art des im Kafka-Datensatz verwendeten Zeitstempels:

    • C – Erstellungszeit des Datensatzes (CREATE_TIME) auf der Client-Seite

    • L – Anfügezeit des Datensatzes (LOG_APPEND_TIME) auf der Kafka-Serverseite

    • U – Die Erstellungszeit des Datensatzes ist nicht verfügbar (NO_TIMESTAMP_TYPE)
    kafka_timestamp Timestamp ohne Zeitzone Der timestamp-Wert für den Datensatz
    kafka_key varbyte Der Schlüssel des Kafka-Datensatzes
    kafka_value varbyte Der von Kafka erhaltene Datensatz
    kafka_headers super Der Header des von Kafka erhaltenen Datensatzes
    refresh_time Timestamp ohne Zeitzone Der Zeitpunkt, zu dem die Aktualisierung gestartet wurde

    Es ist wichtig zu beachten, dass, wenn Ihre Materialized View-Definition Geschäftslogik enthält, die zu Geschäftslogikfehlern führt, dies in einigen Fällen zu Aufnahmefehlern bei der Streaming-Aufnahme führen kann. Dies kann dazu führen, dass Sie die materialisierte Ansicht löschen und neu erstellen müssen. Um dies zu vermeiden, empfehlen wir Ihnen, Ihre Geschäftslogik einfach zu halten und zusätzliche Logik auf die Daten anzuwenden, nachdem Sie sie aufgenommen haben.

  4. Aktualisieren Sie die Ansicht. Dadurch wird Amazon Redshift aufgerufen, um Daten aus dem Thema zu lesen und Daten in die materialisierte Ansicht zu laden.

    REFRESH MATERIALIZED VIEW MyView;

  5. Fragen Sie Daten in der materialisierten Ansicht ab.

    select * from MyView;

    Die materialisierte Ansicht wird direkt vom Thema aus aktualisiert, wenn REFRESH ausgeführt wird. Sie erstellen eine materialisierte Ansicht, die der Kafka-Themendatenquelle zugeordnet ist. Sie können für die Daten als Teil der Definition der materialisierten Ansicht Filter anwenden und Aggregationen durchführen. Ihre materialisierte Ansicht der Streaming-Erfassung (die materialisierte Basisansicht) kann nur auf ein Kafka-Thema verweisen, Sie können jedoch zusätzliche materialisierte Ansichten erstellen, die mit der materialisierten Basisansicht und anderen materialisierten Ansichten oder Tabellen verknüpft werden.

Weitere Informationen zu Einschränkungen bei der Streaming-Erfassung finden Sie unter Verhalten und Datentypen bei der Streaming-Aufnahme.