Erste Schritte mit der Streaming-Erfassung aus Amazon Kinesis Data Streams

Erstellen Sie eine IAM-Rolle mit einer Vertrauensrichtlinie, die es Ihrem Amazon Redshift-Cluster oder Ihrer Amazon-Redshift-Serverless-Arbeitsgruppe ermöglicht, die Rolle anzunehmen. Informationen zur Konfiguration der Vertrauensrichtlinie für die IAM-Rolle finden Sie unter Autorisieren von Amazon Redshift für den Zugriff auf andere AWS Dienste in Ihrem Namen. Nach der Erstellung sollte die Rolle über die folgende IAM-Richtlinie verfügen, die sie zur Kommunikation mit dem Amazon Kinesis-Datenstrom berechtigt.

IAM-Richtlinie für einen nicht verschlüsselten Stream von Kinesis-Daten-Streams

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "ReadStream",
            "Effect": "Allow",
            "Action": [
                "kinesis:DescribeStreamSummary",
                "kinesis:GetShardIterator",
                "kinesis:GetRecords",
                "kinesis:ListShards",
                "kinesis:DescribeStream"
            ],
            "Resource": "arn:aws:kinesis:*:0123456789:stream/*"
        },
        {
            "Sid": "ListStream",
            "Effect": "Allow",
            "Action": "kinesis:ListStreams",
            "Resource": "*"
        }
    ]
}

IAM-Richtlinie für einen verschlüsselten Stream von Kinesis-Daten-Streams

{
	"Version": "2012-10-17",
	"Statement": [{
			"Sid": "ReadStream",
			"Effect": "Allow",
			"Action": [
				"kinesis:DescribeStreamSummary",
				"kinesis:GetShardIterator",
				"kinesis:GetRecords",
				"kinesis:ListShards",
				"kinesis:DescribeStream"
			],
			"Resource": "arn:aws:kinesis:*:0123456789:stream/*"
		},
		{
			"Sid": "DecryptStream",
			"Effect": "Allow",
			"Action": [
				"kms:Decrypt"
			],
			"Resource": "arn:aws:kms:us-east-1:0123456789:key/1234abcd-12ab-34cd-56ef-1234567890ab"
		}, 
        {
			"Sid": "ListStream",
			"Effect": "Allow",
			"Action": "kinesis:ListStreams",
			"Resource": "*"
		}
	]
}

Überprüfen Sie Ihre VPC und stellen Sie sicher, dass Ihr Amazon-Redshift-Cluster oder Amazon Redshift Serverless über eine Route verfügt, um über das Internet unter Verwendung eines NAT-Gateways oder Internet-Gateways zu den Kinesis-Data-Streams-Endpunkten zu gelangen. Wenn Sie möchten, dass der Datenverkehr zwischen Redshift und Kinesis Data Streams im AWS Netzwerk verbleibt, sollten Sie die Verwendung eines Kinesis Interface VPC-Endpoints in Betracht ziehen. Weitere Informationen finden Sie unter Verwenden von Amazon Kinesis Data Streams mit Schnittstellen-VPC-Endpunkten.

Erstellen Sie in Amazon Redshift ein externes Schema, um die Daten aus Kinesis einem Schema zuzuordnen.

CREATE EXTERNAL SCHEMA kds
FROM KINESIS
IAM_ROLE { default | 'iam-role-arn' };

Die Streaming-Erfassung für Kinesis Data Streams erfordert keinen Authentifizierungstyp. Für Kinesis-Data-Streams-Anforderungen wird die in der Anweisung CREATE EXTERNAL SCHEMA definierte IAM-Rolle verwendet.

Optional: Verwenden Sie das Schlüsselwort REGION, um die Region anzugeben, in der sich der Amazon Kinesis Data Streams oder der Amazon MSK-Stream befindet.

CREATE EXTERNAL SCHEMA kds
FROM KINESIS
REGION 'us-west-2'
IAM_ROLE { default | 'iam-role-arn' };

In diesem Beispiel gibt die Region den Speicherort des Quellstreams an. IAM_ROLE ist ein Beispiel.

Erstellen Sie eine materialisierte Ansicht, um die Stream-Daten zu konsumieren. Wenn bei einer Anweisung wie der folgenden ein Datensatz nicht analysiert werden kann, führt dies zu einem Fehler. Verwenden Sie einen Befehl wie diesen, wenn Sie nicht möchten, dass Fehlerdatensätze übersprungen werden.

CREATE MATERIALIZED VIEW my_view AUTO REFRESH YES AS
SELECT *
FROM kds.my_stream_name;

Bei den Namen von Kinesis-Streams wird die Groß- und Kleinschreibung beachtet. Die Namen können sowohl Groß- als auch Kleinbuchstaben enthalten. Um Daten aus Streams mit Namen in Großbuchstaben aufzunehmen, können Sie die Konfiguration enable_case_sensitive_identifier true auf Datenbankebene so einstellen. Weitere Informationen finden Sie unter Namen und Kennungen und enable_case_sensitive_identifier.

Um die automatische Aktualisierung zu aktivieren, verwenden Sie AUTO REFRESH YES. Standardmäßig wird die manuelle Aktualisierung verwendet. Beachten Sie, dass bei der Verwendung von CAN_JSON_PARSE Datensätze, die nicht analysiert werden können, möglicherweise übersprungen werden.

Die Metadatenspalten umfassen folgende Spalten:

Wenn Ihre Materialized View Definition Geschäftslogik enthält, sollten Sie unbedingt beachten, dass Fehler in der Geschäftslogik in einigen Fällen dazu führen können, dass die Streaming-Aufnahme blockiert wird. Dies kann dazu führen, dass Sie die materialisierte Ansicht löschen und neu erstellen müssen. Um dies zu vermeiden, empfehlen wir Ihnen, Ihre Logik so einfach wie möglich zu halten und die meisten Ihrer Geschäftslogikprüfungen an den Daten durchzuführen, nachdem sie aufgenommen wurden.

Aktualisieren Sie die Ansicht. Dadurch wird Redshift aufgerufen, um Daten aus dem Stream zu lesen und Daten in die materialisierte Ansicht zu laden.

REFRESH MATERIALIZED VIEW my_view;

Fragen Sie Daten in der materialisierten Ansicht ab.

select * from my_view;