Erstellen einer S3-Ereignisintegration, um Dateien automatisch aus Amazon-S3-Buckets zu kopieren

Der Amazon-S3-Bucket muss über eine Bucket-Richtlinie verfügen, die mehrere Amazon-S3-Berechtigungen zulässt. Die folgende Beispielrichtlinie lässt beispielsweise Berechtigungen für den Ressourcen-Bucket amzn-s3-demo-bucket zu, der in us-east-1 gehostet wird. Sowohl der Amazon-S3-Bucket als auch die Integration befinden sich in der derselben AWS-Region.

Der von Amazon Redshift bereitgestellte Zielcluster oder der Redshift-Serverless-Namespace muss über Berechtigungen für den Bucket verfügen. Überprüfen Sie, ob eine IAM-Rolle, die Ihrem Cluster oder Serverless Namespace zugeordnet ist, über eine IAM-Richtlinie verfügt, die die richtigen Berechtigungen zulässt. Die Richtlinie muss sowohl s3:GetObject für eine Bucket-Ressource wie amzn-s3-demo-bucket als auch s3:ListBucket für eine Bucket-Ressource und ihren Inhalt zulassen, z. B. amzn-s3-demo-bucket/*.

Fügen Sie Ihre Richtlinie wie folgt zu einer IAM-Rolle hinzu, für die eine Vertrauensbeziehung besteht.

Wenn Ihr Ziel-Data-Warehouse ein bereitgestellter Cluster ist, können Sie Ihrem bereitgestellten Cluster über die Amazon-Redshift-Konsole auf der Registerkarte Cluster-Berechtigungen in den Cluster-Details eine IAM-Rolle zuordnen. Informationen dazu, wie Sie Ihrem bereitgestellten Cluster eine Rolle zuordnen, finden Sie unter Zuordnen von IAM-Rollen zu Clustern im Managementleitfaden zu Amazon Redshift.

Wenn Ihr Ziel-Data-Warehouse Redshift Serverless ist, können Sie Ihrem Serverless-Namespace über die Redshift-Serverless-Konsole auf der Registerkarte Sicherheit und Verschlüsselung in den Namespace-Details eine IAM-Rolle zuordnen. Informationen dazu, wie Sie Ihrem Serverless-Namespace eine Rolle zuordnen, finden Sie unter Gewähren von Berechtigungen für Amazon Redshift Serverless im Managementleitfaden zu Amazon Redshift.

Ihr Data Warehouse in Amazon Redshift muss auch über eine Ressourcenrichtlinie verfügen, die den Amazon-S3-Bucket zulässt. Wenn Sie die Amazon-Redshift-Konsole verwenden und die S3-Ereignisintegration erstellen, bietet Amazon Redshift die Option Reparieren, um diese Richtlinie zu Ihrem Data Warehouse in Amazon Redshift hinzuzufügen. Zum Aktualisieren einer Ressourcenrichtlinie können Sie den AWS CLI-Befehl put-resource-policy verwenden. Um beispielsweise eine Ressourcenrichtlinie an Ihren von Amazon Redshift bereitgestellten Cluster für eine S3-Ereignisintegration mit einem Amazon-S3-Bucket anzufügen, führen Sie einen AWS CLI-Befehl ähnlich dem folgenden aus. Das folgende Beispiel zeigt eine Richtlinie für einen bereitgestellten Cluster-Namespace in der AWS-Region us-east-1 für das Benutzerkonto 123456789012. Der Name des Buckets ist amzn-s3-demo-bucket.

aws redshift put-resource-policy \
--policy file://rs-rp.json \
--resource-arn "arn:aws:redshift: us-east-1:123456789012:namespace/cc4ffe56-ad2c-4fd1-a5a2-f29124a56433"

Wobei rs-rp.json Folgendes enthält:

Um Ihrem Redshift-Serverless-Namespace eine Ressourcenrichtlinie für eine S3-Ereignisintegration mit einem Amazon-S3-Bucket anzufügen, führen Sie einen AWS CLI-Befehl ähnlich dem folgenden aus. Das folgende Beispiel zeigt eine Richtlinie für einen Serverless-Namespace in der AWS-Region us-east-1 für das Benutzerkonto 123456789012. Der Name des Buckets ist amzn-s3-demo-bucket.

aws redshift put-resource-policy \
--policy file://rs-rp.json \
--resource-arn "arn:aws:redshift-serverless:us-east-1:123456789012:namespace/namespace-1"

Wobei rs-rp.json Folgendes enthält:

SYS_COPY_JOB – enthält eine Zeile für jeden derzeit definierten COPY JOB.

SYS_COPY_JOB_DETAIL – enthält Details zu ausstehenden, fehlerhaften und erfassten Dateien für jeden COPY JOB.

SYS_COPY_JOB_INFO – enthält protokollierte Meldungen zu einem COPY JOB.

SYS_LOAD_HISTORY – enthält Details zu COPY-Befehlen.

SYS_LOAD_ERROR_DETAIL – enthält Details zu Fehlern bei COPY-Befehlen.

SVV_COPY_JOB_INTEGRATIONS – enthält Details zu S3-Ereignisintegrationen.

STL_LOAD_ERRORS – enthält Fehler von COPY-Befehlen.

STL_LOAD_COMMITS – enthält Informationen, die zur Behebung von Fehlern beim Laden von COPY-Befehlsdaten verwendet werden.

Sie können maximal 200 COPY JOBS für jeden Cluster oder jede Arbeitsgruppe in einem AWS-Konto erstellen.

Sie können maximal 50 S3-Ereignisintegrationen für jedes Amazon-Redshift-Ziel erstellen.

Sie können keine S3-Ereignisintegration mit einem Quell-Bucket in Amazon S3 erstellen, der im Namen einen Punkt (.) enthält.

Sie können jeweils nur eine S3-Ereignisintegration zwischen derselben Quelle und demselben Ziel erstellen. Das bedeutet, dass es jeweils nur eine S3-Ereignisintegration zwischen einem Amazon-S3-Bucket und einem Data Warehouse in Amazon Redshift geben kann.

Es darf keine vorhandenen Ereignisbenachrichtigungen für den Ereignistyp S3_OBJECT_CREATED geben, die im Quell-Bucket in Amazon S3 definiert sind. Nach der Erstellung einer S3-Ereignisintegration können Sie die Ereignisbenachrichtigung für den Amazon-S3-Bucket mit einem Präfix/Suffix mit einem engeren Gültigkeitsbereich aktualisieren. Auf diese Weise können Sie S3_OBJECT_CREATED auch mit einem anderen Präfix/Suffix für andere Ziele konfigurieren und so einen Konflikt mit der S3-Ereignisintegration vermeiden. Wenn auto-copy nicht wie erwartet ausgeführt wurde, erstellen Sie das AWS CloudTrail-Protokoll der Aktion s3:PutBucketNotificationConfiguration im S3-Bucket für den fraglichen Zeitraum, wenn Sie sich an den AWS -Support wenden.