Créer une intégration d’événements S3 pour copier automatiquement des fichiers à partir de compartiments Amazon S3

Votre compartiment Amazon S3 doit avoir une stratégie de compartiment qui accorde plusieurs autorisations Amazon S3. Par exemple, l’exemple de stratégie suivant autorise des autorisations pour le compartiment de ressources amzn-s3-demo-bucket hébergé dans us-east-1. Le compartiment Amazon S3 et l’intégration se trouvent dans la même Région AWS.

Votre cluster alloué Amazon Redshift cible ou votre espace de noms Redshift sans serveur cible doit avoir l’autorisation d’accéder au compartiment. Vérifiez qu’un rôle IAM associé à votre cluster ou à votre espace de noms sans serveur dispose d’une politique IAM qui accorde les autorisations appropriées. La politique doit autoriser s3:GetObject à la fois pour une ressource de compartiment telle que amzn-s3-demo-bucket et s3:ListBucket une ressource de compartiment et son contenu tel que amzn-s3-demo-bucket/*.

Ajoutez votre politique à un rôle IAM doté d’une relation de confiance pour le rôle comme suit.

Si votre entrepôt de données cible est un cluster alloué, vous pouvez associer un rôle IAM à votre cluster alloué à l’aide de la console Amazon Redshift, onglet Autorisations de cluster dans les détails de votre cluster. Pour plus d’informations sur la façon d’associer un rôle à votre cluster alloué, consultez la section Associer des rôles IAM à des clusters dans le Guide de gestion Amazon Redshift.

Si votre entrepôt de données cible est Redshift sans serveur, vous pouvez associer un rôle IAM à votre espace de noms sans serveur à l’aide de la console Redshift sans serveur, onglet Sécurité et chiffrement dans les détails de votre espace de noms. Pour plus d’informations sur la façon d’associer un rôle à votre espace de noms sans serveur, consultez Octroi d’autorisations à Amazon Redshift sans serveur dans le Guide de gestion Amazon Redshift.

Votre entrepôt de données Amazon Redshift doit également disposer d’une politique de ressources autorisant le compartiment Amazon S3. Si vous utilisez la console Amazon Redshift, lorsque vous créez l’intégration d’événements s3, Amazon Redshift propose Effectuez les corrections pour moi permettant d’ajouter cette politique à votre entrepôt de données Amazon Redshift. Pour mettre à jour une politique de ressources vous-même, vous pouvez utiliser la commande AWS CLI put-resource-policy. Par exemple, pour associer une politique de ressources à votre cluster alloué Amazon Redshift afin d’intégrer un événement S3 à un compartiment Amazon S3, exécutez une commande AWS CLI similaire à la suivante. L’exemple suivant montre une politique pour un espace de noms de cluster alloué dans le répertoire us-east-1 pour le compte utilisateur 123456789012. Le compartiment est nommé amzn-s3-demo-bucket.

aws redshift put-resource-policy \
--policy file://rs-rp.json \
--resource-arn "arn:aws:redshift: us-east-1:123456789012:namespace/cc4ffe56-ad2c-4fd1-a5a2-f29124a56433"

Où rs-rp.json contient :

Pour associer une politique de ressources à votre espace de noms Redshift sans serveur pour l’intégration d’un événement S3 à un compartiment Amazon S3, exécutez une commande AWS CLI similaire à la suivante. L’exemple suivant montre une politique pour un espace de noms sans serveur dans le répertoire us-east-1 pour le compte utilisateur 123456789012. Le compartiment est nommé amzn-s3-demo-bucket.

aws redshift put-resource-policy \
--policy file://rs-rp.json \
--resource-arn "arn:aws:redshift-serverless:us-east-1:123456789012:namespace/namespace-1"

Où rs-rp.json contient :

SYS_COPY_JOB – contient une ligne pour chaque COPY JOB actuellement définie.

SYS_COPY_JOB_DETAIL : contient des informations sur les fichiers en attente, en erreur et ingérés pour chaque COPY JOB.

SYS_COPY_JOB_INFO : contient les messages enregistrés à propos d’un COPY JOB.

SYS_LOAD_HISTORY – contient des informations détaillées sur les commandes COPY.

SYS_LOAD_ERROR_DETAIL – contient des informations détaillées sur les erreurs de commande COPY.

SVV_COPY_JOB_INTEGRATIONS : contient des informations détaillées sur les intégrations d’événements S3.

STL_LOAD_ERRORS – contient des erreurs provenant des commandes COPY.

STL_LOAD_COMMITS – contient des informations permettant de résoudre les problèmes liés au chargement des données d’une commande COPY.

Vous pouvez créer un maximum de 200 COPY JOBS pour chaque cluster ou groupe de travail d’un Compte AWS.

Vous pouvez créer 50 intégrations d’événements S3 pour chaque cible Amazon Redshift.

Vous ne pouvez pas créer d’intégration d’événements S3 avec un compartiment Amazon S3 source dont le nom du compartiment comporte un point (.).

Vous ne pouvez créer qu’une seule intégration d’événements S3 entre la même source et la même cible. En d’autres termes, il ne peut y avoir qu’une seule intégration d’événements S3 entre un compartiment Amazon S3 et un entrepôt de données Amazon Redshift à la fois.

Vous ne pouvez pas avoir de notifications d’événement existantes pour le type d’événement S3_OBJECT_CREATED défini dans le compartiment Amazon S3 source. Cependant, une fois l’intégration d’un événement S3 créée, vous pouvez mettre à jour la notification d’événement du compartiment Amazon S3 avec un préfixe/suffixe de portée plus étroite. De cette façon, vous pouvez également configurer un autre préfixe/suffixe S3_OBJECT_CREATED pour d’autres cibles et éviter tout conflit avec l’intégration d’événements S3. Si vous rencontrez des problèmes liés au fait que la copie automatique ne s’exécute pas comme prévu, préparez le journal AWS CloudTrail de l’action s3:PutBucketNotificationConfiguration sur votre compartiment S3 pour la période en question lorsque vous contactez AWS Support.