Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Configuration d'une cible d'intégration zéro ETL
Plusieurs options sont proposées AWS lors de la configuration d'une cible pour une intégration zéro ETL. La cible peut être un entrepôt de Amazon Redshift données crypté ou un catalogue Amazon SageMaker Lakehouse.
Avant de sélectionner la cible pour l'intégration zéro ETL, vous devez configurer l'une des ressources cibles suivantes.
Les options de configuration pour une cible dans une intégration zéro ETL sont les suivantes :
Catalogue et base de données Amazon SageMaker Lakehouse configurés avec le stockage Amazon S3 standard. Consultez Configuration d'un catalogue Amazon SageMaker Lakehouse avec un stockage S3 standard.
Un catalogue Amazon SageMaker Lakehouse configuré avec le bucket Amazon S3 Tables. Consultez Configuration des tables Amazon S3 en tant que cible.
Un catalogue Amazon SageMaker Lakehouse configuré avec le stockage géré par Amazon Redshift. Consultez Configuration d'un catalogue Amazon SageMaker Lakehouse avec stockage géré Amazon Redshift.
Un entrepôt de données Amazon Redshift identifié par un espace de noms Redshift. Consultez Configuration d'une cible d'entrepôt de Amazon Redshift données.
Note
Vous ne pouvez pas modifier la cible d'une intégration zéro ETL après sa création.
Configuration d'un catalogue Amazon SageMaker Lakehouse avec un stockage S3 standard
Cette section décrit les conditions préalables et les étapes de configuration pour configurer un compartiment Amazon S3 normal comme espace de stockage pour la cible de votre catalogue Amazon SageMaker Lakehouse dans le cadre d'une intégration zéro ETL.
Conditions préalables à la mise en place d'une intégration
Avant de créer une intégration zéro ETL avec un catalogue Amazon SageMaker Lakehouse à l'aide d'un stockage S3 standard, vous devez effectuer les tâches de configuration suivantes :
Configuration d'une AWS Glue base de données
Fournir une politique RBAC du catalogue
Créer un rôle IAM cible
Après avoir configuré le catalogue Amazon SageMaker Lakehouse avec le stockage Amazon S3 standard, vous pouvez terminer la configuration Configuration de l'intégration avec votre cible de l'intégration.
Configuration des tables Amazon S3 en tant que cible
Cette section décrit les conditions préalables et les étapes de configuration pour configurer les tables Amazon S3 en tant que cible pour votre intégration zéro ETL.
Conditions préalables à la mise en place d'une intégration
Avant de créer une intégration zéro ETL avec Amazon S3 Tables comme cible, vous devez effectuer les tâches de configuration suivantes :
Configuration du compartiment de tables Amazon S3
Fournir une politique RBAC du catalogue
Créer un rôle IAM cible
Configuration du compartiment de tables Amazon S3
Créez un compartiment de tables S3 dans votre compte en suivant les instructions de la section Getting started with Amazon S3 Tables.
Activez les intégrations Analytics avec votre bucket S3-Table en suivant ces instructions : Intégration des AWS services avec Amazon S3 Tables.
Fournir une politique RBAC du catalogue
Les autorisations suivantes doivent être ajoutées à la politique RBAC du catalogue pour permettre les intégrations entre la source et la cible du catalogue des tables Amazon S3.
La politique de ressources du AWS Glue catalogue cible doit inclure les autorisations du service Glue pour AuthorizeInboundIntegration. En outre, une CreateInboundIntegration autorisation est requise soit sur le principal source qui crée l'intégration, soit dans la politique de AWS Glue ressource cible.
Note
Dans le cas d'un scénario entre comptes, la politique de ressources du catalogue principal et celle du AWS Glue catalogue cible doivent inclure des CreateInboundIntegration autorisations « glue : » sur la ressource.
{ "Version": "2012-10-17", "Statement": [ { // Optional for same account but mandatory for cross account scenarios // Allow Alice to create Integration on Target Catalog "Principal": { "AWS": [ "arn:aws:iam::<source-account-id>:user/Alice" ] }, "Effect": "Allow", "Action": [ "glue:CreateInboundIntegration" ], "Resource": [ "arn:aws:glue:<region>:<Target-Account-Id>:catalog/<s3tablescatalog>/*" ], "Condition": { "StringLike": { "aws:SourceArn": "arn:aws:dynamodb:<region>:<Account>:table/<table-name>" } } }, { // Required: Allow Glue to Authorize the Inbound Integration on behalf of Bob "Principal": { "Service": [ "glue.amazonaws.com" ] }, "Effect": "Allow", "Action": [ "glue:AuthorizeInboundIntegration" ], "Resource": [ "arn:aws:glue:<region>:<Target-Account-Id>:catalog/<s3tablescatalog>/*" ], "Condition": { "StringEquals": { "aws:SourceArn": "arn:aws:dynamodb:<region>:<account-id>:table/<table-name>" } } } ] }
Note
<s3tablescatalog>
Remplacez-le par le nom du catalogue de vos tables S3.
Créer un rôle IAM cible
Créez un rôle IAM cible avec les autorisations et les relations de confiance suivantes :
Exemple de politique IAM :
{ "Version": "2012-10-17", "Statement": [ { "Action": [ "s3tables:ListTableBuckets", "s3tables:GetTableBucket", "s3tables:GetTableBucketEncryption", "s3tables:GetNamespace", "s3tables:CreateNamespace", "s3tables:ListNamespaces", "s3tables:CreateTable", "s3tables:GetTable", "s3tables:GetTableEncryption", "s3tables:ListTables", "s3tables:GetTableMetadataLocation", "s3tables:UpdateTableMetadataLocation", "s3tables:GetTableData", "s3tables:PutTableData" ], "Resource": "arn:aws:s3tables:<region>:<account-id>:bucket/*", "Effect": "Allow" }, { "Action": [ "cloudwatch:PutMetricData" ], "Resource": "*", "Condition": { "StringEquals": { "cloudwatch:namespace": "AWS/Glue/ZeroETL" } }, "Effect": "Allow" }, { "Action": [ "logs:CreateLogGroup", "logs:CreateLogStream", "logs:PutLogEvents" ], "Resource": "*", "Effect": "Allow" } ] }
Ajoutez la politique de confiance suivante dans le rôle Target IAM pour permettre au AWS Glue Service de l'assumer :
{ "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Principal": { "Service": "glue.amazonaws.com" }, "Action": "sts:AssumeRole" } ] }
Note
Assurez-vous qu'il n'existe aucune instruction DENY explicite pour ce rôle IAM cible dans la politique de ressources du bucket S3-Tables. Un DENY explicite remplacerait toutes les autorisations ALLOW et empêcherait l'intégration de fonctionner correctement.
Configuration d'un catalogue Amazon SageMaker Lakehouse avec stockage géré Amazon Redshift
Cette section décrit les conditions préalables et les étapes de configuration pour configurer un catalogue Amazon SageMaker Lakehouse avec un stockage Amazon Redshift géré (RMS) comme cible pour votre intégration zéro ETL.
Conditions préalables à la mise en place d'une intégration
Avant de créer une intégration zéro ETL avec un catalogue Amazon SageMaker Lakehouse à l'aide du stockage géré Redshift, vous devez effectuer les tâches de configuration suivantes :
Configuration d'un Amazon Redshift cluster ou d'un groupe de travail sans serveur
Enregistrez l' Amazon Redshift intégration avec Lake Formation
Création d'un catalogue géré dans Lake Formation
Configuration des autorisations IAM
Configuration du stockage Amazon Redshift géré
Pour configurer le stockage Amazon Redshift géré pour votre intégration Zero-ETL :
Créez ou utilisez un cluster Amazon Redshift ou un groupe de travail sans serveur existant. Assurez-vous que le
enable_case_sensitive_identifier
paramètre est activé dans le Amazon Redshift groupe de travail ou le cluster cible pour que l'intégration soit réussie. Pour plus d'informations sur l'activation de la distinction majuscules/minuscules, consultez la section Activer la distinction majuscules/minuscules pour votre entrepôt de données dans le guide de gestion Amazon Redshift.Enregistrez une intégration de Redshift dans le catalogue dans. AWS Lake Formation Consultez la section Enregistrement de Amazon Redshift clusters et d'espaces de noms dans le catalogue de AWS Glue données.
Créez un catalogue fédéré ou géré dans. AWS Lake Formation Pour plus d'informations, consultez :
Configurez les autorisations IAM pour le rôle cible. Le rôle a besoin d'autorisations pour accéder aux ressources Redshift et Lake Formation. Au minimum, le rôle doit avoir :
Autorisations d'accès au cluster ou au groupe de travail Redshift
Autorisations d'accès au catalogue Lake Formation
Autorisations pour créer et gérer des tables dans le catalogue
CloudWatch et CloudWatch enregistre les autorisations à des fins de surveillance
Après avoir configuré le catalogue Amazon SageMaker Lakehouse avec le stockage géré par Amazon Redshift, vous pouvez terminer la configuration Configuration de l'intégration avec votre cible de l'intégration.
Configuration d'une cible d'entrepôt de Amazon Redshift données
Cette section décrit les conditions préalables et les étapes de configuration pour configurer un entrepôt de Amazon Redshift données comme cible pour votre intégration zéro ETL.
Conditions préalables à la mise en place d'une intégration
Avant de créer une intégration zéro ETL avec une cible d'entrepôt de Amazon Redshift données, vous devez effectuer les tâches de configuration suivantes :
Configuration d'un Amazon Redshift cluster ou d'un groupe de travail sans serveur
Configuration de la distinction majuscules
Configuration des autorisations IAM
Configuration de l'entrepôt Amazon Redshift de données
Pour configurer un entrepôt de Amazon Redshift données pour votre intégration Zero-ETL :
Accédez à la Amazon Redshift console
et cliquez sur Créer un cluster ou utilisez un cluster existant. Pour Amazon Redshift Serverless, cliquez sur Créer un groupe de travail. Si vous créez un nouveau cluster, choisissez une taille de cluster appropriée et assurez-vous que votre cluster est crypté. Pour Serverless, configurez les paramètres du groupe de travail en fonction de vos besoins.
Assurez-vous que le
enable_case_sensitive_identifier
paramètre est activé dans le Amazon Redshift groupe de travail ou le cluster cible pour que l'intégration soit réussie. Pour plus d'informations sur l'activation de la distinction majuscules/minuscules, consultez la section Activer la distinction majuscules/minuscules pour votre entrepôt de données dans le guide de gestion Amazon Redshift.Configurez les autorisations IAM pour permettre à l'intégration Zero-ETL d'accéder à votre entrepôt de Amazon Redshift données. Vous devez créer un rôle IAM avec les autorisations suivantes :
Autorisations d'accès au Amazon Redshift cluster ou au groupe de travail
Autorisations permettant de créer et de gérer des bases de données et des tables dans Amazon Redshift
CloudWatch et Amazon CloudWatch enregistre les autorisations à des fins de surveillance
Une fois la configuration du Amazon Redshift groupe de travail ou du cluster terminée, vous devez configurer votre entrepôt de données pour les intégrations sans ETL. Consultez Getting started with zero-ETL integrations dans le guide de gestion Amazon Redshift pour plus d'informations.
Note
Lorsque vous utilisez un entrepôt de Amazon Redshift données comme cible, l'intégration crée un schéma dans la base de données spécifiée pour stocker les données répliquées. Le nom du schéma est dérivé du nom de l'intégration.
Après avoir configuré l'entrepôt de Amazon Redshift données, vous pouvez Configuration de l'intégration avec votre cible terminer la configuration de l'intégration.
Configuration de l'intégration avec votre cible
Après avoir configuré vos ressources cibles, sélectionné votre connexion et spécifié un rôle IAM source, procédez comme suit pour terminer la configuration de l'intégration :
Spécifiez la cible que vous avez configurée lors des étapes précédentes.
Sélectionnez l'option AWS Glue Corriger le problème pour moi. Pour la Amazon Redshift cible, cela permettra de :
Appliquez un principal de service autorisé sur le Amazon Redshift cluster ou le groupe de travail sans serveur.
Appliquez un ARN AWS Glue source autorisé au Amazon Redshift cluster ou au groupe de travail sans serveur.
Associez un nouveau groupe de paramètres à
enable_case_sensitive_identifier = true
.
Indiquez le nom de l'intégration et choisissez Create and launch Integration.
Une fois que votre intégration est active, accédez à la page des détails de l'intégration et choisissez Créer une base de données à partir de l'intégration.
Enfin, vous pouvez accéder à l'éditeur de requêtes Redshift et vous connecter à votre base de données pour valider l'instantané et les données incrémentielles.
Note
Vous ne pouvez utiliser que des caractères alphanumériques minuscules et des traits de soulignement dans l'espace de noms ou le nom du catalogue. Cela est différent de ce que permet le catalogue de AWS Glue données pour créer une base de données avec n'importe quel nom (y compris les caractères spéciaux).