Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Configuration d'une cible pour une intégration Zéro-ETL

Plusieurs options sont proposées AWS Glue lors de la configuration d'une cible pour une intégration Zéro-ETL. La cible peut être un entrepôt de Amazon Redshift données chiffré ou une architecture Lakehouse d'Amazon. SageMaker

Avant de sélectionner la cible pour l’intégration zéro ETL, vous devez configurer l’une des ressources cible suivantes. Les options de configuration pour une cible dans une intégration zéro ETL sont les suivantes :

Configuration d'une cible de compartiment S3 à usage général

Cette section décrit les prérequis et les étapes de configuration pour configurer un compartiment S3 à usage général comme espace de stockage pour votre cible dans le cadre d'une intégration Zero-ETL, en utilisant l'architecture Lakehouse d'Amazon. SageMaker

Avant de créer une intégration Zero-ETL avec l'architecture Lakehouse d'Amazon à l' SageMaker aide d'un stockage S3 à usage général, vous devez effectuer les tâches de configuration suivantes :

Configuration d'un AWS Glue database

Pour configurer une base de données cible dans le catalogue de données avec un emplacement de compartiment à usage général Amazon S3 :

Pour plus d'informations sur la création d'une nouvelle base de données dans AWS Glue, voir Démarrage avec le catalogue de données.

Vous pouvez également utiliser la commande CLI create-database pour créer la base de données dans AWS Glue. Notez que le LocationUri dans --database-input est obligatoire.

Optimisation des tables Iceberg

Une fois qu'une table est créée AWS Glue dans la base de données cible, vous pouvez activer le compactage pour accélérer les requêtes dans Amazon Athena. Pour plus d’informations sur la configuration des ressources (rôle IAM) pour le compactage, consultez Conditions préalables requises pour l’optimisation des tables.

Pour plus d'informations sur la configuration du compactage sur la AWS Glue table créée par l'intégration, consultez Optimisation des tables Iceberg.

Fourniture d’une politique d’accès basée sur les ressources (RBAC) du catalogue

Pour les intégrations qui utilisent une AWS Glue base de données, ajoutez les autorisations suivantes à la politique RBAC du catalogue afin de permettre les intégrations entre la source et la cible.

Vous pouvez accéder aux paramètres du catalogue sous Catalogue de données. Indiquez ensuite les autorisations suivantes et complétez les informations manquantes.

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Principal": {
        "AWS": [
            "arn:aws:iam::123456789012:user/Alice"
        ]
      },
      "Effect": "Allow",
      "Action": [
        "glue:CreateInboundIntegration"
      ],
      "Resource": [
          "arn:aws:glue:us-east-1:111122223333:catalog",
          "arn:aws:glue:us-east-1:111122223333:database/database-name"
      ],
      "Condition": {
        "StringLike": {
        "aws:SourceArn": "arn:aws:dynamodb:us-east-1:444455556666:table/table-name"
        }
      }
    },
    {
      "Principal": {
        "Service": [
          "glue.amazonaws.com"
        ]
      },
      "Effect": "Allow",
      "Action": [
        "glue:AuthorizeInboundIntegration"
      ],
      "Resource": [
          "arn:aws:glue:us-east-1:111122223333:catalog",
          "arn:aws:glue:us-east-1:111122223333:database/database-name"
      ],
      "Condition": {
        "StringEquals": {
        "aws:SourceArn": "arn:aws:dynamodb:us-east-1:444455556666:table/table-name"
        }
      }
    }
  ]
}

Création d’un rôle IAM cible

Créez un rôle IAM cible avec les autorisations et les relations d’approbation suivantes :

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Action": "s3:ListBucket",
            "Resource": "arn:aws:s3:::amzn-s3-bucket",
            "Effect": "Allow"
        },
        {
            "Action": [
                "s3:GetObject",
                "s3:PutObject",
                "s3:DeleteObject"
            ],
            "Resource": "arn:aws:s3:::amzn-s3-demo-bucket/prefix/*",
            "Effect": "Allow"
        },
        {
            "Action": [
                "glue:GetDatabase"
            ],
            "Resource": [
                "arn:aws:glue:us-east-1:111122223333:catalog",
                "arn:aws:glue:us-east-1:111122223333:database/database-name"
            ],
            "Effect": "Allow"
        },
        {
            "Action": [
                "glue:CreateTable",
                "glue:GetTable",
                "glue:GetTables",
                "glue:DeleteTable",
                "glue:UpdateTable",
                "glue:GetTableVersion",
                "glue:GetTableVersions",
                "glue:GetResourcePolicy"
            ],
            "Resource": [
                "arn:aws:glue:us-east-1:111122223333:catalog",
                "arn:aws:glue:us-east-1:111122223333:database/database-name",
                "arn:aws:glue:us-east-1:111122223333:table/database-name/*"
            ],
            "Effect": "Allow"
        },
        {
            "Action": [
                "cloudwatch:PutMetricData"
            ],
            "Resource": "*",
            "Condition": {
                "StringEquals": {
                    "cloudwatch:namespace": "AWS/Glue/ZeroETL"
                }
            },
            "Effect": "Allow"
        },
        {
            "Action": [
                "logs:CreateLogGroup",
                "logs:CreateLogStream",
                "logs:PutLogEvents"
            ],
            "Resource": "*",
            "Effect": "Allow"
        }
    ]
}

Ajoutez la politique de confiance suivante pour permettre au AWS Glue service d'assumer ce rôle :

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Principal": {
        "Service": "glue.amazonaws.com"
      },
      "Action": "sts:AssumeRole"
    }
  ]
}

Associer le rôle cible, KMS (facultatif) et Connection (facultatif) à la ressource cible

Associez le rôle cible ci-dessus à la ressource cible, c'est-à-dire à la AWS Glue base de données. Facultativement, le KMS pour chiffrer les données avant de les stocker dans la table iceberg cible et l'ARN de connexion pour accéder au compartiment S3 peuvent être configurés pour la base de données cible AWS Glue . Cela permettra d'accéder AWS Glue aux données de l'emplacement S3 cible à l'aide du rôle fourni et de les chiffrer éventuellement à l'aide de la clé KMS fournie. Si le compartiment S3 cible est configuré pour être accessible via un certain VPC, l'ARN de connexion peut être associé pour permettre d'exécuter le traitement AWS Glue au sein de ce VPC. Pour plus d'informations sur la configuration d'un VPC, consultez Créer un VPC.

Ou à l'aide de la AWS Glue CLI/API :

aws glue create-integration-resource-property \
--resource-arn arn:aws:glue:us-east-1:123456789012:database/database-name \
--target-processing-properties '{"RoleArn": "arn:aws:iam::123456789012:role/gmi_target_role"}' \
--region us-east-1

(Facultatif) Configurer les propriétés de la table cible

Facultativement, les propriétés de la table cible peuvent être configurées pour les tables cibles qui vont être synchronisées avec la cible.

Vous pouvez configurer ces paramètres dans la section Paramètres de sortie du flux de création d'intégration de la AWS Glue console :

Lorsque vous sélectionnez Spécifier les clés de partition personnalisées, vous pouvez configurer les clés de partition ainsi que leur fonction et leurs spécifications de conversion :

Si la source et la cible se trouvent dans le même compte, cette configuration peut être effectuée dans le cadre du flux de création d'intégration depuis l'interface utilisateur de la AWS Glue console. Mais si la cible se trouve dans un compte différent, cette configuration doit être complète avant de créer l'intégration. Lorsque vous utilisez la CLI ou l'API, cela doit être fait avant d'appeler l' Create-Integration API, même lorsque la source et la cible se trouvent dans le même compte. AWS Glue L'interface utilisateur de la console encapsule simplement cet appel d'API pour le même scénario de compte.

Si cela n'est pas configuré, les valeurs par défaut seront utilisées lors de la synchronisation de la table. Cette configuration peut également être modifiée à tout moment après la création de l'intégration.

Conflits de propriétés de la table cible

Deux éléments permettent d'identifier un ensemble de propriétés de table cible : l'ARN de la ressource cible et le nom de la table source. La ressource cible est la AWS Glue base de données d'une cible Amazon S3 à usage général. Pour une cible Amazon S3 Tables, il s'agit du catalogue Amazon S3 Tables. Chaque combinaison de ressource cible et de table source ne peut être associée qu'à une seule intégration à la fois. Par conséquent, deux intégrations ne peuvent pas écrire la même table source sur la même ressource cible. Si vous créez une deuxième intégration pour la même combinaison, AWS Glue identifiez le conflit et évitez-le. Cela empêche une intégration de remplacer les données d'une autre intégration.

AWS Glue applique cette règle que vous utilisiez la console, la CLI ou l'API. Dans la console, l'étape Paramètres de sortie détecte les conflits avant de continuer, afin que vous puissiez les résoudre avant de créer l'intégration. Cela s'applique aux sources à table unique telles qu'Amazon DynamoDB et aux sources à tables multiples telles que les applications SaaS. Les propriétés cibles d'une table source ne peuvent appartenir qu'à une seule intégration. Ainsi, une table source déjà revendiquée par une autre intégration ne sera pas répliquée par la vôtre tant que vous n'aurez pas résolu le conflit.

La manière dont la console affiche un conflit dépend du nombre de tables sources :

La capture d'écran suivante montre le tableau des paramètres de sortie multi-tables (SaaS) avec les colonnes Action requise et Notes.

La console affiche le message dans la colonne Notes pour les sources à tables multiples, ou dans l'alerte en ligne pour les sources à table unique. Il signale une table source lorsque l'une des conditions suivantes s'applique :

En utilisant la CLI ou l'API :

aws glue create-integration-table-properties \
--resource-arn arn:aws:glue:us-east-1:123456789012:database/database-name \
--table-name table-name \
--target-table-config '{
        "UnnestSpec":"TOPLEVEL"|"FULL"|"NOUNNEST",
        "PartitionSpec":
            [
                {
                    "FieldName":"string",
                    "FunctionSpec":"string",
                    "ConversionSpec":"string"}
                    ...
             ],
         "TargetTableName":"string"
     }' \
--region us-east-1

Après avoir configuré l'architecture Lakehouse d'Amazon SageMaker avec le stockage par compartiments Amazon S3 à usage général, vous pouvez terminer la configuration Configuration de l’intégration avec votre cible de l'intégration.

Configuration d'une cible de compartiment Amazon S3 Tables

Cette section décrit les prérequis et les étapes de configuration pour configurer Amazon S3 Tables en tant que cible pour votre intégration Zero-ETL, en utilisant l'architecture Lakehouse d'Amazon. SageMaker

Avant de créer une intégration zéro ETL avec des tableaux Amazon S3 comme cibles, vous devez effectuer les tâches de configuration suivantes :

Configuration du compartiment de tables Amazon S3 (avec intégration des services d'analyse)

Fourniture d’une politique RBAC du catalogue

Les autorisations suivantes doivent être ajoutées à la politique RBAC du catalogue pour permettre les intégrations entre la source et la cible du catalogue des tableaux Amazon S3.

La politique relative aux ressources du AWS Glue catalogue cible doit inclure les autorisations de AWS Glue service pourAuthorizeInboundIntegration. En outre, une CreateInboundIntegration autorisation est requise soit sur le principal source qui crée l'intégration, soit dans la politique de AWS Glue ressource cible.

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Principal": {
        "AWS": [
            "arn:aws:iam::123456789012:user/Alice"
        ]
      },
      "Effect": "Allow",
      "Action": [
        "glue:CreateInboundIntegration"
      ],
      "Resource": [
          "arn:aws:glue:us-east-1:111122223333:catalog/s3tablescatalog/*"
      ],
      "Condition": {
        "StringLike": {
        "aws:SourceArn": "arn:aws:dynamodb:us-east-1:444455556666:table/table-name"
        }
      }
    },
    {
      "Principal": {
        "Service": [
          "glue.amazonaws.com"
        ]
      },
      "Effect": "Allow",
      "Action": [
        "glue:AuthorizeInboundIntegration"
      ],
      "Resource": [
      "arn:aws:glue:us-east-1:111122223333:catalog/s3tablescatalog/*"
      ],
      "Condition": {
        "StringEquals": {
        "aws:SourceArn": "arn:aws:dynamodb:us-east-1:444455556666:table/table-name"
        }
      }
    }
  ]
}

Création d’un rôle IAM cible

Créez un rôle IAM cible avec les autorisations et les relations d’approbation suivantes :

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Action": [
        "s3tables:ListTableBuckets",
        "s3tables:GetTableBucket",
        "s3tables:GetTableBucketEncryption",
        "s3tables:GetNamespace",
        "s3tables:CreateNamespace",
        "s3tables:ListNamespaces",
        "s3tables:CreateTable",
        "s3tables:DeleteTable",
        "s3tables:GetTable",
        "s3tables:GetTableEncryption",
        "s3tables:ListTables",
        "s3tables:GetTableMetadataLocation",
        "s3tables:UpdateTableMetadataLocation",
        "s3tables:GetTableData",
        "s3tables:PutTableData"
      ],
      "Resource": "arn:aws:s3tables:us-east-1:111122223333:bucket/s3-table-bucket",
      "Effect": "Allow"
    },
    {
      "Action": [
        "cloudwatch:PutMetricData"
      ],
      "Resource": "*",
      "Condition": {
        "StringEquals": {
          "cloudwatch:namespace": "AWS/Glue/ZeroETL"
        }
      },
      "Effect": "Allow"
    },
    {
      "Action": [
        "logs:CreateLogGroup",
        "logs:CreateLogStream",
        "logs:PutLogEvents"
      ],
      "Resource": "*",
      "Effect": "Allow"
    }
  ]
}

Ajoutez la politique de confiance suivante au rôle IAM cible pour permettre au AWS Glue Service de l'assumer :

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Principal": {
        "Service": "glue.amazonaws.com"
      },
      "Action": "sts:AssumeRole"
    }
  ]
}

Associer le rôle cible, KMS (facultatif) et Connection (facultatif) à la ressource cible

Associez le rôle cible ci-dessus à la ressource cible. Facultativement, le KMS pour chiffrer les données avant de les stocker dans la table iceberg cible et l'ARN de connexion pour accéder au compartiment S3 cible peuvent être configurés. Si le compartiment S3 cible est configuré pour être accessible via un certain VPC, l'ARN de connexion peut être associé pour permettre d'exécuter le traitement AWS Glue au sein de ce VPC. Pour plus d'informations sur la configuration d'un VPC, consultez Créer un VPC.

À l'aide de la AWS Glue CLI/de l'API :

aws glue create-integration-resource-property \
--resource-arn arn:aws:glue:us-east-1:123456789012:catalog/s3tablescatalog/S3 table bucket name \
--target-processing-properties '{
                    "RoleArn": "arn:aws:iam::123456789012:role/target_role"
                }' \
--region us-east-1

(Facultatif) Configurer les propriétés de la table cible

Facultativement, les propriétés de la table cible peuvent être configurées pour les tables cibles qui vont être synchronisées avec la cible. Les mêmes règles s'appliquent que celles décrites dans la section cible S3 à usage général. Pour la liste complète des situations de conflit, voirConflits de propriétés de la table cible.

En utilisant la CLI ou l'API :

aws glue create-integration-table-properties \
--resource-arn arn:aws:glue:us-east-1:123456789012:catalog/s3tablescatalog/S3 table bucket name \
--table-name table-name \
--target-table-config '' \
--region us-east-1

Après avoir configuré le S3-Tables stockage Amazon à l'aide de l'architecture Lakehouse d'Amazon SageMaker, vous pouvez terminer la configuration Configuration de l’intégration avec votre cible de l'intégration.

Configuration d'un Amazon Redshift Cible de stockage géré

Cette section décrit les prérequis et les étapes de configuration pour configurer un stockage Amazon Redshift géré (RMS) en tant que cible pour votre intégration Zero-ETL, à l'aide de l'architecture Lakehouse d'Amazon. SageMaker

Avant de créer une intégration Zero-ETL avec une architecture Lakehouse d'Amazon à l' SageMaker aide du stockage géré Redshift, vous devez effectuer les tâches de configuration suivantes :

Configuration Amazon Redshift stockage géré

Pour configurer le stockage Amazon Redshift géré pour votre intégration Zero-ETL, procédez comme suit :

Après avoir configuré le catalogue Amazon SageMaker Lakehouse avec le stockage Amazon Redshift géré, vous pouvez terminer la configuration Configuration de l’intégration avec votre cible de l'intégration.

Configuration d'un Amazon Redshift cible de l'entrepôt de données

Cette section décrit les prérequis et les étapes de configuration pour configurer un entrepôt de Amazon Redshift données en tant que cible pour votre intégration Zero-ETL.

Avant de créer une intégration Zero-ETL avec une cible d'entrepôt de Amazon Redshift données, vous devez effectuer les tâches de configuration suivantes :

Configuration du Amazon Redshift entrepôt des données

Pour configurer un entrepôt de Amazon Redshift données pour votre intégration Zero-ETL, procédez comme suit :

Après avoir configuré l'entrepôt de Amazon Redshift données, vous pouvez Configuration de l’intégration avec votre cible terminer la configuration de l'intégration.

Configuration de l’intégration avec votre cible

Après avoir configuré les ressources source et cible, procédez comme suit pour terminer la configuration de l'intégration :

Pour créer l'intégration via une API ou une interface de ligne de commande, procédez comme suit : CreateIntegration API.