Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Configuration d'une cible pour une intégration zéro ETL

Plusieurs options sont proposées AWS Glue lors de la configuration d'une cible pour une intégration zéro ETL. La cible peut être un entrepôt de Amazon Redshift données crypté ou une architecture Lakehouse d'Amazon. SageMaker

Avant de sélectionner la cible pour l’intégration zéro ETL, vous devez configurer l’une des ressources cible suivantes. Les options de configuration pour une cible dans une intégration zéro ETL sont les suivantes :

Configuration d'une cible de compartiment S3 à usage général

Cette section décrit les conditions préalables et les étapes de configuration pour configurer un compartiment S3 à usage général comme espace de stockage pour votre cible dans le cadre d'une intégration zéro ETL, en utilisant l'architecture Lakehouse d'Amazon. SageMaker

Avant de créer une intégration zéro ETL avec l'architecture Lakehouse d'Amazon à SageMaker l'aide d'un stockage S3 à usage général, vous devez effectuer les tâches de configuration suivantes :

Configuration d'une AWS Glue base de données

Pour configurer une base de données cible dans le catalogue de données avec un emplacement de compartiment à usage général Amazon S3 :

Pour plus d'informations sur la création d'une nouvelle base de données dans AWS Glue, voir Mise en route avec le catalogue de données.

Vous pouvez également utiliser la commande CLI create-database pour créer la base de données dans AWS Glue. Notez que le LocationUri dans --database-input est obligatoire.

Optimisation des tables Iceberg

Une fois qu'une table est créée AWS Glue dans la base de données cible, vous pouvez activer le compactage pour accélérer les requêtes dans Amazon Athena. Pour plus d’informations sur la configuration des ressources (rôle IAM) pour le compactage, consultez Conditions préalables requises pour l’optimisation des tables.

Pour plus d'informations sur la configuration du compactage sur la AWS Glue table créée par l'intégration, consultez Optimisation des tables Iceberg.

Fourniture d’une politique d’accès basée sur les ressources (RBAC) du catalogue

Pour les intégrations qui utilisent une AWS Glue base de données, ajoutez les autorisations suivantes à la politique RBAC du catalogue afin de permettre les intégrations entre la source et la cible.

Vous pouvez accéder aux paramètres du catalogue sous Catalogue de données. Indiquez ensuite les autorisations suivantes et complétez les informations manquantes.

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Principal": {
        "AWS": [
            "arn:aws:iam::123456789012:user/Alice"
        ]
      },
      "Effect": "Allow",
      "Action": [
        "glue:CreateInboundIntegration"
      ],
      "Resource": [
          "arn:aws:glue:us-east-1:111122223333:catalog",
          "arn:aws:glue:us-east-1:111122223333:database/database-name"
      ],
      "Condition": {
        "StringLike": {
        "aws:SourceArn": "arn:aws:dynamodb:us-east-1:444455556666:table/table-name"
        }
      }
    },
    {
      "Principal": {
        "Service": [
          "glue.amazonaws.com"
        ]
      },
      "Effect": "Allow",
      "Action": [
        "glue:AuthorizeInboundIntegration"
      ],
      "Resource": [
          "arn:aws:glue:us-east-1:111122223333:catalog",
          "arn:aws:glue:us-east-1:111122223333:database/database-name"
      ],
      "Condition": {
        "StringEquals": {
        "aws:SourceArn": "arn:aws:dynamodb:us-east-1:444455556666:table/table-name"
        }
      }
    }
  ]
}

Création d’un rôle IAM cible

Créez un rôle IAM cible avec les autorisations et les relations d’approbation suivantes :

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Action": "s3:ListBucket",
            "Resource": "arn:aws:s3:::amzn-s3-bucket",
            "Effect": "Allow"
        },
        {
            "Action": [
                "s3:GetObject",
                "s3:PutObject",
                "s3:DeleteObject"
            ],
            "Resource": "arn:aws:s3:::amzn-s3-demo-bucket/prefix/*",
            "Effect": "Allow"
        },
        {
            "Action": [
                "glue:GetDatabase"
            ],
            "Resource": [
                "arn:aws:glue:us-east-1:111122223333:catalog",
                "arn:aws:glue:us-east-1:111122223333:database/database-name"
            ],
            "Effect": "Allow"
        },
        {
            "Action": [
                "glue:CreateTable",
                "glue:GetTable",
                "glue:GetTables",
                "glue:DeleteTable",
                "glue:UpdateTable",
                "glue:GetTableVersion",
                "glue:GetTableVersions",
                "glue:GetResourcePolicy"
            ],
            "Resource": [
                "arn:aws:glue:us-east-1:111122223333:catalog",
                "arn:aws:glue:us-east-1:111122223333:database/database-name",
                "arn:aws:glue:us-east-1:111122223333:table/database-name/*"
            ],
            "Effect": "Allow"
        },
        {
            "Action": [
                "cloudwatch:PutMetricData"
            ],
            "Resource": "*",
            "Condition": {
                "StringEquals": {
                    "cloudwatch:namespace": "AWS/Glue/ZeroETL"
                }
            },
            "Effect": "Allow"
        },
        {
            "Action": [
                "logs:CreateLogGroup",
                "logs:CreateLogStream",
                "logs:PutLogEvents"
            ],
            "Resource": "*",
            "Effect": "Allow"
        }
    ]
}

Ajoutez la politique de confiance suivante pour permettre au AWS Glue service d'assumer le rôle :

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Principal": {
        "Service": "glue.amazonaws.com"
      },
      "Action": "sts:AssumeRole"
    }
  ]
}

Associer le rôle cible, le KMS (facultatif) et la connexion (facultatif) à la ressource cible

Associez le rôle cible ci-dessus à la ressource cible, c'est-à-dire à la AWS Glue base de données. En option, le KMS pour chiffrer les données avant de les stocker dans la table iceberg cible et l'ARN de connexion pour accéder au compartiment S3 peuvent être configurés pour la base de données cible AWS Glue . Cela permettra d'accéder AWS Glue aux données sur l'emplacement S3 cible à l'aide du rôle fourni et éventuellement de les chiffrer à l'aide de la clé KMS fournie. Si le compartiment S3 cible est configuré pour être accessible via un certain VPC, l'ARN de connexion peut être associé pour permettre l'exécution du traitement AWS Glue au sein de ce VPC. Pour plus d'informations sur la configuration d'un VPC, consultez la section Créer un VPC.

Ou en utilisant la AWS Glue CLI/API :

aws glue create-integration-resource-property \
--resource-arn arn:aws:glue:us-east-1:123456789012:database/database-name \
--target-processing-properties '{"RoleArn": "arn:aws:iam::123456789012:role/gmi_target_role"}' \
--region us-east-1

(Facultatif) Configurer les propriétés de la table cible

Facultativement, les propriétés des tables cibles peuvent être configurées pour les tables cibles qui vont être synchronisées avec la cible.

Vous pouvez configurer ces paramètres dans la section Paramètres de sortie du flux de travail de création d'intégration dans la AWS Glue console :

Lorsque vous sélectionnez Spécifier des clés de partition personnalisées, vous pouvez configurer les clés de partition ainsi que leurs caractéristiques de fonction et de conversion :

Si la source et la cible se trouvent dans le même compte, cette configuration peut être effectuée dans le cadre du flux de travail de création d'intégration à partir de l'interface utilisateur de la AWS Glue console. Mais si la cible se trouve dans un autre compte, cette configuration doit être terminée avant de créer l'intégration. Lorsque vous utilisez la CLI ou l'API, cela doit être fait avant d'appeler l'API Create-Integration, même lorsque la source et la cible se trouvent dans le même compte. AWS Glue L'interface utilisateur de la console encapsule simplement cet appel d'API pour le même scénario de compte.

Si cela n'est pas configuré, les valeurs par défaut seront utilisées lors de la synchronisation de la table. Cette configuration peut également être modifiée à tout moment après la création de l'intégration.

À l'aide de la CLI ou de l'API :

aws glue create-integration-table-properties \
--resource-arn arn:aws:glue:us-east-1:123456789012:database/database-name \
--table-name table-name \
--target-table-config '{
        "UnnestSpec":"TOPLEVEL"|"FULL"|"NOUNNEST",
        "PartitionSpec":
            [
                {
                    "FieldName":"string",
                    "FunctionSpec":"string",
                    "ConversionSpec":"string"}
                    ...
             ],
         "TargetTableName":"string"
     }' \
--region us-east-1

Après avoir configuré l'architecture Lakehouse d'Amazon SageMaker avec un stockage par compartiment Amazon S3 à usage général, vous pouvez terminer la configuration Configuration de l’intégration avec votre cible de l'intégration.

Configuration d'une cible de compartiment Amazon S3 Tables

Cette section décrit les conditions préalables et les étapes de configuration pour configurer les tables Amazon S3 en tant que cible pour votre intégration zéro ETL, en utilisant l'architecture Lakehouse d'Amazon. SageMaker

Avant de créer une intégration zéro ETL avec des tableaux Amazon S3 comme cibles, vous devez effectuer les tâches de configuration suivantes :

Configuration du compartiment de tables Amazon S3 (avec intégration des services d'analyse)

Fourniture d’une politique RBAC du catalogue

Les autorisations suivantes doivent être ajoutées à la politique RBAC du catalogue pour permettre les intégrations entre la source et la cible du catalogue des tableaux Amazon S3.

La politique de ressources du AWS Glue catalogue cible doit inclure les autorisations AWS Glue de service pourAuthorizeInboundIntegration. En outre, une CreateInboundIntegration autorisation est requise soit sur le principal source qui crée l'intégration, soit dans la politique de AWS Glue ressource cible.

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Principal": {
        "AWS": [
            "arn:aws:iam::123456789012:user/Alice"
        ]
      },
      "Effect": "Allow",
      "Action": [
        "glue:CreateInboundIntegration"
      ],
      "Resource": [
          "arn:aws:glue:us-east-1:111122223333:catalog/s3tablescatalog/*"
      ],
      "Condition": {
        "StringLike": {
        "aws:SourceArn": "arn:aws:dynamodb:us-east-1:444455556666:table/table-name"
        }
      }
    },
    {
      "Principal": {
        "Service": [
          "glue.amazonaws.com"
        ]
      },
      "Effect": "Allow",
      "Action": [
        "glue:AuthorizeInboundIntegration"
      ],
      "Resource": [
      "arn:aws:glue:us-east-1:111122223333:catalog/s3tablescatalog/*"
      ],
      "Condition": {
        "StringEquals": {
        "aws:SourceArn": "arn:aws:dynamodb:us-east-1:444455556666:table/table-name"
        }
      }
    }
  ]
}

Création d’un rôle IAM cible

Créez un rôle IAM cible avec les autorisations et les relations d’approbation suivantes :

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Action": [
        "s3tables:ListTableBuckets",
        "s3tables:GetTableBucket",
        "s3tables:GetTableBucketEncryption",
        "s3tables:GetNamespace",
        "s3tables:CreateNamespace",
        "s3tables:ListNamespaces",
        "s3tables:CreateTable",
        "s3tables:DeleteTable",
        "s3tables:GetTable",
        "s3tables:GetTableEncryption",
        "s3tables:ListTables",
        "s3tables:GetTableMetadataLocation",
        "s3tables:UpdateTableMetadataLocation",
        "s3tables:GetTableData",
        "s3tables:PutTableData"
      ],
      "Resource": "arn:aws:s3tables:us-east-1:111122223333:bucket/s3-table-bucket",
      "Effect": "Allow"
    },
    {
      "Action": [
        "cloudwatch:PutMetricData"
      ],
      "Resource": "*",
      "Condition": {
        "StringEquals": {
          "cloudwatch:namespace": "AWS/Glue/ZeroETL"
        }
      },
      "Effect": "Allow"
    },
    {
      "Action": [
        "logs:CreateLogGroup",
        "logs:CreateLogStream",
        "logs:PutLogEvents"
      ],
      "Resource": "*",
      "Effect": "Allow"
    }
  ]
}

Ajoutez la politique de confiance suivante dans le rôle IAM cible pour permettre au AWS Glue Service de l'assumer :

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Principal": {
        "Service": "glue.amazonaws.com"
      },
      "Action": "sts:AssumeRole"
    }
  ]
}

Associer le rôle cible, le KMS (facultatif) et la connexion (facultatif) à la ressource cible

Associez le rôle cible ci-dessus à la ressource cible. En option, le KMS pour chiffrer les données avant de les stocker dans la table Iceberg cible et l'ARN de connexion pour accéder au compartiment S3 cible peuvent être configurés. Si le compartiment S3 cible est configuré pour être accessible via un certain VPC, l'ARN de connexion peut être associé pour permettre l'exécution du traitement AWS Glue au sein de ce VPC. Pour plus d'informations sur la configuration d'un VPC, consultez la section Créer un VPC.

À l'aide de la AWS Glue CLI/API :

aws glue create-integration-resource-property \
--resource-arn arn:aws:glue:us-east-1:123456789012:catalog/s3tablescatalog/S3 table bucket name \
--target-processing-properties '{
                    "RoleArn": "arn:aws:iam::123456789012:role/target_role"
                }' \
--region us-east-1

(Facultatif) Configurer les propriétés de la table cible

Facultativement, les propriétés des tables cibles peuvent être configurées pour les tables cibles qui vont être synchronisées avec la cible. Les mêmes règles s'appliquent, comme décrit dans la section cible S3 à usage général.

À l'aide de la CLI ou de l'API :

aws glue create-integration-table-properties \
--resource-arn arn:aws:glue:us-east-1:123456789012:catalog/s3tablescatalog/S3 table bucket name \
--table-name table-name \
--target-table-config '' \
--region us-east-1

Après avoir configuré le stockage Amazon S3-Tables à l'aide de l'architecture Lakehouse d'Amazon SageMaker, vous pouvez terminer la configuration Configuration de l’intégration avec votre cible de l'intégration.

Configuration d'une cible de stockage Amazon Redshift géré

Cette section décrit les conditions préalables et les étapes de configuration pour configurer un stockage Amazon Redshift géré (RMS) comme cible pour votre intégration zéro ETL, en utilisant l'architecture Lakehouse d'Amazon. SageMaker

Avant de créer une intégration zéro ETL avec une architecture Lakehouse d'Amazon utilisant le stockage géré SageMaker Redshift, vous devez effectuer les tâches de configuration suivantes :

Configuration du stockage Amazon Redshift géré

Pour configurer le stockage Amazon Redshift géré pour votre intégration Zero-ETL :

Après avoir configuré le catalogue Amazon SageMaker Lakehouse avec le stockage Amazon Redshift géré, vous pouvez terminer la configuration Configuration de l’intégration avec votre cible de l'intégration.

Configuration d'une cible d'entrepôt de Amazon Redshift données

Cette section décrit les conditions préalables et les étapes de configuration pour configurer un entrepôt de Amazon Redshift données en tant que cible pour votre intégration zéro ETL.

Avant de créer une intégration zéro ETL avec une cible d'entrepôt de Amazon Redshift données, vous devez effectuer les tâches de configuration suivantes :

Configuration de l'entrepôt Amazon Redshift de données

Pour configurer un entrepôt de Amazon Redshift données pour votre intégration Zero-ETL :

Après avoir configuré l'entrepôt de Amazon Redshift données, vous pouvez Configuration de l’intégration avec votre cible terminer la configuration de l'intégration.

Configuration de l’intégration avec votre cible

Après avoir configuré les ressources source et cible, procédez comme suit pour terminer la configuration de l'intégration :

Utilisez ce qui suit pour créer l'intégration via une API ou une CLI : CreateIntegration API.