Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Création et gestion d'intégrations
Création d’une intégration
Cette section décrit les étapes générales de création d'une intégration. Cet exemple utilise Amazon DynamoDB en tant que source.
Sur la page d'accueil de la AWS Glue console, sélectionnez Zero-ETL integrations.
Vous pouvez consulter toutes vos intégrations sur la page d'accueil de l'intégration Zero ETL. Pour créer une intégration, sélectionnez Créer une intégration zéro ETL.
Vous êtes invité à sélectionner un type de source. Sélectionnez votre source et cliquez sur Suivant. Reportez-vous aux sections de configuration des sources pour les sources d'intégration SaaS.
Sur la page Configurer la source et la cible, sélectionnez les tables ou les entités à répliquer. Pour Amazon DynamoDB, assurez-vous que la politique PITR et RBAC est configurée.
Spécifiez votre cible d’intégration :
Pour une cible de catalogue de AWS Glue données, sélectionnez la AWS Glue base de données dans laquelle vous souhaitez répliquer les données.
Pour une cible d'entrepôt de Amazon Redshift données, sélectionnez l'espace de noms du cluster Redshift ou l'espace de nom du groupe de travail Redshift Serverless.
Pour de plus amples informations, veuillez consulter Configuration de l’intégration avec votre cible.
Indiquez le rôle IAM cible que vous avez créé dans les conditions préalables.
Si vous souhaitez configurer une clé KMS cible facultative pour les données stockées dans la cible, indiquez une clé KMS activée. De même, si vous souhaitez configurer une connexion réseau cible, sélectionnez-en une AWS Glue .
Le bouton Corriger la cible configure certaines des étapes de la section Prérequis de cette documentation. À savoir, 1) il fournira une politique RBAC du catalogue et 2) si aucun URI Amazon S3 n’est fourni, il en générera un pour vous, sinon il utilisera l’URI fourni.
Dans la section Paramètre de sortie de la page Configurer la source et la cible, sélectionnez l’option de désimbrication du schéma que vous souhaitez pour vos données dans la cible. Si vous souhaitez utiliser des clés de partition client pour vos données, sélectionnez Spécifier des clés de partition personnalisées et fournissez jusqu’à 10 clés. Sinon, vous pouvez simplement utiliser les clés de partition attribuées à votre table DynamoDB en cours de réplication.
Dans la section Sécurité et chiffrement des données, vous pouvez fournir une clé KMS qui sera utilisée dans le processus intermédiaire de réplication de vos données vers la cible. Dans le cas contraire, une clé KMS AWS gérée sera utilisée. Saisissez un nom pour l’intégration zéro ETL dans Détails de l’intégration.
Vérifiez et assurez-vous que tous les détails fournis sont corrects. Cliquez sur Créer et lancer l’intégration une fois que tout a été confirmé.
Sur la page d’accueil de zéro ETL, vous pouvez sélectionner l’intégration que vous avez créée et les détails de vos intégrations apparaîtront. « État » indique l’état de votre intégration.
Modification d’une intégration
Vous pouvez modifier une intégration existante.
Choisissez Modifier dans le coin supérieur droit de la page des détails de l’intégration.
Sur la page Modifier la source et la cible, vous pouvez modifier le rôle IAM Cible et la connexion réseau Cible. Les autres champs ne sont pas modifiables après la création de l’intégration. Cliquez sur Suivant.
Vous pouvez également modifier le nom et la description de l’intégration sur la page Modifier l’intégration et la configuration. Cliquez sur Suivant.
Vérifiez vos modifications et une fois confirmées, cliquez sur Mettre à jour l’intégration.
Suppression d’une intégration
La suppression est un état terminal d’une intégration. Une fois supprimée, l’intégration ne peut pas être rétablie. La suppression d’une intégration efface toutes les métadonnées internes et toutes les données stockées intermédiaires.
Au cours de ce processus, toutes les tâches en cours d'exécution qui écrivent des données dans une table cible sont interrompues. AWS Glue ne supprimera ni ne nettoiera la AWS Glue base de données cible (dans le catalogue de données) ni les données associées dans le compartiment Amazon S3 de votre compte. Vous devez les supprimer explicitement si nécessaire.
Pour supprimer une intégration :
Sur la page des détails de l’intégration, cliquez sur Supprimer.
Saisissez « Supprimer » et cliquez sur Supprimer. Remarque : Cette action est irréversible.
Sur la page des détails de l’intégration, l’état indique « Suppression ». Une fois l'intégration supprimée, elle n'apparaîtra plus sur la page d'accueil de l'intégration Zero ETL.
États d’intégration
L'intégration passe par différents états, de sa création à sa suppression :
CREATING- Il s'agit du premier état lorsque la création de l'intégration est lancée. Dans cet état, AWS Glue effectue les initialisations. Cet état devrait rapidement passer à l'état CREATED, sauf si certaines configurations sont manquantes.ACTIVE- Une fois que l'intégration AWS Glue aura atteint cet état, le transfert de données commencera (chargement complet initial). À moins qu'il n'y ait des problèmes d'autorisation, une fois le chargement complet initial terminé, la capture périodique des données de modification suivra.MODIFYING- Une fois que vous avez apporté des modifications à l'intégration, celle-ci passe à l'état de modification. Une fois la modification appliquée, l'intégration est reportée à la question deACTIVEsavoir si l'intégration a été réussie après la modification,FAILEDsi elle seraNEEDS_ATTENTIONeffective ou s'il y a eu des problèmes.NEEDS_ATTENTION- L'intégration passera à cet état en cas d'erreur utilisateur ou d'erreur système. Les erreurs de l'utilisateur incluent des autorisations manquantes, des ressources source ou cible manquantes, des erreurs de données non prises en charge. L'erreur système inclut les erreurs internes du système. Pour les deux types d'erreur, AWS Glue Zero ETL réessaiera de synchroniser les données pendant 7 jours avant de marquer l'intégration comme AYANT ÉCHOUÉ. Si vous corrigez le problème avant cela, l'intégration redeviendra ACTIVE et le transfert de données commencera.SYNCING- L'intégration passera à cet état si AWS Glue Zero ETL détecte un changement de type de données en ce qui concerne le schéma entrant pour les colonnes d'une table/de plusieurs tables. Dans de tels cas, AWS Glue Zero ETL demandera un nouvel ensemble d'instantanés pour toutes ces tables. Pendant ce temps, l'intégration sera en état de synchronisation et passera éventuellement à l'état ACTIF une fois que les nouveaux instantanés demandés seront disponibles pour l'ingestion.FAILED- Il s'agit d'un état irrécupérable. Une fois que l'intégration passe dans cet état, elle ne peut pas être rétablie. La seule façon de recommencer le transfert de données de la source vers la cible est de supprimer et de recréer l'intégration. Si AWS Glue Zero ETL identifie qu'une erreur utilisateur ou une erreur système n'a pas été corrigée depuis 7 jours et que toutes les tentatives sont épuisées, AWS Glue Zero ETL marquera l'intégration comme AYANT ÉCHOUÉ.DELETING- Lorsque vous appelez l'API delete-integration, passez d' AWS Glue abord l'intégration à l'état DELETING. Une fois toutes les métadonnées effacées et les traitements internes terminés, AWS Glue l'intégration passe à l'état DELETED.DELETED- Il s'agit de l'état du terminal pour l'intégration. L'intégration ne peut pas être déplacée de cet état vers un autre. Si le transfert de données est requis de la même source vers la cible, vous devez créer à nouveau l'intégration.
