Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Aurora Zero-ETL
Il s'agit d'une solution entièrement gérée permettant de rendre les données transactionnelles disponibles dans votre destination d'analyse après leur écriture dans un cluster de base de données DB. L'extraction, la transformation et le chargement (ETL) sont le processus qui consiste à combiner des données provenant de sources multiples dans un vaste entrepôt de données central.
Une intégration zéro ETL rend les données de votre cluster de base de données disponibles dans Amazon Redshift ou dans Amazon SageMaker un Lakehouse en temps quasi réel. Une fois que ces données se trouvent dans l'entrepôt de données ou le lac de données cible, vous pouvez optimiser vos charges de travail d'analyse, de machine learning et d'IA à l'aide des fonctionnalités intégrées, telles que l'apprentissage automatique, les vues matérialisées, le partage de données, l'accès fédéré à plusieurs magasins de données et lacs de données, ainsi que les intégrations avec SageMaker Amazon AI QuickSight, etc. Services AWS
Pour créer une intégration zéro ETL, vous devez spécifier un cluster de base de données comme source et un entrepôt de données ou un lakehouse pris en charge comme cible. L'intégration réplique les données de la base de données source vers l'entrepôt de données ou le lakehouse cible.
Le schéma suivant illustre cette fonctionnalité pour une intégration zéro ETL avec Amazon Redshift :
Le schéma suivant illustre cette fonctionnalité pour une intégration sans ETL dans un Amazon SageMaker lakehouse :
L’intégration surveille l’état du pipeline de données et effectue la récupération en cas de problèmes, lorsque cela est possible. Vous pouvez créer des intégrations à partir de plusieurs bases de données ) dans un seul entrepôt de données cible ou un lakehouse, ce qui vous permet d'obtenir des informations sur plusieurs applications.
Pour plus d'informations sur la tarification des intégrations sans ETL, consultez les rubriques Tarification et Tarification
Rubriques
Avantages
Les intégrations Aurora Zero-ETL présentent les avantages suivants :
-
Elles vous aident à dériver des informations holistiques de plusieurs sources de données.
-
Elles éliminent la nécessité de créer et de gérer des pipelines de données complexes qui effectuent des opérations d'extraction, de transformation et de chargement (ETL). Les intégrations zéro ETL suppriment les défis liés à la création et à la gestion de pipelines en les provisionnant et en les gérant pour vous.
-
Elles réduisent la charge opérationnelle et les coûts, et vous permettent de vous concentrer sur l'amélioration de vos applications.
-
Vous pouvez tirer parti des capacités d'analyse et de machine learning de la destination cible pour obtenir des informations à partir de données transactionnelles et autres, afin de répondre efficacement aux événements critiques et urgents.
Concepts clés
Lorsque vous commencez à utiliser des intégrations zéro ETL, tenez compte des concepts suivants :
- Integration
-
Un pipeline de données entièrement géré qui réplique automatiquement les données transactionnelles et les schémas d'un cluster de Aurora vers un entrepôt de données ou un catalogue.
- Cluster de base de source
-
Le cluster de Aurora DB à partir duquel les données sont répliquées. Vous pouvez spécifier un cluster de base de données qui utilise des instances de base de données provisionnées ou des Aurora Serverless v2 instances de base de données comme source.
- Cible
-
L'entrepôt de données ou le lakehouse dans lequel les données sont répliquées. Il existe deux types d'entrepôts de données : l'entrepôt de données en cluster provisionné et l'entrepôt de données sans serveur. Un entrepôt de données en cluster provisionné est une collection de ressources informatiques appelées nœuds, qui sont organisées en un groupe appelé cluster. Un entrepôt de données sans serveur est composé d'un groupe de travail qui stocke les ressources de calcul et d'un espace de noms qui héberge les utilisateurs et les objets de base de données. Les deux entrepôts de données exécutent un moteur d'analyse et contiennent une ou plusieurs bases de données.
Un lakehouse cible comprend des catalogues, des bases de données, des tables et des vues. Pour plus d'informations sur l'architecture de Lakehouse, consultez le guide Amazon SageMaker Lakehouse componentsde l'Amazon SageMaker Unified Studioutilisateur.
Plusieurs sources Les clusters de bases de données peuvent écrire sur la même cible.
Pour plus d'informations, consultez Architecture système de l'entrepôt de données dans le Guide du développeur de base de données Amazon Redshift.
Limites
Les limitations suivantes s'appliquent aux intégrations Aurora Zero-ETL.
Rubriques
Limitations générales
-
Le cluster source doit se trouver dans la même région que la cible.
-
Vous ne pouvez pas renommer un cluster ou l'une de ses instances s'il possède des intégrations existantes.
-
Vous ne pouvez pas créer plusieurs intégrations entre les mêmes bases de données source et cible.
-
Vous ne pouvez pas supprimer un cluster de données doté d'intégrations existantes. Vous devez d’abord supprimer toutes les intégrations associées.
-
Si vous arrêtez le cluster de source, les dernières transactions risquent de ne pas être répliquées vers la cible tant que vous ne reprenez pas le cluster de .
-
Si votre cluster de données est à l'origine d'un déploiement bleu/vert, les environnements bleu et vert ne peuvent pas comporter d'intégrations zéro ETL existantes lors du passage au numérique. Vous devez d'abord supprimer l'intégration et basculer, puis la recréer.
-
Un cluster de base de données doit contenir au moins une instance de base de données pour être la source d'une intégration.
-
Vous ne pouvez pas créer d'intégration pour un cluster de base de données source qui est un clone entre comptes, tel que ceux partagés à l'aide de AWS Resource Access Manager (AWS RAM).
-
Si votre cluster source est le cluster de base de données principal d'une base de données globale Aurora et qu'il bascule sur l'un de ses clusters secondaires, l'intégration devient inactive. Vous devez supprimer et recréer l'intégration.
-
Vous ne pouvez pas créer d'intégration pour une base de données source dont une autre intégration est activement créée.
-
Lors de la création initiale d'une intégration ou lors de la resynchronisation d'une table, l'ensemencement des données de la source vers la cible peut prendre 20 à 25 minutes, voire plus, selon la taille de la base de données source. Ce délai peut entraîner une augmentation du délai de réplication.
-
Certains types de données ne sont pas pris en charge. Pour de plus amples informations, veuillez consulter Différences de type de données entre les bases de données Aurora et Amazon Redshift.
-
Les tables système, les tables temporaires et les vues ne sont pas répliquées vers les entrepôts cibles.
-
ALTER TABLEles opérations de partition entraînent la resynchronisation de votre table afin de recharger les données d'Aurora vers la destination d'analyse. La table ne pourra pas être interrogée pendant la resynchronisation. Pour de plus amples informations, veuillez consulter Une ou plusieurs de mes tables Amazon Redshift nécessitent une resynchronisation.
Limitations propres à Aurora MySQL
-
Votre cluster de base de données source doit exécuter une version prise en charge d'Aurora MySQL. Pour une liste de versions prises en charge, consultez Régions prises en charge et moteurs de base de données Aurora pour les intégrations sans ETL.
-
Les intégrations zéro ETL s'appuient sur la journalisation binaire MySQL (binlog) pour capturer les modifications continues des données. N'utilisez pas le filtrage des données basé sur le binlog, car cela peut entraîner des incohérences entre les bases de données source et cible.
-
Les intégrations zéro ETL sont prises en charge uniquement pour les bases de données configurées pour utiliser le moteur de stockage InnoDB.
-
Les références de clé étrangère avec des mises à jour de table prédéfinies ne sont pas prises en charge. Plus précisément,
ON DELETElesON UPDATErègles ne sont pas prises en charge parCASCADESET NULL, etSET DEFAULTles actions. Toute tentative de création ou de mise à jour d'une table contenant de telles références à une autre table entraînera l'échec de la table. -
Les transactions XA
effectuées sur le cluster de base de données source font passer l'intégration à l'état de Syncing.
Limites d'Aurora PostgreSQL
-
Votre cluster de base de données source doit exécuter une version prise en charge d'Aurora PostgreSQL. Pour une liste de versions prises en charge, consultez Régions prises en charge et moteurs de base de données Aurora pour les intégrations sans ETL.
-
Si vous sélectionnez un cluster de base de données source Aurora PostgreSQL, vous devez spécifier au moins un modèle de filtre de données. Le modèle doit au minimum inclure une seule base de données (
database-name.*.* -
Toutes les bases de données créées dans le cluster de base de données Aurora PostgreSQL source doivent utiliser le codage UTF-8.
-
Si vous effectuez des transactions de partitionnement déclaratif
sur le cluster de base de données source, toutes les tables concernées entrent dans un état d'échec et ne sont plus accessibles. -
Les transactions en deux phases
ne sont pas prises en charge. -
Si vous supprimez toutes les instances de base de données d'un cluster de base de données à l'origine d'une intégration, puis que vous ajoutez à nouveau une instance de base de données, la réplication est interrompue entre les clusters source et cible.
-
Le cluster de base de données source ne peut pas utiliser la base de données Aurora Limitless.
Limitations propres à Amazon Redshift
Pour obtenir la liste des limitations d'Amazon Redshift liées aux intégrations sans ETL, consultez la section Considérations relatives à l'utilisation d'intégrations sans ETL avec Amazon Redshift dans le guide de gestion Amazon Redshift.
Amazon SageMakerlimites du lakehouse
Voici une limite pour les intégrations Amazon SageMaker Lakehouse Zero-ETL.
-
Les noms de catalogue sont limités à 19 caractères.
Quotas
Votre compte possède les quotas suivants liés aux intégrations Aurora Zero-ETL. Chaque quota s'applique par région, sauf indication contraire.
| Nom | Par défaut | Description |
|---|---|---|
| Intégrations | 100 | Nombre total d'intégrations au sein d'un Compte AWS. |
| Intégrations par cible | 50 | Le nombre d'intégrations envoyant des données à un seul entrepôt de données ou à un lakehouse cible. |
| Intégrations par cluster source | 5 | Nombre d'intégrations envoyant des données à partir d'un cluster de base de données d' de base de données source unique. |
En outre, l'entrepôt cible impose certaines limites au nombre de tables autorisées dans chaque instance de base de données ou nœud de cluster. Pour plus d'informations sur les quotas et les limites d'Amazon Redshift, consultez la section Quotas et limites dans Amazon Redshift dans le guide de gestion Amazon Redshift.
Régions prises en charge
Les intégrations Aurora Zero-ETL sont disponibles dans un sous-ensemble de. Régions AWS Pour obtenir une liste des régions prises en charge, consultez Régions prises en charge et moteurs de base de données Aurora pour les intégrations sans ETL.
