Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Ajouter des données à un cluster de bases de données Aurora source et les interroger
Pour finir de créer une intégration zéro ETL qui réplique les données d’Amazon Aurora vers Amazon Redshift, vous devez créer une base de données dans la destination cible.
Pour les connections avec Amazon Redshift, connectez-vous à votre cluster ou groupe de travail Amazon Redshift et créez une base de données avec une référence à votre identifiant d’intégration. Ensuite, vous pouvez ajouter des données dans votre cluster de bases de données Aurora source afin qu’elles soient répliquées dans Amazon Redshift ou Amazon SageMaker.
Rubriques
Création d’une base de données cible
Avant de pouvoir commencer à répliquer des données dans Amazon Redshift, après avoir créé une intégration, vous devez créer une base de données dans votre entrepôt de données cible. Cette base de données de doit inclure une référence à l’identifiant d’intégration. Vous pouvez utiliser la console Amazon Redshift ou l’éditeur de requête v2 pour créer la base de données.
Pour obtenir des instructions sur la création d’une base de données de destination, consultez Création d’une base de données de destination dans Amazon Redshift.
Ajout de données à la base de données source
Après avoir configuré votre intégration, vous pouvez remplir le cluster de bases de données Aurora source avec les données que vous souhaitez répliquer dans votre entrepôt de données.
Note
Il existe des différences entre les types de données dans Amazon Aurora et dans l’entrepôt d’analytique cible. Pour un tableau des mappages de types de données, consultez Différences de type de données entre les bases de données Aurora et Amazon Redshift.
Tout d’abord, connectez-vous au cluster de bases de données source à l’aide du client MySQL ou PostgreSQL de votre choix. Pour obtenir des instructions, consultez Connexion à un cluster de bases de données Amazon Aurora.
Ensuite, créez une table et insérez une ligne d’exemples de données.
Important
Assurez-vous que la table possède une clé primaire. Sinon, elle ne peut pas être répliquée vers l’entrepôt de données cible.
Les utilitaires PostgreSQL pg_dump et pg_restore créent d’abord des tables sans clé primaire, puis les ajoutent par la suite. Si vous utilisez l’un de ces utilitaires, nous vous recommandons de créer d’abord un schéma, puis de charger les données dans une commande distincte.
MySQL
L’exemple suivant utilise l’utilitaire MySQL Workbench
CREATE DATABASEmy_db; USEmy_db; CREATE TABLEbooks_table(ID int NOT NULL, Title VARCHAR(50) NOT NULL, Author VARCHAR(50) NOT NULL, Copyright INT NOT NULL, Genre VARCHAR(50) NOT NULL, PRIMARY KEY (ID)); INSERT INTObooks_tableVALUES (1, 'The Shining', 'Stephen King', 1977, 'Supernatural fiction');
PostgreSQL
L’exemple suivant utilise le terminal interactif PostgreSQL psql. Lorsque vous vous connectez au cluster, incluez la base de données nommée que vous avez spécifiée lors de la création de l’intégration.
psql -hmycluster.cluster-123456789012.us-east-2.rds.amazonaws.com -p 5432 -Uusername-dnamed_db; named_db=> CREATE TABLEbooks_table(ID int NOT NULL, Title VARCHAR(50) NOT NULL, Author VARCHAR(50) NOT NULL, Copyright INT NOT NULL, Genre VARCHAR(50) NOT NULL, PRIMARY KEY (ID)); named_db=> INSERT INTObooks_tableVALUES (1, 'The Shining', 'Stephen King', 1977, 'Supernatural fiction');
Interrogation de vos données Aurora dans Amazon Redshift
Une fois que vous avez ajouté des données à la base de données RDS, elles sont répliquées dans la base de données de destination et sont prêtes à être interrogées.
Pour interroger les données répliquées
-
Accédez à la console Amazon Redshift et choisissez Éditeur de requête v2 dans le panneau de navigation de gauche.
-
Connectez-vous à votre cluster ou groupe de travail et choisissez votre base de données de destination (que vous avez créée à partir de l’intégration) dans le menu déroulant (destination_database dans cet exemple). Pour obtenir des instructions sur la création d’une base de données de destination, consultez Création d’une base de données de destination dans Amazon Redshift.
-
Utilisez une instruction SELECT pour interroger vos données. Dans cet exemple, vous pouvez exécuter la commande suivante pour sélectionner toutes les données de la table que vous avez créée dans le cluster de bases de données Aurora source :
SELECT * frommy_db."books_table";
-
est le nom du schéma de base de données Aurora. Cette option n’est nécessaire que pour les bases de données MySQL.my_db -
est le nom de la table Aurora.books_table
-
Vous pouvez également interroger les données à l’aide d’un client de ligne de commande : Par exemple :
destination_database=# select * frommy_db."books_table"; ID | Title | Author | Copyright | Genre | txn_seq | txn_id ----+–------------+---------------+-------------+------------------------+----------+--------+ 1 | The Shining | Stephen King | 1977 | Supernatural fiction | 2 | 12192
Note
Pour appliquer la sensibilité à la casse, utilisez des guillemets doubles (« ») pour les noms de schéma, de table et de colonne. Pour plus d’informations, consultez enable_case_sensitive_identifier.
Différences de type de données entre les bases de données Aurora et Amazon Redshift
Les tableaux suivants montrent les mappages des types de données Aurora MySQL et Aurora PostgreSQL avec les types de données de destination correspondants. Amazon Aurora ne prend actuellement en charge que ces types de données pour les intégrations zéro ETL.
Si une table de votre cluster de bases de données source inclut un type de données non pris en charge, la table est désynchronisée et n’est pas consommable par la destination cible. Le streaming de la source vers la cible se poursuit, mais le tableau contenant le type de données non pris en charge n’est pas disponible. Pour corriger la table et la mettre à disposition dans la destination cible, vous devez annuler manuellement la modification importante, puis actualiser l’intégration en exécutant ALTER DATABASE...INTEGRATION
REFRESH.
Note
Vous ne pouvez pas actualiser les intégrations zéro ETL à un Amazon SageMaker Lakehouse. Supprimez plutôt l’intégration et essayez de la créer à nouveau.
Rubriques
Aurora MySQL
| Type de données Aurora MySQL | Types de données cibles | Description | Limitations |
|---|---|---|---|
| INT | INTEGER | Entier signé sur quatre octets | Aucun |
| SMALLINT | SMALLINT | Entier signé sur deux octets | Aucun |
| TINYINT | SMALLINT | Entier signé sur deux octets | Aucun |
| MEDIUMINT | INTEGER | Entier signé sur quatre octets | Aucun |
| BIGINT | BIGINT | Entier signé sur huit octets | Aucun |
| INT UNSIGNED | BIGINT | Entier signé sur huit octets | Aucun |
| TINYINT UNSIGNED | SMALLINT | Entier signé sur deux octets | Aucun |
| MEDIUMINT UNSIGNED | INTEGER | Entier signé sur quatre octets | Aucun |
| BIGINT UNSIGNED | DECIMAL(20,0) | Valeur numérique exacte avec précision sélectionnable | Aucun |
| DECIMAL(p,s) = NUMERIC(p,s) | DECIMAL(p,s) | Valeur numérique exacte avec précision sélectionnable |
Une précision supérieure à 38 et une mise à l’échelle supérieure à 37 ne sont pas prises en charge |
| DECIMAL(p,s) UNSIGNED = NUMERIC(p,s) UNSIGNED | DECIMAL(p,s) | Valeur numérique exacte avec précision sélectionnable |
Une précision supérieure à 38 et une mise à l’échelle supérieure à 37 ne sont pas prises en charge |
| FLOAT4/REAL | REAL | Nombre à virgule flottante simple précision | Aucun |
| FLOAT4/REAL UNSIGNED | REAL | Nombre à virgule flottante simple précision | Aucun |
| DOUBLE/REAL/FLOAT8 | DOUBLE PRECISION | Nombre à virgule flottante de double précision | Aucun |
| DOUBLE/REAL/FLOAT8 UNSIGNED | DOUBLE PRECISION | Nombre à virgule flottante de double précision | Aucun |
| BIT(n) | VARBYTE(8) | Valeur binaire de longueur variable | Aucun |
| BINARY(n) | VARBYTE(n) | Valeur binaire de longueur variable | Aucun |
| VARBINARY(n) | VARBYTE(n) | Valeur binaire de longueur variable | Aucun |
| CHAR(n) | VARCHAR(n) | Valeur de chaîne de longueur variable | Aucun |
| VARCHAR(n) | VARCHAR(n) | Valeur de chaîne de longueur variable | Aucun |
| TEXT | VARCHAR(65535) | Valeur de chaîne de longueur variable jusqu’à 65 535 caractères | Aucun |
| TINYTEXT | VARCHAR(255) | Valeur de chaîne de longueur variable jusqu’à 255 caractères | Aucun |
| MEDIUMTEXT | VARCHAR(65535) | Valeur de chaîne de longueur variable jusqu’à 65 535 caractères | Aucun |
| LONGTEXT | VARCHAR(65535) | Valeur de chaîne de longueur variable jusqu’à 65 535 caractères | Aucun |
| ENUM | VARCHAR(1020) | Valeur de chaîne de longueur variable jusqu’à 1 020 caractères | Aucun |
| SET | VARCHAR(1020) | Valeur de chaîne de longueur variable jusqu’à 1 020 caractères | Aucun |
| DATE | DATE | Date calendaire (année, mois, jour) | Aucun |
| DATETIME | TIMESTAMP | Date et heure (sans fuseau horaire) | Aucun |
| TIMESTAMP(p) | TIMESTAMP | Date et heure (sans fuseau horaire) | Aucun |
| TIME | VARCHAR(18) | Valeur de chaîne de longueur variable jusqu’à 18 caractères | Aucun |
| YEAR | VARCHAR(4) | Valeur de chaîne de longueur variable jusqu’à 4 caractères | Aucun |
| JSON | SUPER | Données ou documents semi-structurés sous forme de valeurs | Aucun |
Aurora PostgreSQL
Les intégrations zéro ETL pour Aurora PostgreSQL ne prennent pas en charge les types de données personnalisés ni les types de données créés par des extensions.
| Type de données Aurora PostgreSQL | Type de données Amazon Redshift | Description | Limitations |
|---|---|---|---|
| array | SUPER | Données ou documents semi-structurés sous forme de valeurs | Aucun |
| bigint | BIGINT | Entier signé sur huit octets | Aucun |
| bigserial | BIGINT | Entier signé sur huit octets | Aucun |
| bit varying(n) | VARBYTE(n) | Valeur de chaîne de longueur variable jusqu’à 16 777,216 octets | Aucun |
| bit(n) | VARBYTE(n) | Valeur de chaîne de longueur variable jusqu’à 16 777,216 octets | Aucun |
| bit, bit varying | VARBYTE(16777216) | Valeur de chaîne de longueur variable jusqu’à 16 777,216 octets | Aucun |
| booléen | BOOLEAN | Booléen logique (true/false) | Aucun |
| bytea | VARBYTE(16777216) | Valeur de chaîne de longueur variable jusqu’à 16 777,216 octets | Aucun |
| char(n) | CHAR(n) | Valeur de chaîne de caractères de longueur fixe jusqu’à 65 535 octets | Aucun |
| char varying(n) | VARCHAR(65535) | Valeur de chaîne de caractères de longueur variable jusqu’à 65 535 caractères | Aucun |
| cid | BIGINT |
Entier signé sur huit octets |
Aucun |
| cidr |
VARCHAR(19) |
Valeur de chaîne de longueur variable jusqu’à 19 caractères |
Aucun |
| date | DATE | Date calendaire (année, mois, jour) |
Valeurs supérieures à 294 276 après Jésus-Christ non prises en charge |
| double precision | DOUBLE PRECISION | Nombres à virgule flottante de double précision | Valeurs inférieures à la normale non entièrement prises en charge |
|
gtsvector |
VARCHAR(65535) |
Valeur de chaîne de longueur variable jusqu’à 65 535 caractères |
Aucun |
| inet |
VARCHAR(19) |
Valeur de chaîne de longueur variable jusqu’à 19 caractères |
Aucun |
| entier | INTEGER | Entier signé sur quatre octets | Aucun |
|
int2vector |
SUPER | Données ou documents semi-structurés sous forme de valeurs. | Aucun |
| interval | INTERVAL | Durée | Seuls les types INTERVAL qui spécifient un qualificatif annuel par mois ou un qualificatif journalier par seconde sont pris en charge. |
| json | SUPER | Données ou documents semi-structurés sous forme de valeurs | Aucun |
| jsonb | SUPER | Données ou documents semi-structurés sous forme de valeurs | Aucun |
| jsonpath | VARCHAR(65535) | Valeur de chaîne de longueur variable jusqu’à 65 535 caractères | Aucun |
|
macaddr |
VARCHAR(17) | Valeur de chaîne de longueur variable jusqu’à 17 caractères | Aucun |
|
macaddr8 |
VARCHAR(23) | Valeur de chaîne de longueur variable jusqu’à 23 caractères | Aucun |
| money | DECIMAL(20,3) | Montant en devises | Aucun |
| name | VARCHAR(64) | Valeur de chaîne de longueur variable jusqu’à 64 caractères | Aucun |
| numeric(p,s) | DECIMAL(p,s) | Valeur de précision fixe définie par l’utilisateur |
|
| oid | BIGINT | Entier signé sur huit octets | Aucun |
| oidvector | SUPER | Données ou documents semi-structurés sous forme de valeurs. | Aucun |
| pg_brin_bloom_summary | VARCHAR(65535) | Valeur de chaîne de longueur variable jusqu’à 65 535 caractères | Aucun |
| pg_dependencies | VARCHAR(65535) | Valeur de chaîne de longueur variable jusqu’à 65 535 caractères | Aucun |
| pg_lsn | VARCHAR(17) | Valeur de chaîne de longueur variable jusqu’à 17 caractères | Aucun |
| pg_mcv_list | VARCHAR(65535) | Valeur de chaîne de longueur variable jusqu’à 65 535 caractères | Aucun |
| pg_ndistinct | VARCHAR(65535) | Valeur de chaîne de longueur variable jusqu’à 65 535 caractères | Aucun |
| pg_node_tree | VARCHAR(65535) | Valeur de chaîne de longueur variable jusqu’à 65 535 caractères | Aucun |
| pg_snapshot | VARCHAR(65535) | Valeur de chaîne de longueur variable jusqu’à 65 535 caractères | Aucun |
| real | REAL | Nombre à virgule flottante simple précision | Valeurs inférieures à la normale non entièrement prises en charge |
| refcursor | VARCHAR(65535) | Valeur de chaîne de longueur variable jusqu’à 65 535 caractères | Aucun |
| smallint | SMALLINT | Entier signé sur deux octets | Aucun |
| smallserial | SMALLINT | Entier signé sur deux octets | Aucun |
| serial | INTEGER | Entier signé sur quatre octets | Aucun |
| text | VARCHAR(65535) | Valeur de chaîne de longueur variable jusqu’à 65 535 caractères | Aucun |
| tid | VARCHAR(23) | Valeur de chaîne de longueur variable jusqu’à 23 caractères | Aucun |
| time [(p)] without time zone | VARCHAR(19) | Valeur de chaîne de longueur variable jusqu’à 19 caractères | Valeurs Infinity et -Infinity non prises en charge |
| time [(p)] with time zone | VARCHAR(22) | Valeur de chaîne de longueur variable jusqu’à 22 caractères | Valeurs Infinity et -Infinity non prises en charge |
| timestamp [(p)] without time zone | TIMESTAMP | Date et heure (sans fuseau horaire) |
|
| timestamp [(p)] with time zone | TIMESTAMPTZ | Date et heure (avec fuseau horaire) |
|
| TSQUERY | VARCHAR(65535) | Valeur de chaîne de longueur variable jusqu’à 65 535 caractères | Aucun |
| tsvector | VARCHAR(65535) | Valeur de chaîne de longueur variable jusqu’à 65 535 caractères | Aucun |
| txid_snapshot | VARCHAR(65535) | Valeur de chaîne de longueur variable jusqu’à 65 535 caractères | Aucun |
| uuid | VARCHAR(36) | Chaîne de 36 caractères de longueur variable | Aucun |
| xid | BIGINT | Entier signé sur huit octets | Aucun |
| xid8 | DECIMAL(20, 0) | Décimal de précision fixe | Aucun |
| xml | VARCHAR(65535) | Valeur de chaîne de longueur variable jusqu’à 65 535 caractères | Aucun |
Opérations DDL pour Aurora PostgreSQL
Amazon Redshift est dérivé de PostgreSQL. Il partage donc plusieurs fonctionnalités avec Aurora PostgreSQL en raison de leur architecture PostgreSQL commune. Les intégrations zéro ETL tirent parti de ces similitudes pour rationaliser la réplication des données de Aurora PostgreSQL vers Amazon Redshift, en mappant les bases de données par nom et en utilisant la base de données, le schéma et la structure de table partagés.
Tenez compte des points suivants lors de la gestion des intégrations zéro ETL Aurora PostgreSQL :
-
L’isolation est gérée au niveau de la base de données.
-
La réplication s’effectue au niveau de la base de données.
-
Les bases de données Aurora PostgreSQL sont mappées aux bases de données Amazon Redshift par leur nom, les données étant transmises à la base de données Redshift renommée correspondante si l’original est renommé.
Malgré leurs similitudes, Amazon Redshift et Aurora PostgreSQL présentent des différences importantes. Les sections suivantes décrivent les réponses du système Amazon Redshift pour les opérations DDL courantes.
Opérations de base de données
Le tableau suivant présente les réponses du système aux opérations DDL de base de données.
| Opération DDL | Réponse du système Redshift |
|---|---|
CREATE DATABASE |
Aucune opération |
DROP DATABASE |
Amazon Redshift supprime toutes les données de la base de données Redshift cible. |
RENAME DATABASE |
Amazon Redshift supprime toutes les données de la base de données cible d’origine et resynchronise les données de la nouvelle base de données cible. Si la nouvelle base de données n’existe pas, vous devez la créer manuellement. Pour obtenir des instructions, consultez Création d’une base de données de destination dans Amazon Redshift. |
Opérations de schéma
Le tableau suivant présente les réponses du système aux opérations DDL de schéma.
| Opération DDL | Réponse du système Redshift |
|---|---|
CREATE SCHEMA |
Aucune opération |
DROP SCHEMA |
Amazon Redshift supprime le schéma d’origine. |
RENAME SCHEMA |
Amazon Redshift supprime le schéma d’origine puis resynchronise les données dans le nouveau schéma. |
Opérations de table
Le tableau suivant présente les réponses du système aux opérations DDL de table.
| Opération DDL | Réponse du système Redshift |
|---|---|
CREATE TABLE |
Amazon Redshift crée la table. Certaines opérations entraînent l’échec de la création de tables, telles que la création d’une table sans clé primaire ou le partitionnement déclaratif. Pour plus d’informations, consultez Limitations et Résolution des problèmes liés aux intégrations zéro ETL Aurora. |
DROP TABLE |
Amazon Redshift supprime la table. |
TRUNCATE TABLE |
Amazon Redshift tronque la table. |
ALTER TABLE
(RENAME...) |
Amazon Redshift renomme la table ou la colonne. |
ALTER TABLE (SET
SCHEMA) |
Amazon Redshift supprime la table dans le schéma d’origine, puis resynchronise la table dans le nouveau schéma. |
ALTER TABLE (ADD PRIMARY
KEY) |
Amazon Redshift ajoute une clé primaire et resynchronise la table. |
ALTER TABLE (ADD
COLUMN) |
Amazon Redshift ajoute une colonne à la table. |
ALTER TABLE (DROP
COLUMN) |
Amazon Redshift supprime la colonne s’il ne s’agit pas d’une colonne de clé primaire. Dans le cas contraire, il resynchronise la table. |
ALTER TABLE (SET
LOGGED/UNLOGGED) |
Si vous remplacez la table par Journalisé, Amazon Redshift la resynchronise. Si vous remplacez la table par Non journalisé, Amazon Redshift la supprime. |