Adicionar dados a um cluster de banco de dados do Aurora de origem e consultá-los no Amazon Redshift

Para criar uma integração ETL zero que replica dados do Amazon Aurora no Amazon Redshift, você deve criar um banco de dados de destino no Amazon Redshift.

Primeiro, conecte-se ao cluster ou grupo de trabalho do Amazon Redshift e crie um banco de dados com uma referência ao identificador de integração. Depois, é possível adicionar dados ao cluster de banco de dados do Aurora de origem e vê-los replicados no Amazon Redshift.

Criação de um banco de dados de destino no Amazon Redshift

Antes de começar a replicar dados no Amazon Redshift, após você criar uma integração, você deve criar um banco de dados de destino no data warehouse de destino. Esse banco de dados de destino deve incluir uma referência ao identificador de integração. Você pode usar o console do Amazon Redshift ou o Editor de Consultas v2 para criar o banco de dados.

Para conferir instruções sobre como criar um banco de dados de destino, consulte Criar bancos de dados de destino no Amazon Redshift.

Adicionar dados ao cluster de banco de dados de origem

Depois de configurar a integração, será possível adicionar alguns dados ao cluster de banco de dados do Aurora que você deseja replicar no data warehouse do Amazon Redshift.

Primeiro, conecte-se ao cluster de banco de dados de origem usando o cliente do MySQL ou do PostgreSQL de sua escolha. Para obter instruções, consulte Como conectar-se a um cluster de bancos de dados Amazon Aurora.

Depois, crie uma tabela e insira uma linha de dados de exemplo.

Os utilitários pg_dump e pg_restore do PostgreSQL inicialmente criam tabelas sem uma chave primária e depois as adicionam. Se você estiver usando um desses utilitários, recomendamos primeiro criar um esquema e depois carregar os dados em um comando separado.

MySQL

O exemplo a seguir usa o utilitário MySQL Workbench.

CREATE DATABASE my_db;

USE my_db;

CREATE TABLE books_table (ID int NOT NULL, Title VARCHAR(50) NOT NULL, Author VARCHAR(50) NOT NULL,
Copyright INT NOT NULL, Genre VARCHAR(50) NOT NULL, PRIMARY KEY (ID));

INSERT INTO books_table VALUES (1, 'The Shining', 'Stephen King', 1977, 'Supernatural fiction');

PostgreSQL

O exemplo a seguir usa o terminal interativo do PostgreSQL psql. Ao se conectar ao cluster, inclua o banco de dados nomeado que você especificou ao criar a integração.

psql -h mycluster.cluster-123456789012.us-east-2.rds.amazonaws.com -p 5432 -U username -d named_db;

named_db=> CREATE TABLE books_table (ID int NOT NULL, Title VARCHAR(50) NOT NULL, Author VARCHAR(50) NOT NULL,
Copyright INT NOT NULL, Genre VARCHAR(50) NOT NULL, PRIMARY KEY (ID));

named_db=> INSERT INTO books_table VALUES (1, 'The Shining', 'Stephen King', 1977, 'Supernatural fiction');

Consultar os dados do Aurora no Amazon Redshift

Depois de adicionar dados ao cluster de banco de dados do Aurora, eles são replicados no Amazon Redshift e ficam prontos para serem consultados.

Também é possível consultar os dados usando o cliente de linha de comandos. Por exemplo:

destination_database=# select * from my_db."books_table";

 ID |       Title |        Author |   Copyright |                  Genre |  txn_seq |  txn_id
----+–------------+---------------+-------------+------------------------+----------+--------+
  1 | The Shining |  Stephen King |        1977 |   Supernatural fiction |        2 |   12192

Diferenças de tipos de dados entre os bancos de dados Aurora e Amazon Redshift

As tabelas a seguir mostram os mapeamentos de um tipo de dados do Aurora MySQL ou do Aurora PostgreSQL para um tipo de dados correspondente do Amazon Redshift. No momento, o Amazon Aurora é compatível somente com esses tipos de dados para integrações ETL zero.

Se uma tabela no cluster de banco de dados de origem incluir um tipo de dado incompatível, a tabela ficará fora de sincronia e não poderá ser consumida pelo destino do Amazon Redshift. O streaming da origem para o destino continuará, mas a tabela com o tipo de dados não compatível não estará disponível. Para corrigir a tabela e disponibilizá-la no Amazon Redshift, você deve reverter manualmente a alteração significativa e, em seguida, atualizar a integração executando ALTER DATABASE...INTEGRATION REFRESH.

Aurora MySQL

Aurora PostgreSQL

As integrações ETL zero para o Aurora PostgreSQL não são compatíveis com tipos de dados personalizados nem tipos de dados criados por extensões.

Operações de DDL para Aurora PostgreSQL

O Amazon Redshift é derivado do PostgreSQL, portanto, ele compartilha vários recursos com o Aurora PostgreSQL devido à sua arquitetura comum do PostgreSQL. As integrações ETL zero utilizam essas semelhanças para simplificar a replicação de dados do Aurora PostgreSQL para o Amazon Redshift, associando bancos de dados por nome e utilizando o banco de dados compartilhado, o esquema e a estrutura de tabelas.

Pense nos seguintes pontos ao gerenciar integrações ETL zero do Aurora PostgreSQL:

Apesar de suas semelhanças, o Amazon Redshift e o Aurora PostgreSQL têm diferenças importantes. As seções a seguir descrevem as respostas do sistema do Amazon Redshift para operações comuns de DDL.

Operações do banco de dados

A tabela a seguir mostra as respostas do sistema para operações de DDL do banco de dados.

Operações de esquema

A tabela a seguir mostra as respostas do sistema para operações de DDL do esquema.

Operações de tabela

A tabela a seguir mostra as respostas do sistema para operações de DDL da tabela.