Usar um banco de dados PostgreSQL como origem do AWS DMS

É possível migrar dados de um ou de vários bancos de dados PostgreSQL utilizando o AWS DMS. Com um banco de dados PostgreSQL como origem, é possível migrar dados para outro banco de dados PostgreSQL ou para um dos outros bancos de dados compatíveis.

Para obter informações sobre as versões do PostgreSQL compatíveis com o AWS DMS como origem, consulte Origens do AWS DMS.

O AWS DMS é compatível com o PostgreSQL para estes tipos de bancos de dados:

É possível utilizar o Secure Socket Layers (SSL) para criptografar conexões entre o endpoint do PostgreSQL e a instância de replicação. Para obter mais informações sobre como utilizar o SSL com um endpoint do PostgreSQL, consulte Usar SSL com o AWS Database Migration Service.

O único requisito de segurança ao utilizar o PostgreSQL como origem é que a conta de usuário especificada deve ser de um usuário registrado no banco de dados PostgreSQL.

Para configurar um banco de dados PostgreSQL como um endpoint de origem do AWS DMS, faça o seguinte:

Como trabalhar com bancos de dados PostgreSQL autogerenciados como origem no AWS DMS

Com um banco de dados PostgreSQL como origem, é possível migrar dados para outro banco de dados PostgreSQL ou para um dos outros bancos de dados compatíveis com o AWS DMS. A origem do banco de dados pode ser um banco de dados on-premises ou um mecanismo autogerenciado em execução em uma instância do Amazon EC2. É possível utilizar uma instância de banco de dados para tarefas de carga máxima e de captura de dados de alteração (CDC).

Pré-requisitos para a utilização de um banco de dados PostgreSQL como origem do AWS DMS

Antes de migrar dados de um banco de dados PostgreSQL de origem autogerenciado, faça o seguinte:

Ativar a CDC utilizando um banco de dados PostgreSQL autogerenciado como origem do AWS DMS

O AWS DMS é compatível com a captura de dados de alteração (CDC) ao utilizar replicação lógica. Para ativar a replicação lógica de um banco de dados de origem do PostgreSQL autogerenciado, defina os seguintes parâmetros e valores no arquivo de configuração postgresql.conf:

Alguns parâmetros são estáticos, e você só pode defini-los na inicialização do servidor. Quaisquer alterações nas entradas do arquivo de configuração (para um banco de dados autogerenciado) ou no grupo de parâmetros do banco de dados (para um banco de dados RDS para PostgreSQL) são ignoradas até que o servidor seja reiniciado. Para obter mais informações, consulte a Documentação do PostgreSQL.

Para obter mais informações sobre como ativar a CDC, consulte Ativar a captura de dados de alteração (CDC) utilizando replicação lógica.

‎Como trabalhar com bancos de dados PostgreSQL gerenciados pela AWScomo origem do DMS

É possível utilizar uma instância de banco de dados PostgreSQL gerenciado pela AWS como origem do AWS DMS. É possível executar tarefas de carga máxima e tarefas de captura de dados de alteração (CDC) utilizando uma origem PostgreSQL gerenciado pela AWS.

Pré-requisitos para a utilização de um banco de dados PostgreSQL gerenciado pela AWS como origem do DMS

Antes de migrar dados de um banco de dados de origem PostgreSQL gerenciado pela AWS, faça o seguinte:

Ativar a CDC com uma instância de banco de dados PostgreSQL gerenciado pela AWS com o AWS DMS

O AWS DMS é compatível com a CDC em bancos de dados Amazon RDS PostgreSQL quando a instância de banco de dados está configurada para utilizar replicação lógica. A tabela a seguir resume a compatibilidade com a replicação lógica de cada versão do PostgreSQL gerenciado pela AWS.

Migrar um banco de dados Amazon RDS para PostgreSQL sem utilizar a conta de usuário mestre

Em alguns casos, é possível não utilizar a conta de usuário mestre para a instância de banco de dados Amazon RDS PostgreSQL que você está utilizando como origem. Nesses casos, crie vários objetos para capturar os eventos da linguagem de definição de dados (DDL). Crie esses objetos utilizando uma conta diferente da conta mestrr e, depois, crie um acionador na conta de usuário mestre.

Utilize o procedimento a seguir para criar esses objetos.

Ao concluir o procedimento anterior, você poderá criar o endpoint de origem do AWS DMS utilizando a conta OtherThanMaster.

Ativar a captura de dados de alteração (CDC) utilizando replicação lógica

É possível utilizar o recurso de replicação lógica nativa do PostgreSQL para ativar a captura de dados de alteração (CDC) durante a migração do banco de dados de origens do PostgreSQL. É possível utilizar esse recurso com o PostgreSQL autogerenciado e também com uma instância do banco de dados Amazon RDS para PostgreSQL. Essa abordagem reduz o tempo de inatividade e ajuda a garantir que o banco de dados de destino esteja sincronizado com o banco de dados PostgreSQL de origem.

O AWS DMS é compatível com a CDC para tabelas do PostgreSQL com chaves primárias. Se uma tabela não tiver uma chave primária, os logs de gravação antecipada (WAL) não incluirão uma imagem anterior da linha do banco de dados. Nesse caso, o DMS não pode atualizar a tabela. Aqui, é possível utilizar configurações adicionais e utilizar a identidade da réplica da tabela como uma solução alternativa. No entanto, essa abordagem pode gerar logs adicionais. É recomendável utilizar a identidade da réplica da tabela como solução alternativa somente após testes cuidadosos. Para obter mais informações, consulte Definições de configuração adicionais ao utilizar um banco de dados PostgreSQL como origem do DMS.

Para tarefas de carga máxima e de CDC e de somente CDC, o AWS DMS utiliza slots de replicação lógica para reter os logs WAL para replicação até que os logs sejam decodificados. Ao reiniciar (não ao retomar) para uma carga máxima e uma tarefa de CDC ou uma tarefa de somente de CDC, o slot de replicação é recriado.

Configurar o plug-in pglogical

Implementado como uma extensão do PostgreSQL, o plug-in pglogical é um sistema de replicação lógica e um modelo para replicação seletiva de dados. A tabela a seguir identifica as versões de origem do banco de dados PostgreSQL que são compatíveis com o plug-in pglogical.

Antes de configurar o pglogical para utilização com o AWS DMS, primeiro ative a replicação lógica para captura de dados de alteração (CDC) no banco de dados de origem PostgreSQL.

Depois que a replicação lógica estiver ativada no banco de dados de origem PostgreSQL, utilize as etapas a seguir para configurar o pglogical para utilização com o DMS.

Agora é possível criar uma tarefa do AWS DMS que executa a captura de dados de alteração do endpoint do banco de dados de origem PostgreSQL.

Utilizar pontos de início nativos da CDC para configurar uma carga de CDC de uma origem PostgreSQL

Para ativar os pontos de início nativos da CDC com o PostgreSQL como origem, defina o atributo de conexão adicional slotName como o nome de um slot de replicação lógica existente ao criar o endpoint. Esse slot de replicação lógica mantém as alterações contínuas desde a hora da criação do endpoint, portanto, ele é compatível com a replicação de um ponto no tempo.

O PostgreSQL grava as alterações do banco de dados em arquivos WAL que são descartados somente depois que o AWS DMS faz a leitura das alterações do slot de replicação lógica com êxito. O uso de slots de replicação lógica pode impedir que as alterações registradas sejam excluídas antes de serem consumidas pelo mecanismo de replicação.

No entanto, dependendo da taxa de alteração e consumo, as alterações mantidas em um slot de replicação lógica podem causar a utilização elevado do disco. É recomendável definir alarmes de utilização de espaço na instância de origem PostgreSQL ao utilizar slots de replicação lógica. Para obter mais informações sobre como definir o atributo de conexão adicional slotName, consulte Configurações de endpoint e atributos de conexão adicionais (ECAs) ao usar o PostgreSQL como origem do DMS.

O procedimento a seguir demonstra essa abordagem com mais detalhes.

Ao utilizar pontos de início nativos da CDC com o plug-in pglogical e quiser utilizar um novo slot de replicação, conclua as etapas de configuração a seguir antes de criar uma tarefa de CDC.

Agora é possível criar uma tarefa somente de CDC com um ponto de início nativo do PostgreSQL utilizando o novo slot de replicação. Para obter mais informações sobre o plug-in pglogical, consulte a Documentação do pglogical 3.7

Migração do PostgreSQL para o PostgreSQL utilizando o AWS DMS

Ao migrar de um mecanismo de banco de dados diferente do PostgreSQL para um banco de dados PostgreSQL, o AWS DMS quase sempre é a melhor ferramenta de migração a ser utilizada. No entanto, ao migrar de um banco de dados PostgreSQL para um banco de dados PostgreSQL, as ferramentas do PostgreSQL podem ser mais eficazes.

Utilize ferramentas nativas do PostgreSQL para migrar dados

É recomendável utilizar ferramentas nativas de migração do banco de dados PostgreSQL, como pg_dump, nas seguintes condições:

O utilitário pg_dump utiliza o comando COPY para criar um esquema e um despejo de dados de um banco de dados PostgreSQL. O script de despejo gerado pelo pg_dump carrega os dados em um banco de dados com o mesmo nome e recria as tabelas, os índices e as chaves estrangeiras. Para restaurar os dados para um banco de dados com outro nome, utilize o comando pg_restore e o parâmetro -d.

Se estiver migrando dados de um banco de dados de origem PostgreSQL sendo executado no EC2 para um destino Amazon RDS para PostgreSQL, você poderá utilizar o plug-in pglogical.

Para obter mais informações sobre como importar de um banco de dados PostgreSQL para o Amazon RDS para PostgreSQL ou para a edição do Amazon Aurora compatível com PostgreSQL, consulte https://docs.aws.amazon.com/AmazonRDS/latest/UserGuide/PostgreSQL.Procedural.Importing.html.

Utilizar o DMS para migrar dados do PostgreSQL para o PostgreSQL

O AWS DMS pode migrar dados, por exemplo, de um banco de dados PostgreSQL de origem que está on-premises para um Amazon RDS para PostgreSQL de destino ou uma instância do Aurora PostgreSQL. Os tipos de dados do PostgreSQL fundamentais ou básicos geralmente migram com êxito.

Tipos de dados compatíveis com o banco de dados de origem, mas não são incompatíveis no destino, podem não ser migrados corretamente. O AWS DMS transmite alguns tipos de dados como strings se o tipo de dados for desconhecido. Alguns tipos de dados, como XML e JSON, podem ser migrados com êxito como arquivos pequenos, mas podem falhar se forem documentos grandes.

Ao executar a migração do tipo de dados, lembre-se de que:

A tabela a seguir mostra os tipos de dados do PostgreSQL de origem e se podem ser migrados com êxito.

Migrar tipos de dados espaciais do PostGIS

Dados espaciais identificam a informação de geometria de um objeto ou local no espaço. Os bancos de dados relacionais de objetos PostgreSQL são compatíveis com os tipos de dados espaciais do PostGIS.

Antes de migrar objetos de dados espaciais do PostgreSQL, verifique se o plug-in PostGIS está ativado no nível global. Isso garante que o AWS DMS crie colunas exatas de dados espaciais de origem para a instância de banco de dados de destino PostgreSQL.

Para migrações homogêneas de PostgreSQL para PostgreSQL, o AWS DMS é compatível com a migração de tipos e subtipos de objetos de dados geométricos e geográficos do PostGIS (coordenadas geodésicas), como o seguinte:

Migrar do Babelfish para o Amazon Aurora PostgreSQL usando o AWS DMS

Você pode migrar as tabelas de origem do Babelfish para Aurora PostgreSQL para qualquer endpoint de destino compatível usando o AWS DMS.

Ao criar seu endpoint de origem do AWS DMS utilizando o console do DMS, a API ou os comandos da CLI, você define a origem como o Amazon Aurora PostgreSQL e o nome do banco de dados como babelfish_db. Na seção Configurações de endpoint, garanta que DatabaseMode esteja definido como Babelfish e que BabelfishDatabaseName esteja definido como o nome do banco de dados do Babelfish T-SQL de origem. Em vez de usar a porta TCP 1433 do Babelfish, use a porta TCP 5432 do Aurora PostgreSQL.

Crie as tabelas antes de migrar os dados para garantir que o DMS utilize os tipos de dados e metadados de tabela corretos. Se você não criar as tabelas no destino antes de executar a migração, o DMS poderá criar as tabelas com tipos de dados e permissões incorretos.

Adicionar regras de transformação à tarefa de migração

Ao criar uma tarefa de migração para uma origem do Babelfish, inclua regras de transformação que garantam que o DMS utilize as tabelas de destino pré-criadas.

Se você definiu o modo de migração de vários bancos de dados ao definir seu cluster do Babelfish para PostgreSQL, adicione uma regra de transformação que renomeia o nome do esquema para o esquema do T-SQL. Por exemplo, se o nome do esquema do T-SQL for dbo e o nome do esquema do Babelfish para PostgreSQL for mydb_dbo, renomeie o esquema para dbo utilizando uma regra de transformação. Para encontrar o nome do esquema do PostgreSQL, consulte Arquitetura do Babelfish no Guia do usuário do Amazon Aurora.

Se você utilizar o modo de banco de dados único, não será necessário usar uma regra de transformação para renomear os esquemas de bancos de dados. Os nomes dos esquemas do PostgreSQL têm um mapeamento de um a um para os nomes dos esquemas no banco de dados T-SQL.

O exemplo de regra de transformação a seguir mostra como renomear o nome do esquema de mydb_dbo de volta para dbo:

{
    "rules": [
        {
            "rule-type": "transformation",
            "rule-id": "566251737",
            "rule-name": "566251737",
            "rule-target": "schema",
            "object-locator": {
                "schema-name": "mydb_dbo"
            },
            "rule-action": "rename",
            "value": "dbo",
            "old-value": null
        },
        {
            "rule-type": "selection",
            "rule-id": "566111704",
            "rule-name": "566111704",
            "object-locator": {
                "schema-name": "mydb_dbo",
                "table-name": "%"
            },
            "rule-action": "include",
            "filters": []
        }
    ]
}

Limitações ao utilizar um endpoint de origem do PostgreSQL com tabelas do Babelfish

As limitações a seguir se aplicam ao utilizar um endpoint de origem do PostgreSQL com tabelas do Babelfish:

Remover artefatos do AWS DMS de um banco de dados de origem PostgreSQL

Para capturar eventos de DDL, o AWS DMS cria vários artefatos no banco de dados PostgreSQL quando uma tarefa de migração é iniciada. Quando a tarefa é concluída, é recomendável remover esses artefatos.

Para remover os artefatos, execute os comandos a seguir (na ordem em que são exibidos), em que {AmazonRDSMigration} é o esquema no qual os artefatos foram criados: O descarte de um esquema deve ser feito com extremo cuidado. Nunca descarte um esquema operacional, especialmente um esquema que seja público.

drop event trigger awsdms_intercept_ddl;

O gatilho de eventos não pertence a um esquema específico.

drop function {AmazonRDSMigration}.awsdms_intercept_ddl()
drop table {AmazonRDSMigration}.awsdms_ddl_audit
drop schema {AmazonRDSMigration}

Definições de configuração adicionais ao utilizar um banco de dados PostgreSQL como origem do DMS

É possível adicionar definições de configuração ao migrar dados de um banco de dados PostgreSQL de duas maneiras:

Ler a réplica como origem do PostgreSQL

Use réplicas de leitura do PostgreSQL como origens de CDC no AWS DMS para reduzir a carga do banco de dados primário. Esse recurso está disponível no PostgreSQL 16.x e requer o AWS DMS versão 3.6.1 ou posterior. O uso de réplicas de leitura para processamento de CDC reduz o impacto operacional em seu banco de dados primário.

Pré-requisitos

Antes de usar uma réplica de leitura como origem de CDC para o AWS DMS, você deve habilitar a replicação lógica na instância de banco de dados primário e em sua réplica de leitura para criar decodificação lógica em uma réplica de leitura. Execute as seguintes ações:

Depois de concluir os pré-requisitos, você pode configurar seu endpoint de origem com a replicação SlotName da origem da réplica de leitura do AWS DMS nas configurações do endpoint e configurar sua tarefa do AWS DMS usando pontos de início da CDC nativos. Para ter mais informações, consulte Configurações de endpoint e atributos de conexão adicionais (ECAs) ao usar o PostgreSQL como origem do DMS e Utilizar pontos de início nativos da CDC para configurar uma carga de CDC de uma origem PostgreSQL.

Utilizar a configuração de endpoint MapBooleanAsBoolean do PostgreSQL

É possível utilizar as configurações de endpoint do PostgreSQL para mapear um booleano como um booleano da origem PostgreSQL para um destino Amazon Redshift. Por padrão, um tipo BOOLEAN é migrado como varchar(5). É possível especificar MapBooleanAsBoolean para permitir que o PostgreSQL migre o tipo booleano como booleano, conforme mostrado no exemplo a seguir.

--postgre-sql-settings '{"MapBooleanAsBoolean": true}'

Observe que você deve definir essa configuração nos endpoints de origem e de destino para que ela tenha efeito.

Como o MySQL não tem um tipo BOOLEAN, utilize uma regra de transformação em vez dessa configuração ao migrar dados BOOLEAN para o MySQL.

Configurações de endpoint e atributos de conexão adicionais (ECAs) ao usar o PostgreSQL como origem do DMS

É possível utilizar configurações de endpoint e de atributos de conexão adicionais (ECAs) para configurar o banco de dados de origem do PostgreSQL. Você especifica as configurações de endpoint ao criar o endpoint de origem utilizando o console do AWS DMS ou o comando create-endpoint na AWS CLI, com a sintaxe --postgre-sql-settings '{"EndpointSetting": "value", ...}' do JSON.

A tabela a seguir mostra as configurações de endpoint e de ECAs que é possível utilizar com o PostgreSQL como origem.

Limitações ao utilizar um banco de dados PostgreSQL como origem do DMS

As limitações a seguir se aplicam à utilização do PostgreSQL como uma origem do AWS DMS:

Tipos de dados de origem para o PostgreSQL

A tabela a seguir mostra os tipos de dados de origem PostgreSQL compatíveis com a utilização do AWS DMS e o mapeamento padrão dos tipos de dados do AWS DMS.

Para obter informações sobre como visualizar o tipo de dados mapeado no destino, consulte a seção relativa ao endpoint de destino que você está usando.

Para obter mais informações sobre os tipos de dados do AWS DMS, consulte Tipos de dados do AWS Database Migration Service.

Como trabalhar com tipos de dados de origem LOB para PostgreSQL

Os tamanhos de colunas do PostgreSQL afetam a conversão de tipos de dados LOB do PostgreSQL em tipos de dados do AWS DMS. Para trabalhar com isso, siga estas etapas para os seguintes tipos de dados do AWS DMS: