Utilizar um banco de dados compatível com MongoDB como origem para migrações de dados homogêneas no AWS DMS - AWS Database Migration Service
Usar o MongoDB autogerenciado como origemUtilizar o Amazon DocumentDB como origemUtilizar o MongoDB como origem: RecursosUtilizar o MongoDB como origem: LimitaçõesUtilizar o MongoDB como origem: Práticas recomendadas

Utilizar um banco de dados compatível com MongoDB como origem para migrações de dados homogêneas no AWS DMS

É possível utilizar um banco de dados compatível com MongoDB como origem para migrações de dados homogêneas no AWS DMS. Nesse caso, o provedor de dados de origem pode ser um banco de dados do Amazon EC2 para MongoDB on-premises ou um banco de dados do Amazon DocumentDB (compatível com MongoDB).

Para ver as versões de banco de dados compatíveis, consulte Provedores de dados de origem para migrações de dados homogêneas do DMS.

As seções a seguir descrevem os pré-requisitos de configuração específicos para bancos de dados MongoDB autogerenciados e do Amazon DocumentDB gerenciados pela AWS.

Utilizar um banco de dados MongoDB autogerenciado como origem para migrações de dados homogêneas no AWS DMS

Esta seção descreve como configurar os bancos de dados MongoDB hospedados on-premises ou em instâncias do Amazon EC2.

Verifique a versão do banco de dados MongoDB de origem. Verifique se o AWS DMS é compatível com a versão do banco de dados MongoDB de origem, conforme descrito em Provedores de dados de origem para migrações de dados homogêneas do DMS.

Para migrações de dados homogêneas com o MongoDB como origem, é possível criar uma conta de usuário com privilégios de raiz ou um usuário com permissões para migração somente no banco de dados. Para ter mais informações sobre criação de usuários, consulte Permissões necessárias ao utilizar o MongoDB como origem do AWS DMS.

Para utilizar a replicação contínua ou a CDC com o MongoDB, o AWS DMS requer acesso ao log de operações do MongoDB (oplog). Para obter mais informações, consulte Configurar um conjunto de réplicas do MongoDB para a CDC.

Para ter informações sobre os métodos de autenticação do MongoDB, consulte Requisitos de segurança ao utilizar o MongoDB como origem do AWS DMS.

Para o MongoDB como origem, as migrações de dados homogêneas são compatíveis com todos os tipos de dados compatíveis com o Amazon DocumentDB.

Para o MongoDB como origem, para armazenar as credenciais do usuário no Secrets Manager, você precisa fornecê-las em texto simples, usando segredos do tipo Outro. Para obter mais informações, consulte Utilizar segredos para acessar endpoints do AWS Database Migration Service.

O exemplo de código a seguir demonstra como armazenar os segredos do banco de dados usando texto simples.

{
  "username": "dbuser",
  "password": "dbpassword"
}

Utilizar um banco de dados Amazon DocumentDB como origem para migrações de dados homogêneas no AWS DMS

Esta seção descreve como configurar as instâncias do banco de dados Amazon DocumentDB para utilizá-lo como origem para migrações de dados homogêneas.

Utilize o nome de usuário mestre da instância do Amazon DocumentDB como a conta de usuário do provedor de dados de origem compatível com MongoDB para migrações de dados homogêneas no AWS DMS. A conta de usuário mestra tem as funções necessárias para permitir a configuração da captura de dados de alteração (CDC). Se você utilizar uma conta diferente da conta de usuário mestre, esta deverá ter o perfil raiz. Para ter mais informações sobre criação de usuários como conta raiz, consulte Definir permissões para utilizar o Amazon DocumentDB como origem.

Para ativar a replicação lógica, defina o parâmetro change_stream_log_retention_duration no grupo de parâmetros do banco de dados como uma configuração adequada à workload da transação. Para que a alteração desse parâmetro estático entre em vigor, é necessária a reinicialização da instância de banco de dados. Antes de iniciar a migração de dados para todos os tipos de tarefas, inclusive as somente de carga máxima, habilite os fluxos de alterações do Amazon DocumentDB para todas as coleções em um determinado banco de dados ou apenas para coleções específicas. Para ter mais informações sobre como habilitar os fluxos de alterações do Amazon DocumentDB, consulte Enabling Change Streams no Guia do desenvolvedor do Amazon DocumentDB.

nota

O AWS DMS utiliza o fluxo de alterações do Amazon DocumentDB para capturar as alterações durante a replicação contínua. Se o Amazon DocumentDB eliminar os registros do fluxo de alterações antes de o DMS lê-los, haverá falha nas tarefas. Recomendamos definir o parâmetro change_stream_log_retention_duration para reter as alterações por pelo menos 24 horas.

Para usar o Amazon DocumentDB para uma migração de dados homogênea, armazene as credenciais do usuário no Secrets Manager em Credenciais para o banco de dados Amazon DocumentDB.

Recursos para utilizar um banco de dados compatível com MongoDB como origem para migrações de dados homogêneas

  • Você pode migrar todos os índices secundários compatíveis com o Amazon DocumentDB durante a fase de carga máxima.

  • O AWS DMS migra coleções em paralelo. As migrações de dados homogêneas calculam os segmentos no runtime com base no tamanho médio de cada documento na coleção para obter o máximo desempenho.

  • O DMS pode replicar os índices secundários que você cria na fase CDC. O DMS é compatível com esse recurso no MongoDB versão 6.0.

  • O DMS é compatível com documentos de nível de aninhamento maior que 97.

Limitações para utilizar um banco de dados compatível com MongoDB como origem para migrações de dados homogêneas

  • Os documentos não podem ter nomes de campos com o prefixo $.

  • O AWS DMS não é compatível com a migração de coleções de séries temporais.

  • O AWS DMS não é compatível com os eventos de DDL create, drop ou rename collection durante a fase CDC.

  • O AWS DMS não é compatível com tipos de dados inconsistentes no campo _id da coleção. Por exemplo, a coleção não compatível a seguir tem vários tipos de dados para o campo _id.

    rs0 [direct: primary] test> db.collection1.aggregate([
...   {
...     $group: {
...       _id: { $type: "$_id" },
...       count: { $sum: 1 }
...     }
...   }
... ])
[ { _id: 'string', count: 6136 }, { _id: 'objectId', count: 848033 } ]

  • Para tarefas somente de CDC, o AWS DMS é compatível apenas com o modo de início immediate.

  • O AWS DMS não é compatível com documentos com caracteres UTF-8 inválidos.

  • O AWS DMS não é compatível com coleções fragmentadas.

Práticas recomendadas para utilizar um banco de dados compatível com MongoDB como origem para migrações de dados homogêneas

  • Para vários bancos de dados e coleções grandes hospedados na mesma instância do MongoDB, recomendamos que você use regras de seleção para cada banco de dados e coleção para dividir a tarefa entre várias tarefas e projetos de migração de dados. Você pode ajustar suas divisões de bancos de dados e coleções para obter o máximo desempenho.