Transmita dados do IBM Db2, SAP, Sybase e outros bancos de dados para o MongoDB Atlas em AWS - Recomendações da AWS

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Transmita dados do IBM Db2, SAP, Sybase e outros bancos de dados para o MongoDB Atlas em AWS

Battulga Purevragchaa e Igor Alekseev, Amazon Web Services

Babu Srinivasan, MongoDB

Resumo

Este padrão descreve as etapas necessárias para migrar dados do Db2 da IBM e de outros bancos de dados, como bancos mainframe e Sybase, para o MongoDB Atlas na Nuvem AWS. O AWS Glue é usado para agilizar a migração de dados para o MongoDB Atlas.

O padrão acompanha o guia Migrating to MongoDB Atlas no site Prescriptive Guidance. AWS AWS Ele fornece as etapas de implementação para um dos cenários de migração abordados nesse guia. Para cenários adicionais de migração, consulte os seguintes padrões no site da Orientação AWS Prescritiva:

O padrão é destinado a parceiros e AWS usuários do AWS Managed Services.

Pré-requisitos e limitações

Pré-requisitos

  • Um banco de dados de origem, como SAP, Sybase, Db2 da IBM e outros, para migrar para o MongoDB Atlas.

  • Familiaridade com bancos de dados como SAP, Sybase, IBM Db2, MongoDB Atlas e. Serviços da AWS

Versões do produto

  • MongoDB versão 5.0 ou versões posteriores.

Arquitetura

O diagrama a seguir ilustra o carregamento de dados em lote e o streaming de dados usando o AWS Glue Studio Amazon Kinesis Data Streams e o MongoDB Atlas.

Essa arquitetura de referência é usada AWS Glue Studio para criar pipelines de extração, transformação e carregamento (ETL) para migrar dados para o MongoDB Atlas. O An Crawler do AWS Glue se integra ao MongoDB Atlas para facilitar a governança de dados. Os dados podem ser transferidos em lote ou transmitidos continuamente para o MongoDB Atlas com o uso do Amazon Kinesis Data Streams.

Carregamento de dados em lote

Migração de dados para o MongoDB Atlas no modo em lote.

Para obter mais informações sobre a migração de dados em lote, consulte a postagem do AWS blog Crie suas tarefas de ETL para o MongoDB Atlas com. AWS Glue

Streaming de dados

Migração de dados para o MongoDB Atlas no modo de transferência de dados.

Para arquiteturas de referência do MongoDB Atlas que oferecem suporte a diferentes cenários de uso, consulte Migração para o MongoDB Atlas no site Prescriptive Guidance. AWS AWS

Ferramentas

●      O AWS Glue é um serviço totalmente gerenciado para processos ETL. Ele ajuda você a categorizar de forma confiável, limpar, enriquecer e mover dados de forma confiável entre armazenamento de dados e fluxos de dados.

●      O Amazon Kinesis Data Streams contribui para a coleta e o processamento de grandes fluxos de dados em tempo real.

●      O MongoDB Atlas é um banco de dados como serviço (DBaaS) totalmente gerenciado para implantar e gerenciar bancos de dados do MongoDB na nuvem.

Práticas recomendadas

Para obter diretrizes, consulte o Guia de melhores práticas para o MongoDB no repositório do MongoDB. GitHub

Épicos

TarefaDescriptionHabilidades necessárias

Determine o tamanho do cluster.

Calcule uma estimativa do tamanho do conjunto de trabalho com base nos dados de db.stats() relativos ao espaço total de índices. Suponha que uma porcentagem do seu espaço de dados seja acessada com frequência. Alternativamente, é possível calcular os requisitos de memória considerando suas próprias premissas. Essa tarefa deve levar aproximadamente uma semana. Para obter mais informações e exemplos sobre esta e outras histórias deste épico, consulte os links disponibilizados na seção Recursos relacionados.

MongoDB DBA, arquiteto de aplicativos

Estime os requisitos de largura de banda da rede.

Para estimar seus requisitos de largura de banda da rede, multiplique o tamanho médio dos documentos pelo número de documentos processados por segundo. Considere o tráfego máximo que qualquer nó do seu cluster suportará como base. Para calcular as taxas de transferência de dados downstream do seu cluster para os aplicativos cliente, use a soma do total de documentos retornados em determinado período. Se seus aplicativos fizerem a leitura a partir de nós secundários, divida esse número total de documentos pelo número de nós que podem processar operações de leitura. Para descobrir o tamanho médio dos documentos de um banco de dados, use o comando db.stats().avgObjSize. Essa tarefa normalmente leva um dia.

MongoDB DBA

Selecione a camada do Atlas.

Siga as instruções apresentadas na documentação do MongoDB para selecionar o nível mais adequado do cluster no Atlas. 

MongoDB DBA

Planeje a substituição.

Planeje a substituição do aplicativo.

MongoDB DBA, arquiteto de aplicativos
TarefaDescriptionHabilidades necessárias

Crie um novo cluster MongoDB Atlas em. AWS

No MongoDB Atlas, escolha Criar um cluster e AWS selecione como provedor de nuvem.

MongoDB DBA

Selecione Regiões da AWS uma configuração global do cluster.

Selecione na lista de disponíveis Regiões da AWS para seu cluster Atlas. Configure clusters globais, se necessário.

MongoDB DBA

Selecione o nível cluster.

Selecione o nível de cluster de sua preferência. Sua seleção de camadas determina fatores como memória, armazenamento e especificação de IOPS.

MongoDB DBA

Configurar definições adicionais de cluster.

Definir configurações adicionais de cluster, como opções de versão, backup e criptografia do MongoDB. Para obter mais informações sobre essas opções, consulte a seção Recursos relacionados.

MongoDB DBA
TarefaDescriptionHabilidades necessárias

Configure a lista de acesso.

Para estabelecer conexão com o cluster do Atlas, você deve adicionar uma entrada à lista de acesso do projeto. O Atlas usa Transport Layer Security (TLS) / Secure Sockets Layer (SSL) para criptografar as conexões com a nuvem privada virtual (VPC) do seu banco de dados. Para configurar a lista de acesso para o projeto e obter mais informações sobre as histórias deste épico, consulte os links disponibilizados na seção Recursos relacionados

MongoDB DBA

Autentique e autorize usuários.

Você deve criar e autenticar os usuários do banco de dados que acessarão os clusters MongoDB Atlas. Para acessar os clusters em um projeto, os usuários devem pertencer a esse projeto e podem pertencer a vários projetos. Você também pode ativar a autorização com AWS Identity and Access Management (IAM). Para mais informações, consulte Set Up Authentication with IAM na documentação do MongoDB.

MongoDB DBA

Criar funções personalizadas.

(Opcional) O Atlas oferece a possibilidade de criar perfis personalizados quando os privilégios incorporados para usuários de banco de dados do Atlas não contemplam todas as permissões desejadas.

MongoDB DBA

Configurar o emparelhamento de VPC.

(Opcional) O Atlas oferece suporte ao emparelhamento de VPC com outras AWS. VPCs

MongoDB DBA

Configure um AWS PrivateLink endpoint.

(Opcional) Você pode configurar endpoints privados AWS usando AWS PrivateLink.

MongoDB DBA

Ative a autenticação de dois fatores.

(Opcional) O Atlas fornece suporte à autenticação de dois fatores (2FA) para ajudar os usuários a controlar o acesso às suas contas do Atlas.

MongoDB DBA

Configure a autenticação e autorização do usuário com o LDAP.

(Opcional) O Atlas fornece suporte à autenticação e autorização do usuário com o Lightweight Directory Access Protocol (LDAP).

MongoDB DBA

Configure o AWS acesso unificado.

(Opcional) Alguns recursos do Atlas, como o Atlas Data Lake e a criptografia em repouso com gerenciamento de chaves do cliente, usam perfis do IAM para autenticação.

MongoDB DBA

Configure a criptografia em repouso usando AWS KMS o.

(Opcional) O Atlas suporta o uso de AWS Key Management Service (AWS KMS) para criptografar mecanismos de armazenamento e backups de provedores de nuvem.

MongoDB DBA

Configure a CSFLE.

(Opcional) O Atlas oferece suporte à criptografia em nível de campos do lado do cliente (CSFLE, na sigla em inglês), incluindo a criptografia automática de campos. 

MongoDB DBA
TarefaDescriptionHabilidades necessárias

Execute seu conjunto de réplicas de destino no MongoDB Atlas.

Execute seu conjunto de réplicas de destino no MongoDB Atlas. No Atlas Live Migration Service, selecione Estou com tudo pronto para a migração.

MongoDB DBA

Estabeleça a conexão AWS Glue com o MongoDB Atlas.

Use an Crawler do AWS Glue para se conectar AWS Glue ao MongoDB Atlas (banco de dados de destino). Esta etapa ajuda a preparar o ambiente de destino para a migração. Para obter mais informações, consulte a documentação do AWS Glue.

MongoDB DBA

Estabeleça a conexão AWS Glue com o banco de dados de origem ou o fluxo de origem.

Isso ajuda a preparar o ambiente de destino para a migração.

MongoDB DBA

Configure a transformação de dados.

Defina a lógica de transformação para a migração de dados do esquema estruturado legado para o esquema flexível do MongoDB.

MongoDB DBA

Migre os dados.

Agende a migração no AWS Glue Studio.

MongoDB DBA
TarefaDescriptionHabilidades necessárias

Conecte-se ao cluster.

Conecte-se ao cluster MongoDB Atlas.

Desenvolvedor de aplicativos

Interaja com os dados.

Interaja com os dados do cluster.

Desenvolvedor de aplicativos

Monitore os clusters.

Monitore seus clusters do MongoDB Atlas.

MongoDB DBA

Faça backup e restaure os dados.

Faça backup e restaure os dados do cluster.

MongoDB DBA

Solução de problemas

ProblemaSolução

Caso encontre algum problema

Consulte Solução de problemas no repositório MongoDB Atlas Resources. CloudFormation

Recursos relacionados

Exceto quando indicado, todos os links abaixo direcionam para páginas na documentação do MongoDB.

Guia de migração

Descoberta e avaliação

Configurar a segurança e a conformidade

Como configurar um novo ambiente do MongoDB Atlas na AWS

Migração de dados

Clusters de monitoramento

Integração de operações

GitHub repositório