Transmita datos desde IBM Db2, SAP, Sybase y otras bases de datos a MongoDB Atlas en AWS - Recomendaciones de AWS

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Transmita datos desde IBM Db2, SAP, Sybase y otras bases de datos a MongoDB Atlas en AWS

Battulga Purevragchaa e Igor Alekseev, Amazon Web Services

Babu Srinivasan, MongoDB

Resumen

Este patrón describe los pasos para migrar los datos de IBM Db2 y otras bases de datos, como bases de datos de mainframe y Sybase a MongoDB Atlas en la Nube de AWS. Utiliza AWS Glue para acelerar la migración de los datos a MongoDB Atlas.

El patrón acompaña a la guía Migración a MongoDB Atlas que se encuentra en AWS el sitio web de orientación prescriptiva. AWS Proporciona los pasos de implementación para uno de los escenarios de migración que se analizan en esa guía. Para ver otros escenarios de migración, consulte los siguientes patrones en el sitio web de la Guía prescriptiva: AWS

El patrón está destinado a socios y AWS usuarios de AWS Managed Services.

Requisitos previos y limitaciones

Requisitos previos 

  • Una base de datos de origen como SAP, Sybase, IBM Db2 y otras para migrar a MongoDB Atlas.

  • Familiaridad con bases de datos como SAP, Sybase, IBM Db2, MongoDB Atlas y. Servicios de AWS

Versiones de producto

  • MongoDB versión 5.0 o posterior.

Arquitectura

El siguiente diagrama ilustra la carga de datos por lotes y la transmisión de datos mediante AWS Glue Studio Amazon Kinesis Data Streams y MongoDB Atlas.

Esta arquitectura de referencia se utiliza AWS Glue Studio para crear canalizaciones de extracción, transformación y carga (ETL) para migrar datos a MongoDB Atlas. An Rastreador de AWS Glue se integra con MongoDB Atlas para facilitar la gobernanza de los datos. Los datos pueden transferirse por lotes o transmitirse a MongoDB Atlas mediante Amazon Kinesis Data Streams.

Carga de datos por lotes

Migración de datos a MongoDB Atlas en el modo por lotes.

Para obtener más información sobre la migración de datos por lotes, consulte la entrada del AWS blog Componga sus trabajos de ETL para MongoDB Atlas con. AWS Glue

Transmisión de datos

Migración de datos a MongoDB Atlas en el modo de flujo de datos.

Para ver las arquitecturas de referencia de MongoDB Atlas que admiten diferentes escenarios de uso, consulte Migración a MongoDB Atlas en el sitio web de orientación prescriptiva. AWS AWS

Tools (Herramientas)

●      AWS Glue es un servicio de ETL completamente administrado. Ayuda a clasificar, limpiar, enriquecer y mover datos de forma fiable entre almacenes de datos y flujos de datos.

●      Amazon Kinesis Data Streams ayuda a recopilar y procesar grandes secuencias de registros de datos en tiempo real.

●      MongoDB Atlas es una base de datos como servicio (DbaaS) completamente administrada para implementar y administrar bases de datos de MongoDB en la nube.

Prácticas recomendadas

Para obtener pautas, consulte la Guía de mejores prácticas para MongoDB en el repositorio de MongoDB. GitHub

Epics

TareaDescripciónHabilidades requeridas

Determine el tamaño del clúster.

Calcule el tamaño del conjunto de trabajo utilizando la información de db.stats() para el espacio total del índice. Presuponga que se accederá con frecuencia a un porcentaje de su espacio de datos. O bien, puede estimar las necesidades de memoria según sus presuposiciones. Esta tarea puede necesitar aproximadamente una semana. Para obtener más información y ejemplos de esta y otras historias de esta épica, consulte los enlaces de la sección Recursos relacionados.

Administrador de base de datos de MongoDB, arquitecto de aplicaciones

Calcule los requisitos de ancho de banda de la red.

Para calcular los requisitos de ancho de banda de la red, multiplique el tamaño medio de los documentos por el número de documentos servidos por segundo. Tenga en cuenta el tráfico máximo que soportará cualquier nodo del clúster como base. Para calcular las velocidades de transferencia de datos descendentes del clúster a las aplicaciones cliente, utilice la suma del total de documentos devueltos durante un período de tiempo. Si sus aplicaciones leen desde nodos secundarios, divida este número total de documentos por el número de nodos que pueden realizar operaciones de lectura. Para encontrar el tamaño medio de los documentos de una base de datos, utilice el comando db.stats().avgObjSize. Esta tarea suele necesitar un día.

Administrador de base de datos de MongoDB

Seleccione la capa de Atlas.

Siga las instrucciones de la documentación de MongoDB para seleccionar la capa del clúster de Atlas correcta. 

Administrador de base de datos de MongoDB

Planifique la transición.

Planifique la transición de la aplicación.

Administrador de base de datos de MongoDB, arquitecto de aplicaciones
TareaDescripciónHabilidades requeridas

Cree un nuevo clúster de MongoDB Atlas en. AWS

En MongoDB Atlas, elija Crear un clúster y AWS selecciónelo como proveedor de nube.

Administrador de base de datos de MongoDB

Seleccione una Regiones de AWS configuración de clúster global.

Seleccione una opción de la lista de disponibles Regiones de AWS para su clúster de Atlas. Configure clústeres globales si es necesario.

Administrador de base de datos de MongoDB

Seleccione la capa del clúster.

Seleccione la capa del clúster que prefiera. La selección de la capa determina factores como la memoria, el almacenamiento y las especificaciones de IOPS.

Administrador de base de datos de MongoDB

Configure los ajustes adicionales del clúster.

Configure los ajustes adicionales del clúster, como la versión de MongoDB, la copia de seguridad y las opciones de cifrado. Para obtener más información sobre estas opciones, consulte la sección Recursos relacionados.

Administrador de base de datos de MongoDB
TareaDescripciónHabilidades requeridas

Configure la lista de acceso.

Para conectarse al clúster de Atlas, debe agregar una entrada a la lista de acceso del proyecto. Atlas utiliza seguridad de la capa de transporte (TLS) / Capa de conexión segura (SSL) para cifrar las conexiones a la nube privada virtual (VPC) de su base de datos. Para configurar la lista de acceso al proyecto y obtener más información sobre las historias de esta epic, consulte los enlaces de la sección Recursos relacionados

Administrador de base de datos de MongoDB

Autentique y autorice a los usuarios.

Debe crear y autenticar a los usuarios de la base de datos que accederán a los clústeres de MongoDB Atlas. Para acceder a los clústeres de un proyecto, los usuarios deben pertenecer a ese proyecto y pueden pertenecer a varios proyectos. También puedes habilitar la autorización con AWS Identity and Access Management (IAM). Para más información, consulte Set Up Authentication with IAM en la documentación de MongoDB.

Administrador de base de datos de MongoDB

Cree roles personalizados.

(Opcional) Atlas admite la creación de roles personalizados en los casos en que los privilegios de usuario integrados en la base de datos Atlas no cubran el conjunto de privilegios deseado.

Administrador de base de datos de MongoDB

Configure las interconexiones con VPC.

(Opcional) Atlas admite la interconexión de VPC con otras AWS. VPCs

Administrador de base de datos de MongoDB

Configure un punto final AWS PrivateLink .

(Opcional) Puede configurar puntos de conexión privados AWS utilizando AWS PrivateLink.

Administrador de base de datos de MongoDB

Habilitar la autenticación en dos pasos.

(Opcional) Atlas admite la autenticación en dos pasos (2FA) para ayudar a los usuarios a controlar el acceso a sus cuentas de Atlas.

Administrador de base de datos de MongoDB

Configure la autenticación y la autorización de los usuarios con LDAP.

(Opcional) Atlas admite realizar la autenticación y autorización de los usuarios con el Protocolo ligero de acceso a directorios (LDAP).

Administrador de base de datos de MongoDB

Configure el AWS acceso unificado.

(Opcional) Algunas características de Atlas, como Atlas Data Lake y el cifrado en reposo mediante la administración de claves de cliente, utilizan los roles de IAM para la autenticación.

Administrador de base de datos de MongoDB

Configure el cifrado en reposo mediante AWS KMS.

(Opcional) Atlas admite el uso de AWS Key Management Service (AWS KMS) para cifrar los motores de almacenamiento y las copias de seguridad de los proveedores de servicios en la nube.

Administrador de base de datos de MongoDB

Configure CSFLE.

(Opcional) Atlas admite el cifrado en el nivel de campo del cliente (CSFLE), como el cifrado automático de los campos. 

Administrador de base de datos de MongoDB
TareaDescripciónHabilidades requeridas

Lance el conjunto de réplicas de destino en MongoDB Atlas.

Lance el conjunto de réplicas de destino en MongoDB Atlas. En Atlas Live Migration Service, seleccione Todo está listo para migrar.

Administrador de base de datos de MongoDB

Establezca la conexión de AWS Glue con MongoDB Atlas.

Use an Rastreador de AWS Glue para conectarse AWS Glue con MongoDB Atlas (base de datos de destino). Este paso ayuda a preparar el entorno de destino para la migración. Para obtener más información, consulte la Documentación de AWS Glue.

Administrador de base de datos de MongoDB

Establezca la conexión AWS Glue con la base de datos de origen o el flujo de origen.

Esto ayuda a preparar el entorno de destino para la migración.

Administrador de base de datos de MongoDB

Configure la transformación de los datos.

Configure la lógica de transformación para migrar los datos del esquema estructurado heredado al esquema flexible de MongoDB.

Administrador de base de datos de MongoDB

Migre los datos.

Programe la migración en AWS Glue Studio.

Administrador de base de datos de MongoDB
TareaDescripciónHabilidades requeridas

Conecte el clúster.

Conéctese al clúster de MongoDB Atlas.

Desarrollador de aplicaciones

Interactúe con los datos.

Interactúe con los datos del clúster.

Desarrollador de aplicaciones

Supervise los clústeres.

Supervise los clústeres de MongoDB Atlas.

Administrador de base de datos de MongoDB

Haga una copia de seguridad de los datos y una restauración.

Realice copias de seguridad y restaure los datos del clúster.

Administrador de base de datos de MongoDB

Resolución de problemas

ProblemaSolución

En caso de tener problemas

Consulte Solución de problemas en el repositorio de MongoDB Atlas Resources CloudFormation .

Recursos relacionados

Todos los enlaces siguientes, a menos que se indique lo contrario, van a páginas web de la documentación de MongoDB.

Guía de migración

Detectar y evaluar

Configure la seguridad y el cumplimiento

Configuración de un nuevo entorno de MongoDB Atlas en AWS

Migración de datos

Monitorización de clústeres

Integrar operaciones

GitHub repositorio