将数据从 IBM Db2、SAP、Sybase 和其他数据库流式传输到 MongoDB Atlas AWS

Battulga Purevragchaa 和 Igor Alekseev，Amazon Web Services

Babu Srinivasan，MongoDB

Summary

此模式介绍了将数据从 IBM Db2 及其他数据库（例如大型机数据库、Sybase）迁移至 AWS 云上的 MongoDB Atlas 的具体步骤。它使用 AWS Glue 来帮助加速向 MongoDB Atlas 的数据迁移进程。

该模式与规范性指导网站上的《迁移到 MongoDB Atlas AWS》 AWS 指南一起出现。其中提供了适用于该指南中讨论的其中一个迁移场景的实施步骤。有关其他迁移方案，请参阅 AWS 规范性指导网站上的以下模式：

该模式适用于 Manage AWS d Services 合作伙伴和 AWS 用户。

先决条件和限制

先决条件

要迁移至 MongoDB Atlas 的源数据库，例如 SAP、Sybase、IBM Db2 等。
熟悉 SAP、Sybase、IBM Db2、MongoDB Atlas 等数据库。 AWS 服务

产品版本

MongoDB 版本 5.0 或更高版本。

架构

下图说明了使用 AWS Glue Studio Amazon Kinesis Data Streams 和 MongoDB Atlas 进行批量数据加载和数据流式传输。

此参考架构用于创建 AWS Glue Studio 提取、转换和加载 (ETL) 管道，以将数据迁移到 MongoDB Atlas。 AWS Glue 爬网程序与 MongoDB Atlas 集成，以促进数据治理。数据可以批量迁移，也可以使用 Amazon Kinesis Data Streams 流式传输到 MongoDB Atlas。

批量数据加载

有关批量数据迁移的更多信息，请参阅 AWS 博客文章使用 M ongoDB Atlas 编写 ETL 作业。 AWS Glue

数据流

有关支持不同使用场景的 MongoDB Atlas 参考架构，请参阅规范性指南网站上的迁移到 MongoDB Atlas。 AWS AWS

工具

● AWS Glue 是一项完全托管的 ETL 服务。它可以帮助您在数据存储和数据流之间对数据进行可靠地分类、清理、扩充和移动。

● Amazon Kinesis Data Streams 可帮助您实时收集和处理大型数据记录流。

● MongoDB Atlas 是一种完全托管式数据库即服务（DbaaS），用于在云中部署和管理 MongoDB 数据库。

最佳实践

有关指南，请参阅 MongoDB 存储库中的 MongoDB 最佳实践指南。 GitHub

操作说明

Task	说明	所需技能
确定集群大小。	使用 `db.stats()` 中关于总索引空间的信息来估计工作集大小。假设您的数据空间中有一定比例会被频繁访问。或者，您可以根据自己的假设来估计内存需求。此任务大约需要一周时间。有关此故事以及此操作说明中其他故事的详细信息和示例，请参阅相关资源部分中的链接。	MongoDB 数据库管理员，应用程序架构师
估计网络带宽要求。	要估计网络带宽要求，请将平均文档大小乘以每秒提供的文档数量。考虑集群中任何节点将承受的最大流量作为基础。要计算从集群到客户端应用程序的下游数据传输速率，请使用一段时间内返回的文档总数的总和。如果您的应用程序从辅助节点读取数据，请将文档总数除以可以提供读取操作的节点数。要查找数据库的平均文档大小，请使用 `db.stats().avgObjSize` 命令。此任务通常需要一天的时间。	MongoDB 数据库管理员
选择 Atlas 层。	按照 MongoDB 文档中的说明选择正确的 Atlas 集群层。	MongoDB 数据库管理员
制定割接计划。	制定应用程序割接计划。	MongoDB 数据库管理员，应用程序架构师

Task	说明	所需技能
在上创建一个新的 MongoDB Atlas 集群。 AWS	在 MongoDB Atlas 中，选择构建集群，然后 AWS 选择作为云提供商。	MongoDB 数据库管理员
选择 AWS 区域和全局群集配置。	从适用于您的 Atlas 集群 AWS 区域的列表中进行选择。如果需要，请配置全局集群。	MongoDB 数据库管理员
选择集群层。	选择您的首选集群层。您的层选择决定了内存、存储和 IOPS 规格等因素。	MongoDB 数据库管理员
配置其他集群设置。	配置其他集群设置，例如 MongoDB 版本、备份和加密选项。有关这些选项的更多信息，请参阅相关资源部分。	MongoDB 数据库管理员

Task	说明	所需技能
配置访问列表。	要连接到 Atlas 集群，您必须在项目的访问列表中添加一个条目。Atlas 使用传输层安全性协议（TLS）/安全套接字层 (SSL) 来加密数据库与虚拟私有云（VPC）的连接。若要设置项目的访问列表以及有关此操作说明中的故事的详细信息，请参阅相关资源部分中的链接。	MongoDB 数据库管理员
对用户进行身份验证和授权。	您必须创建并验证将访问 MongoDB Atlas 集群的数据库用户。要访问项目中的集群，用户必须属于该项目，并且他们可以属于多个项目。您也可以使用 AWS Identity and Access Management (IAM) 启用授权。有关更多信息，请参阅 MongoDB 文档中的使用 IAM 设置身份验证。	MongoDB 数据库管理员
创建自定义角色。	（可选）Atlas 支持在内置的 Atlas 数据库用户权限未涵盖所需权限集的情况下创建自定义角色。	MongoDB 数据库管理员
设置 VPC 对等连接。	（可选）Atlas 支持与其他 AWS 的 VPCsVPC 对等。	MongoDB 数据库管理员
设置 AWS PrivateLink 终端节点。	（可选）您可以使用在上 AWS 设置私有终端节点AWS PrivateLink。	MongoDB 数据库管理员
启用双因素身份验证。	（可选）Atlas 支持双因素身份验证 (2FA)，以帮助用户控制对其 Atlas 账户的访问。	MongoDB 数据库管理员
使用 LDAP 设置用户身份验证和授权。	（可选）Atlas支持使用轻量级目录访问协议 (LDAP) 执行用户身份验证和授权。	MongoDB 数据库管理员
设置统一 AWS 接入。	（可选）某些 Atlas 功能（包括 Atlas 数据湖和使用客户密钥管理的静态加密）使用 IAM 角色进行身份验证。	MongoDB 数据库管理员
使用设置静态加密 AWS KMS。	（可选）Atlas 支持使用 AWS Key Management Service (AWS KMS) 加密存储引擎和云提供商备份。	MongoDB 数据库管理员
设置 CSFLE。	（可选）Atlas 支持客户端字段级加密（CSFLE），包括字段的自动加密。	MongoDB 数据库管理员

Task	说明	所需技能
在 MongoDB Atlas 中启动目标副本集。	在 MongoDB Atlas 中启动目标副本集。在 Atlas Live Migration Service 中，选择我已准备好迁移。	MongoDB 数据库管理员
AWS Glue 与 MongoDB Atlas 建立连接。	使用连接 AWS Glue MongoDB Atlas（目标数据库）。 AWS Glue 爬网程序此步骤有助于为迁移准备目标环境。有关详情，请参阅 AWS Glue 文档。	MongoDB 数据库管理员
AWS Glue 与源数据库或源流建立连接。	此步骤有助于为迁移准备目标环境。	MongoDB 数据库管理员
设置数据转换。	配置转换逻辑，将数据从传统的结构化架构迁移到 MongoDB 的灵活架构。	MongoDB 数据库管理员
迁移数据。	计划 AWS Glue Studio中的迁移。	MongoDB 数据库管理员

Task	说明	所需技能
连接到集群。	连接到 MongoDB Atlas 集群。	应用程序开发人员
与数据交互。	与集群数据交互。	应用程序开发人员
监控集群。	监控您的 MongoDB Atlas 集群。	MongoDB 数据库管理员
备份和还原数据。	备份和恢复集群数据。	MongoDB 数据库管理员

问题排查

问题	解决方案
如果您遇到问题	参见 Mongo CloudFormation DB Atlas 资源库中的疑难解答。