使用 BMC AMI Cloud Data 备份大型机数据并将其存档至 Amazon S3
Santosh Kumar Singh、Gilberto Biondo 和 Maggie Li,Amazon Web Services
Mikhael Liberman,Model9 大型机软件
摘要
此模式向您展示了如何使用 BMC AMI Cloud Data(以前称为 Model9 Manager)将主机数据直接备份和存档至 Amazon Simple Storage Service(Amazon S3),然后将其调回并还原至大型机。如果正在寻找实现备份和存档解决方案现代化的方法,作为大型机进行现代化项目的一部分或用于满足合规性要求,此模式可以帮助您实现这些目标。
通常,在大型机上运行核心业务应用程序的组织使用虚拟磁带库(VTL)备份文件和日志等数据存储。这种方法可能代价高昂,因为它消耗可计费的 MIPS,而且存储在大型机之外的磁带上的数据无法访问。为避免此类问题,您可以使用 BMC AMI Cloud Data 快速且经济高效地将大型机的运营和历史数据直接传输至 Amazon S3。您可以使用 BMC AMI Cloud Data 通过 TCP/IP 将数据备份和存档至 AWS,同时利用 IBM z 集成信息处理器(zIIP)引擎降低成本、并行性和传输时间。
先决条件和限制
先决条件
一个活跃的 AWS 账户
带有有效许可密钥的 BMC AMI Cloud Data
大型机和 AWS 之间的 TCP/IP 连接
拥有 S3 存储桶读/写访问权限的 AWS Identity and Access Management(IAM)角色
大型机安全产品(RACF)访问权限已到位,可运行 BMC AMI Cloud 进程
BMC AMI Cloud z/OS 代理(Java 版本 8、64 位 SR5 FP16 或更高版本),具有可用的网络端口、允许访问 S3 存储桶的防火墙规则以及专用 z/FS 文件系统
已满足 BMC AMI Cloud 管理服务器的要求
限制
BMC AMI Cloud Data 将其操作数据存储于作为 Docker 容器运行的 PostgreSQL 数据库,该数据库与管理服务器位于同一 Amazon Elastic Compute Cloud(Amazon EC2)实例。Amazon Relational Database Service(Amazon RDS)目前不支持作为 BMC AMI Cloud Data 的后端。有关最新产品更新的更多信息,请参阅 BMC 文档中的新增功能
。 此模式仅备份和存档 z/OS 大型机数据。BMC AMI Cloud Data 仅备份和存档大型机文件。
此模式不会将数据转换为标准开放格式,例如 JSON 或 CSV。使用 BMC AMI Cloud Analytics
(以前称为 Model9 Gravity)之类的其他转换服务将数据转换为标准开放格式。云原生应用程序和数据分析工具可以在数据写入云后访问这些数据。
产品版本
BMC AMI Cloud Data 版本 2.x
架构
源技术堆栈
运行 z/OS 的大型机
大型机文件,例如数据集和 z/OS UNIX System Services(USS)文件
大型机磁盘,例如直接访问存储设备 (DASD)
大型机磁带(虚拟或物理磁带库)
目标技术堆栈
Amazon S3
虚拟私有云(VPC)中的 Amazon EC2 实例
AWS Direct Connect
Amazon Elastic File System (Amazon EFS)
目标架构
下图显示了一个参考架构,在该架构中,大型机上的 BMC AMI Cloud Data 软件代理驱动将数据存储在 Amazon S3 中的遗留数据备份和存档流程。

下图显示了如下工作流:
BMC AMI Cloud Data 软件代理在大型机逻辑分区(LPAR)上运行。软件代理通过 TCP/IP 直接将 DASD 或磁带的大型机数据读取和写入 Amazon S3。
AWS Direct Connect 可在本地网络和 AWS 之间建立物理隔离连接。为增强安全性,在 Direct Connect 上运行点对点 VPN,以加密传输中数据。
S3 存储桶将大型机文件存储为对象存储数据,而 BMC AMI Cloud Data 代理直接与 S3 存储桶通信。证书用于对代理和 Amazon S3 之间的所有通信进行 HTTPS 加密。Amazon S3 数据加密功能用于加密和保护静态数据。
BMC AMI Cloud Data 管理服务器在 EC2 实例上作为 Docker 容器运行。这些实例与在大型机 LPAR 和 S3 存储桶上运行的代理通信。
Amazon EFS 安装在主动和被动 EC2 实例,用于共享 Network File System (NFS) 存储。这旨在确保与在管理服务器上创建的策略相关的元数据不会在失效转移时丢失。如果主动服务器发生失效转移,则可在不丢失任何数据的情况下访问被动服务器。如果被动服务器出现故障,可以在不丢失任何数据的情况下访问主动服务器。
工具
Amazon Web Services
Amazon Elastic Compute Cloud(Amazon EC2)在 AWS 云 中提供可扩展的计算容量。您可以根据需要启动任意数量的虚拟服务器,并快速扩展或缩减它们。
Amazon Elastic File System(Amazon EFS)可帮助您在 AWS 云 中创建和配置共享文件系统。
Amazon Simple Storage Service(Amazon S3)是一项基于云的对象存储服务,可帮助您存储、保护和检索几乎任意数量的数据。
Amazon Virtual Private Cloud(Amazon VPC)可帮助您将 AWS 资源启动到您定义的虚拟网络中。该虚拟网络类似于您在数据中心中运行的传统网络,并具有使用 AWS 的可扩展基础设施的优势。
AWS Direct Connect 通过标准的以太网光纤电缆将您的内部网络链接到 AWS Direct Connect 位置。通过此连接,您可以直接创建连接到公有 AWS 服务的虚拟接口,同时绕过网络路径中的互联网服务提供商。
AWS Identity and Access Management(IAM)通过控制验证和授权使用您 AWS 资源的用户,帮助您安全地管理对您 AWS 资源的访问。
BMC 工具
BMC AMI Cloud 管理服务器
是一个在适用于 Amazon EC2 的亚马逊机器映像(AMI)上作为 Docker 容器运行的 GUI 应用程序。管理服务器可管理 BMC AMI Cloud 活动,例如报告、创建和管理策略、运行存档以及执行备份、召回和恢复。 BMC AMI Cloud 代理
在使用 TCP/IP 将文件直接读写至对象存储的本地大型机 LPAR 上运行。已启动的任务在大型机 LPAR 上运行,负责在 Amazon S3 中读取和写入备份和存档数据。 BMC AMI Cloud 大型机命令行界面(M9CLI)
为您提供了一组可直接从 TSO/E 执行 BMC AMI Cloud 操作或批量操作的命令,而不必依赖于管理服务器。
操作说明
| 任务 | 描述 | 所需技能 |
|---|---|---|
创建 S3 存储桶。 | 创建 S3 存储桶,以存储大型机环境中待备份和待存档的文件和卷。 | 常规 AWS |
创建一个 IAM 策略。 | 所有 BMC AMI Cloud 管理服务器和代理都要访问您在上一步骤中所创建的 S3 存储桶。 若要授予所需访问权限,请创建以下 IAM 策略:
| 常规 AWS |
| 任务 | 描述 | 所需技能 |
|---|---|---|
获取 BMC AMI Cloud 软件许可。 | 若要获取软件许可密钥,请联系 BMC AMI Cloud 团队 | 构建 lead |
下载 BMC AMI Cloud 软件和许可密钥。 | 按照 BMC 文档 | 大型机基础设施管理员 |
| 任务 | 描述 | 所需技能 |
|---|---|---|
创建 Amazon EC2 Linux 2 实例。 | 按照 Amazon EC2 文档中的步骤 1:启动实例中的说明,在不同可用区启动两个 Amazon EC2 Linux 2 实例。 该实例必须满足以下推荐的硬件和软件要求:
有关更多信息,请参阅 BMC 文档 | 云架构师、云管理员 |
创建 Amazon EFS 文件系统。 | 按照 Amazon EFS 文档中的步骤 1:创建 Amazon EFS 文件系统中的说明创建 Amazon EFS 文件系统。 创建文件系统时,请执行以下操作:
| 云管理员、云架构师 |
安装 Docker 并配置管理服务器。 | 连接至您的 EC2 实例: 按照 Amazon EC2 文档中连接至您的 Linux 实例中的说明连接至您的 EC2 实例。 配置 EC2 实例: 对于每个 EC2 实例,请执行以下操作:
| 云架构师、云管理员 |
安装管理服务器软件。 |
注意要排查问题,请转到存储在 | 云架构师、云管理员 |
| 任务 | 描述 | 所需技能 |
|---|---|---|
添加新代理。 | 添加新代理前,请确认以下事项
您必须在管理服务器上创建代理,然后才能定义任何备份策略和存档策略。若要创建代理,请执行以下操作:
创建代理后,您将在表中出现的新窗口中查看对象存储和大型机代理的已连接状态。 | 大型机存储管理员或开发人员 |
创建备份或存档策略。 |
| 大型机存储管理员或开发人员 |
| 任务 | 描述 | 所需技能 |
|---|---|---|
运行备份或存档策略。 | 手动或自动(根据计划)运行之前在管理服务器上创建的数据备份或存档策略。要手动运行策略,请执行以下操作:
| 大型机存储管理员或开发人员 |
恢复备份或存档策略。 |
| 大型机存储管理员或开发人员 |
| 任务 | 描述 | 所需技能 |
|---|---|---|
使用 M9CLI 运行备份或存档策略。 | 使用 M9CLI 从 TSO/E、REXX 或通过 JCL 执行备份和还原过程,而无需在 BMC AMI Cloud 管理服务器上设置规则。 使用 TSO/E: 如果使用 TSO/E,请确保将 注意有关 M9CLI 命令的更多信息,请参阅 BMC 文档中的 CLI 参考 使用 JCL: 若要使用 JCL 运行备份与存档策略,请运行 使用批量操作 以下示例显示了如何在批处理中运行
| 大型机存储管理员或开发人员 |
在 JCL 批处理中运行备份或存档策略。 | BMC AMI Cloud 提供了名为 M9SAPIJ 的 JCL 例程示例。您可以自定义 M9SAPIJ,以通过 JCL 运行管理服务器上所创建的特定策略。此任务亦可作为批处理计划程序的一部分,用于自动运行备份和还原过程。 批处理任务需要提供以下必需值:
注意您可以按照示例作业中的说明更改其他值。 | 大型机存储管理员或开发人员 |
相关资源
使用 AWS 实现大型机现代化
(AWS 文档) 适用于大型机的 Cloud Backup 如何使用 Model9 和 AWS 降低成本
(Amazon Web Services Partner Network 博客) 如何使用 Model9 在 AWS 上启用大型机数据分析
(Amazon Web Services Partner Network 博客) AWS Direct Connect 弹性建议
(AWS 文档) BMC AMI Cloud 文档
(BMC 网站)