在 Quick Sight 中使用 AWS Mainframe Modernization 和 Amazon Q 生成 Db2 z/OS 数据见解

要创建 IAM 策略和IAM 角色，请按照 AWS 文档中的说明进行操作。

创建 IAM 策略可授予在 Amazon MSK 集群上创建主题以及向这些主题发送数据的访问权限。

创建 IAM 角色后，将此策略与其关联。记下 IAM 角色名称。当您启动实例时，该角色将用作 IAM EC2 实例配置文件。

登录并 AWS Marketplace订阅 AWS Mainframe Modernization — 适用于 IBM z/OS 的数据复制。

从托管式订阅中选择 AMI，然后选择启动新实例。

提供其他配置详细信息，例如实例名称、实例类型、密钥对、VPC 和子网。有关更多信息，请参阅 Amazon EC2 文档。

在下拉列表中，选择您之前创建的安全组。

在高级详细信息的 IAM 实例配置文件下，您必须选择您之前创建的角色。

选择启动实例。

登录并导航至 Amazon MSK。 AWS 管理控制台

选择创建集群。

对于集群创建方法，选择自定义创建；对于集群类型，选择已预调配。

为群集提供一个名称。

根据需要更新集群设置，对于其他设置，则保留默认值。

记下 <Kafka 版本>。 您在 Kafka 客户端设置过程中需要用到它。

选择下一步。

选择您用于 Precist EC2 实例的 VPC 和子网，然后选择之前创建的安全组。

在安全设置部分中，同时启用 SASL/SCRAM 和基于 IAM 角色的身份验证。Precissift Connect CDC 使用 SASL/SCRAM （简单身份验证和安全层/加盐质询响应机制），连接亚马逊 Redshift 需要 IAM。

选择下一步。

要进行查看，请选择监控和代理日志传输方法。

选择下一步，然后选择创建集群。

要在 Secrets Manager 中设置密钥，请按照 AWS 文档中的说明进行操作。

打开 Amazon MSK 控制台，然后选择您之前创建的 Amazon MSK 集群。

选择属性选项卡。

选择关联密钥、选择密钥，选择您创建的密钥，然后选择关联密钥。

您将看到与以下内容类似的成功消息：

Successfully associated 1 secret for cluster <chosen cluster name>

选择集群名称。

在集群摘要部分，选择查看客户端信息。

记下身份验证类型 SASL/SCRAM 的私有端点连接字符串。

通过运行以下命令连接到您之前创建的 EC2 实例，并安装最新更新：

sudo yum update -y

运行以下命令，安装 Java 和 Kafka 库：

sudo yum install -y java-11 librdkafka librdkafka-devel

要在 /home/ec2-user 中创建名为 kafka 的文件夹，请导航至该文件夹，然后运行以下命令：

mkdir kafka;cd kafka

将 kafka 客户端库下载到 kafka 文件夹，并将 <YOUR MSK VERSION> 替换为您在创建 Amazon MSK 集群过程中记下的 Kafka 版本：

wget https://archive.apache.org/dist/kafka//kafka_2.13-<YOUR MSK VERSION>.tgz

要提取下载的文件，请运行以下命令，替换 YOUR MSK VERSION>：

tar -xzf kafka_2.13-<YOUR MSK VERSION>.tgz

要导航到 kafka libs 目录并下载 Java IAM 身份验证 Java 存档（JAR）文件，请运行以下命令，替换 <YOUR MSK VERSION>：

cd kafka_2.13-<YOUR MSK VERSION>/libs
wget https://github.com/aws/aws-msk-iam-auth/releases/download/v1.1.1/aws-msk-iam-auth-1.1.1-all.jarkafka

要导航到 Kafka bin 目录并创建 client.properties 文件，请运行以下命令：

cd /home/ec2-user/kafka/kafka_2.13-<YOUR MSK VERSION>/bin
cat >client.properties

使用以下内容更新 client.properties 文件：

security.protocol=SASL_SSL
sasl.mechanism=AWS_MSK_IAM
sasl.jaas.config=software.amazon.msk.auth.iam.IAMLoginModule required;
sasl.client.callback.handler.class=software.amazon.msk.auth.iam.IAMClientCallbackHandler

要创建 Kafka 主题，请导航到 Kafka bin 并运行以下命令，将 <kafka broker> 替换为创建 Amazon MSK 集群时记下的 IAM 引导服务器私有端点：

./kafka-topics.sh --bootstrap-server <kafka broker> --command-config client.properties --create --replication-factor 3 —partitions 6 --topic <topic name>

当显示消息 Created topic <topic name> 时，记下主题名称。

要精确创建文件夹名称，请导航至该文件夹，然后运行以下命令：

mkdir /home/ec2-user/precisely;cd /home/ec2-user/precisely

要在其中精确创建两个分别名为 scripts 和 ddls 的文件夹，然后更改为 scripts 文件夹，请运行以下命令：

mkdir scripts;mkdir ddls;cd scripts

要在 scripts 文件夹中创建名为 sqdata_kafka_producer.conf 的文件，请运行以下命令：

cat >sqdata_kafka_producer.conf

使用以下内容更新 sqdata_kafka_producer.conf 文件：

builtin.features=SASL_SCRAM
security.protocol=SASL_SSL
sasl.mechanism=SCRAM-SHA-512
sasl.username=<User Name>
sasl.password=<Password>
metadata.broker.list=<SASL/SCRAM Bootstrap servers>

在 scripts 文件夹中创建 script.sqd 文件。

cat >script.sqd

Apply Engine 使用 script.sqd 来处理源数据并将源数据复制到目标。有关 Apply Engine 脚本的示例，请参阅其他信息部分。

要更改为 ddls 文件夹并为每个 Db2 表创建一个 .ddl 文件，请运行以下命令：

cd /home/ec2-user/precisely/ddls
cat >mem_details.ddl
cat >mem_plans.ddl

要导出 sqdata 安装路径，请运行以下命令：

export PATH=$PATH:/usr/sbin:/opt/precisely/di/sqdata/bin

要更改为 /home/ec2-user 目录并生成网络 ACL 密钥，请运行以下命令：

cd /home/ec2-user
sqdutil keygen --force

生成公有和私有密钥后，将显示以下消息：

SQDUT04I Generating a private key in file /home/ec2-user/.nacl/id_nacl
SQDC017I sqdutil(pid=27344) terminated successfully

记下存储在 .nacl 文件夹中的生成的公有密钥。

在 SQData z/OS 主菜单屏幕上，选择选项 2。

在将进程守护程序添加到列表屏幕上的进程守护程序名称字段中，输入进程守护程序的名称，然后按 Enter 键。

在 SQData z/OS 主菜单屏幕上，选择选项 3。这会将您引导至 Capture/Publisher 摘要屏幕。

选择该选项以添加 CAB 文件。这会将您引导至 将 CAB 文件添加到列表屏幕。

在名称字段中，输入 CAB 文件的名称。对于 Db2，将类型字段输入为 D。

按 Enter 键。这会将您引导至创建新的 Db2 Capture CAB 文件屏幕。

在 zFS 目录字段中，指定存储挂载点。

按 Enter 保存并继续。

在 SQData z/OS 主菜单屏幕上，选择选项 2。

在您创建的进程守护程序附近输入 S，以查看进程守护程序的详细信息。

输入 1，然后按 Enter 键编辑代理文件。

添加 CAB 文件详细信息。以下示例显示了名为 DB2ZTOMSK 的 CAB 文件的详细信息。使用您的大型机用户 ID 而不是 <userid>。

ÝDB2ZTOMSK¨
type=capture 
cab=/u/<userid>/sqdata/DB2ZTOMSK.cab

按 F3。

输入 2 以编辑 ACL 文件。将 userid 添加到 acl 配置文件，如以下示例所示：

Ýacls¨
prod=admin,<userid>

按 F3 保存并退出。

在选项中，输入 G。

输入任务卡、任务和程序库以及 Db2 load 库详细信息。

输入网络 ACL 文件详细信息，然后输入选项 2，以在指定的任务库中生成任务控制语言（JCL）文件。

在 SQData z/OS 主菜单屏幕上，选择选项 3。这会将您引导至 Capture/Publisher 摘要屏幕。

在 CAB 文件旁边输入 S 以将其选中。这将带您进入 Db2 Capture/Publisher 详细信息屏幕。

在选项中，输入 G 以生成 capture/publisher 任务。

输入任务卡、任务和程序库以及 Db2 负载库详细信息。

要创建任务，选择选项 4。该任务是在任务库中指定的任务库中创建的。

运行以下查询，检查 Db2 表的 DATACAPTURE 标志，并将 <table name> 更改为您的 Db2 表名称：

SELECT DATACAPTURE FROM SYSIBM.SYSTABLES WHERE NAME='<table name>';

确认结果显示 DATACAPTURE 为 Y。

如果 DATACAPTURE 不是 Y，请运行以下查询，以在 Db2 表上启用 CDC，并将 <table name> 更改为您的 Db2 表名称：

ALTER TABLE <table name> DATA CAPTURE CHANGES;

要连接到 EC2 实例，请按照AWS 文档中的说明进行操作。

更改为包含 script.sqd 文件的目录：

cd /home/ec2-user/precisely/scripts

要启动 Apply Engine，请运行以下 sqdeng 启动命令：

sqdeng -s script.sqd --identity=/home/ec2-user/.nacl/id_nacl

Apply Engine 将开始等待来自大型机源的更新。

要测试 CDC，请在 Db2 表中进行一些记录插入或更新操作。

验证 Apply Engine 日志是否显示已捕获并写入目标的记录数。

要更改到 EC2 实例上 Kafka 客户端安装路径的bin目录，请运行以下命令，<Kafka version>替换为您的版本：

cd /home/ec2-user/kafka/kafka_2.13-<Kafka version>/bin

要验证 Kafka 主题中以消息形式写入的 Db2 CDC，请运行以下命令，将 <kafka broker> 和 <Topic Name> 替换为之前创建的主题：

./kafka-console-consumer.sh --bootstrap-server <kafka broker>:9098 --topic <Topic Name> --from-beginning --consumer.config client.properties

验证消息数是否与 Db2 表中更新的记录数匹配。

为 Amazon Redshift 创建访问 Amazon MSK 的 IAM 策略。

[region]使用 AWS 区域 适用于 Amazon MSK 的、[account-id]您的 AWS 账户 ID 和 [msk-cluster-name] Amazon MSK 集群名称替换，运行以下代码：

{"Version": "2012-10-17", "Statement": [{"Sid": "MSKIAMpolicy","Effect": "Allow","Action": ["kafka-cluster:ReadData","kafka-cluster:DescribeTopic","kafka-cluster:Connect"],"Resource": ["arn:aws:kafka:[region]:[account-id]:cluster/[msk-cluster-name]/*","arn:aws:kafka:[region]:[account-id]:topic/[msk-cluster-name]/*"]},{"Effect": "Allow","Action": ["kafka-cluster:AlterGroup","kafka-cluster:DescribeGroup"],"Resource": ["arn:aws:kafka:[region]:[account-id]:group/[msk-cluster-name]/*"]}]}

您可以在 Amazon MSK 控制台上找到集群名称和 Amazon 资源名称（ARN）。在控制台上，选择集群摘要，然后选择 ARN。

要创建 IAM 角色并附加策略，请按照 AWS 文档中的说明进行操作。

要将 IAM 角色附加到 Amazon Redshift Serverless 命名空间，请执行以下操作：

在您的 Amazon Redshift Serverless 安全组中，创建一条包含以下详细信息的入站规则：

在您的 Amazon MSK 安全组中，创建一条包含以下详细信息的入站规则：

此模式使用的端口适用于 Amazon Redshift 和 Amazon MSK 配置的 IAM 身份验证。有关更多信息，请参阅 AWS 文档（步骤 2）。

为 Amazon Redshift Serverless 工作组开启增强型 VPC 路由。有关详情，请参阅 AWS 文档。

要授权从 Quick Sight 到 Amazon Redshift 的连接，请打开 Amazon Redshift 控制台，然后在 Amazon Redshift 安全组中添加入站规则。该规则应允许来自您设置 Quick Sight 的 CIDR 范围的流量进入端口 5439（默认的 Redshift 端口）。有关 AWS 区域 及其的 IP 地址的列表，请参阅 Quick AWS 区域 Sight 支持。

在 Amazon Redshift 控制台上，选择工作组、数据访问、网络和安全，然后启用可公开访问。

在 Quick Sight 控制台的导航窗格中，选择数据集。

在数据集页面上，选择新数据集。

选择 Redshift 手动连接。

在新的 Redshift 数据来源窗口中，输入连接信息：

选择验证连接。如果成功，您应该会看到一个绿色复选标记，表示已验证。如果验证失败，请参阅问题排查部分。

选择创建数据来源。

要创建大型机数据分析，请按照 AWS 文档中的说明进行操作。对于数据集，选择您创建的数据集。

在分析页面上，选择构建视觉对象。

在创建分析主题窗口中，选择更新现有主题。

在选择主题下拉列表中，选择您之前创建的主题。

选择主题链接。

链接主题后，选择构建视觉对象，以打开 Amazon Q 构建视觉对象窗口。

在提示栏中，写下您的分析问题。此模式使用的示例问题如下：

输入问题后，选择构建。Amazon Q in Quick Sight 可创建视觉对象。

要将视觉对象添加到可视化控制面板，请选择添加到分析。

要创建数据故事，请按照 AWS 文档中的说明进行操作。

对于数据故事提示，请使用以下操作：

Build a data story about Region with most numbers of members. Also show the member distribution by medical plan, vision plan, dental plan. Recommend how to motivate members to complete immunization. Include 4 points of supporting data for this pattern.

您还可以构建自己的提示，以为其他业务见解生成数据故事。

选择添加视觉对象，然后添加与数据故事相关的视觉对象。对于此模式，请使用您之前创建的视觉对象。

选择构建。

有关数据故事输出的示例，请参阅其他信息部分中的数据故事输出。