本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
在 Quick Sight 中使用 AWS Mainframe Modernization 和 Amazon Q 生成数据见解
Shubham Roy、Roshna Razack 和 Santosh Kumar Singh,Amazon Web Services
Summary
注意: AWS Mainframe Modernization 服务(托管运行时环境体验)不再向新客户开放。要获得与 AWS Mainframe Modernization 服务(托管运行时环境体验)类似的功能,请浏览 AWS Mainframe Modernization 服务(自我管理体验)。现有客户可以继续正常使用该服务。有关更多信息,请参阅 AWS Mainframe Modernization 可用性变更。
如果组织在大型机环境中托管关键业务数据,那么从这些数据中获取见解对于推动增长和创新至关重要。通过解锁大型机数据,您可以构建更快、更安全的可扩展商业智能,从而加快 Amazon Web Services(AWS)云中数据驱动的决策、增长和创新。
此模式提供了一种解决方案,可使用 BMC 的 AWS Mainframe Modernization 文件传输功能和 Amazon Q in Quick Sight,从大型机数据中生成业务见解并创建可共享的叙述。通过 AWS Mainframe Modernization 使用 BMC 进行文件传输,将大型机数据集传输到亚马逊简单存储服务 (Amazon S3) Simple S3。 AWS Lambda 函数格式化并准备大型机数据文件以加载到 Quick Sight 中。
在 Quick Sight 中提供数据后,您可以使用自然语言提示和 Amazon Q in Quick Sight 创建数据摘要、提问并生成数据故事。您不必编写 SQL 查询或学习商业智能(BI)工具。
商业背景
此模式提供了一种解决方案,可用于大型机数据分析和数据见解使用案例。使用此模式,您可以为公司的数据构建可视化控制面板。为了演示解决方案,此模式以一家为美国成员提供医疗、牙科和视力计划的医疗保健公司为例。在此示例中,成员人口统计数据和计划信息存储在大型机数据集中。可视化控制面板显示以下信息:
按区域划分的成员分布
按性别划分的成员分布
按年龄划分的成员分布
按计划类型划分的成员分布
尚未完成预防性免疫接种的成员
创建控制面板后,即可生成一个数据故事,其中会解释从先前分析得出的见解。数据故事就如何增加完成预防性免疫接种的成员人数提供了建议。
先决条件和限制
先决条件
活跃的 AWS 账户
包含业务数据的大型机数据集
具有访问权限,以便在大型机上安装文件传输功能代理
限制
您的大型机数据文件应采用 Quick Sight 支持的文件格式之一。有关支持的文件格式列表,请参阅支持的数据来源。
此模式使用 Lambda 函数将大型机文件转换为 Quick Sight 支持的格式。
架构
下图显示了通过在 Quick Sight 中使用 BMC 和 Amazon Q AWS Mainframe Modernization 的文件传输从大型机数据生成业务见解的架构。

下图显示了如下工作流:
通过使用 BMC 进行 AWS Mainframe Modernization 文件传输,将包含业务数据的大型机数据集传输到 Amazon S3。
Lambda 函数将文件传输目标 S3 存储桶中的文件转换为逗号分隔值(CSV)格式。
Lambda 函数将转换后的文件发送到源数据集 S3 存储桶。
Quick Sight 摄取文件中的数据。
用户在 Quick Sight 中访问数据。您可以使用 Amazon Q in Quick Sight 通过自然语言提示与数据进行交互。
工具
AWS 服务
AWS Lambda 是一项计算服务,可帮助您运行代码,无需预调配或管理服务器。它只在需要时运行您的代码,并自动进行扩展,因此您只需为使用的计算时间付费。
AWS Mainframe Modernization 使用 BMC 进行文件传输可将大型机数据集转换并传输到 Amazon S3,用于大型机现代化、迁移和增强用例。
Amazon QuickSight 是一种云级商业智能服务,可用于在单独的控制面板中可视化、分析和报告数据。此模式使用了 Amazon Q in Quick Sight 的生成式商业智能功能。
Amazon Simple Storage Service(Amazon S3)是一项基于云的对象存储服务,可帮助您存储、保护和检索任意数量的数据。
最佳实践
操作说明
| Task | 说明 | 所需技能 |
|---|---|---|
安装文件传输功能代理。 | 要安装 AWS Mainframe Modernization 文件传输代理,请按照AWS 文档中的说明进行操作。 | 大型机系统管理员 |
创建 S3 存储桶,用于大型机文件传输功能。 | 创建 S3 存储桶以存储通过 BMC 传输 AWS Mainframe Modernization 文件的输出文件。在该架构图中,这是文件传输目标存储桶。 | 迁移工程师 |
创建数据传输端点。 |
| AWS Mainframe Modernization 专家 |
| Task | 说明 | 所需技能 |
|---|---|---|
创建 S3 存储桶。 | 为 Lambda 函数创建 S3 存储桶,以便将转换后的大型机文件从源存储桶复制到最终目标存储桶。 | 迁移工程师 |
创建一个 Lambda 函数。 | 要创建能够更改文件扩展名并将大型机文件复制到目标存储桶的 Lambda 函数,请执行以下操作:
| 迁移工程师 |
创建 Amazon S3 触发器,以调用 Lambda 函数。 | 要配置可调用 Lambda 函数的触发器,请执行以下操作:
有关更多信息,请参见教程:使用 Amazon S3 触发器调用 Lambda函数。 | 迁移主管 |
为 Lambda 函数提供 IAM 权限。 | Lambda 函数需要具有 IAM 权限才能访问文件传输目标和源数据集 S3 存储桶。通过允许文件传输目标 S3 存储桶拥有 有关更多信息,请参阅教程:使用 Amazon S3 触发器调用 Lambda函数中的创建权限策略部分。 | 迁移主管 |
| Task | 说明 | 所需技能 |
|---|---|---|
创建传输任务,以将大型机文件复制到 S3 存储桶。 | 要创建大型机文件传输任务,请按照 AWS Mainframe Modernization 文档中的说明进行操作。 注意将源代码页编码指定为 IBM1047,将目标代码页编码指定为 UTF-8。 | 迁移工程师 |
验证传输任务。 | 要验证数据传输是否成功,请按照 AWS Mainframe Modernization 文档中的说明进行操作。确认大型机文件位于文件传输目标 S3 存储桶中。 | 迁移主管 |
验证 Lambda 复制函数。 | 验证 Lambda 函数是否已启动,以及文件是否已使用 .csv 扩展名复制到源数据集 S3 存储桶。 Lambda 函数创建的.csv 文件是 Quick Sight 的输入数据文件。有关示例数据,请参阅附件部分中的 | 迁移主管 |
| Task | 说明 | 所需技能 |
|---|---|---|
设置 Amazon Q in Quick Sight。 | 此功能需要企业版。要设置 Amazon Q in Quick Sight,请执行以下操作: | 迁移主管 |
分析大型机数据并构建可视化控制面板。 | 要在 Quick Sight 中对数据进行分析和可视化,请执行以下操作:
完成后,您可以发布自己的控制面板,以便与组织中的其他人共享。有关示例,请参阅其他信息部分中的大型机可视化控制面板。 | 迁移工程师 |
| Task | 说明 | 所需技能 |
|---|---|---|
创建数据故事。 | 创建数据故事以解释先前分析的见解,并就增加完成预防性免疫接种的成员人数生成建议:
| 迁移工程师 |
查看生成的数据故事。 | 要查看生成的数据故事,请按照 AWS 文档中的说明进行操作。 | 迁移主管 |
编辑生成的数据故事。 | 要更改数据故事中的格式、布局或视觉对象,请按照 AWS 文档中的说明进行操作。 | 迁移主管 |
共享数据故事。 | 要共享数据故事,请按照 AWS 文档中的说明进行操作。 | 迁移工程师 |
问题排查
| 问题 | 解决方案 |
|---|---|
无法在 BMC 文件传输中发现在 “创建传输任务” 的数据集搜索条件中输入的大型机 AWS Mainframe Modernization 文件或数据集。 |
|
相关资源
要将压缩十进制(COMP-3)
附加信息
S3 CopyLambda .py
以下 Python 代码是通过在 IDE 中使用 Amazon Q 的提示符生成的:
#Create a lambda function triggered by S3. display the S3 bucket name and key import boto3 s3 = boto3.client('s3') def lambda_handler(event, context): print(event) bucket = event['Records'][0]['s3']['bucket']['name'] key = event['Records'][0]['s3']['object']['key'] print(bucket, key) #If key starts with object_created, skip copy, print "copy skipped". Return lambda with key value. if key.startswith('object_created'): print("copy skipped") return { 'statusCode': 200, 'body': key } # Copy the file from the source bucket to the destination bucket. Destination_bucket_name = 'm2-filetransfer-final-opt-bkt'. Destination_file_key = 'healthdata.csv' copy_source = {'Bucket': bucket, 'Key': key} s3.copy_object(Bucket='m2-filetransfer-final-opt-bkt', Key='healthdata.csv', CopySource=copy_source) print("file copied") #Delete the file from the source bucket. s3.delete_object(Bucket=bucket, Key=key) return { 'statusCode': 200, 'body': 'Copy Successful' }
大型机可视化控制面板
以下数据视觉对象由 Amazon Q in Quick Sight 创建,可用于分析问题 show member distribution by region。

以下数据视觉对象由 Amazon Q in Quick Sight 创建,可用于分析问题 show member distribution by Region who have not completed preventive immunization, in pie chart。

数据故事输出
以下屏幕截图显示了 Amazon Q in Quick Sight 为提示 Build a data story about Region with most numbers of members. Also show the member distribution by medical plan, vision plan, dental plan. Recommend how to motivate members to complete immunization. Include 4 points of supporting data. 创建的数据故事的部分
在简介中,数据故事建议选择成员人数最多的区域,以便免疫接种工作取得最大成效。

该数据故事分析了前三个区域的成员人数,并将西南区域列为重点开展免疫接种工具的领先区域。

注意
西南区域和东北区域各有八名成员。但是,西南区域未完成疫苗接种的成员人数更多,因此它更有可能提高免疫接种率。
附件
要访问与此文档相关联的其他内容,请解压以下文件:attachment.zip