Genere información de datos mediante AWS Mainframe Modernization Amazon Q en Quick Sight - Recomendaciones de AWS

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Genere información de datos mediante AWS Mainframe Modernization Amazon Q en Quick Sight

Shubham Roy, Roshna Razack y Santosh Kumar Singh, Amazon Web Services

Resumen

Nota: AWS Mainframe Modernization El servicio (experiencia de entorno de ejecución gestionado) ya no está abierto a nuevos clientes. Para obtener funciones similares a las AWS Mainframe Modernization de Service (experiencia en entornos de ejecución gestionados), explore AWS Mainframe Modernization Service (experiencia autogestionada). Los clientes existentes pueden seguir utilizando el servicio con normalidad. Para obtener más información, consulte Cambio en la disponibilidad de AWS Mainframe Modernization.

Si su organización aloja datos críticos para la empresa en un entorno de mainframe, obtener información a partir de esos datos es fundamental para impulsar el crecimiento y la innovación. Al desbloquear los datos del mainframe, puede crear inteligencia empresarial más rápida, segura y escalable para acelerar la toma de decisiones, el crecimiento y la innovación basados en los datos en la nube de Amazon Web Services (AWS).

Este patrón presenta una solución para generar información empresarial y crear narrativas compartibles a partir de datos de mainframe mediante la transferencia de archivos AWS Mainframe Modernization con BMC y Amazon Q en QuickSight. Los conjuntos de datos de mainframe se transfieren a Amazon Simple Storage Service (Amazon S3) mediante AWS Mainframe Modernization la transferencia de archivos con BMC. Una AWS Lambda función formatea y prepara el archivo de datos del mainframe para cargarlo en Quick Sight.

Una vez que los datos estén disponibles en QuickSight, puede utilizar las peticiones en lenguaje natural con Amazon Q en QuickSight para crear resúmenes de los datos, formular preguntas y generar historias basadas en datos. No tiene que escribir consultas SQL ni aprender una herramienta de inteligencia empresarial (BI).

Contexto empresarial

Este patrón presenta una solución para casos de uso de análisis de datos e información de datos de mainframe. Con el patrón, puede crear un panel visual para los datos de su empresa. Para demostrar la solución, este patrón utiliza una empresa de atención médica que ofrece planes médicos, dentales y oftalmológicos a sus miembros en los EE. UU. En este ejemplo, la información demográfica y de planes de los miembros se almacena en las tablas de datos de mainframe. El panel visual muestra lo siguiente:

  • Distribución de miembros por región

  • Distribución de miembros por género

  • Distribución de miembros por edad

  • Distribución de miembros por tipo de plan

  • Miembros que no han completado la inmunización preventiva

Después de crear el panel, se genera una historia basada en datos que explica la información del análisis anterior. Las historias basadas en datos proporcionan recomendaciones para aumentar el número de miembros que han completado la inmunización preventiva.

Requisitos previos y limitaciones

Requisitos previos 

  • Un activo Cuenta de AWS

  • Conjuntos de datos de mainframe con datos empresariales

  • Acceso a la instalación de un agente de transferencia de archivos en el mainframe

Limitaciones

  • El archivo de datos del mainframe debe estar en uno de los formatos de archivo compatibles con QuickSight. Para obtener una lista de los formatos de archivo compatibles, consulte Orígenes de datos compatibles.

  • Este patrón utiliza una función de Lambda para convertir el archivo de mainframe a un formato compatible con QuickSight.

Arquitectura

El siguiente diagrama muestra una arquitectura para generar información empresarial a partir de datos de mainframe mediante la transferencia de AWS Mainframe Modernization archivos con BMC y Amazon Q en Quick Sight.

Descripción del diagrama de arquitectura después del diagrama.

En el diagrama, se muestra el siguiente flujo de trabajo:

  1. Un conjunto de datos de mainframe que contiene datos empresariales se transfiere a Amazon S3 mediante la transferencia de AWS Mainframe Modernization archivos con BMC.

  2. La función de Lambda convierte el archivo que está en el bucket de S3 de destino de transferencia de archivos en formato de valores separados por comas (CSV).

  3. La función de Lambda envía el archivo convertido al bucket de S3 del conjunto de datos de origen.

  4. QuickSight ingiere los datos del archivo.

  5. Los usuarios acceden a los datos en QuickSight. Puede usar Amazon Q en QuickSight para interactuar con los datos mediante peticiones en lenguaje natural.

Tools (Herramientas)

Servicios de AWS

  • AWS Lambda es un servicio de computación que ayuda a ejecutar código sin necesidad de aprovisionar ni administrar servidores. Ejecuta el código solo cuando es necesario y amplía la capacidad de manera automática, por lo que solo pagará por el tiempo de procesamiento que utilice.

  • AWS Mainframe Modernization la transferencia de archivos con BMC convierte y transfiere conjuntos de datos de mainframe a Amazon S3 para casos de uso de modernización, migración y aumento de mainframes.

  • Amazon QuickSight es un servicio de BI a escala de la nube que lo ayuda a visualizar, analizar y generar informes de sus datos en un único panel. Este patrón utiliza las capacidades de BI generativa de Amazon Q en QuickSight.

  • Amazon Simple Storage Service (Amazon S3) es un servicio de almacenamiento de objetos basado en la nube que lo ayuda a almacenar, proteger y recuperar cualquier cantidad de datos.

Prácticas recomendadas

Epics

TareaDescripciónHabilidades requeridas

Instale el agente de transferencia de archivos.

Para instalar el agente de transferencia de AWS Mainframe Modernization archivos, siga las instrucciones de la AWS documentación.

Administrador del sistema de mainframe

Cree un bucket de S3 para la transferencia de archivos de mainframe.

Cree un depósito de S3 para almacenar el archivo de salida de la transferencia de AWS Mainframe Modernization archivos con BMC. En el diagrama de arquitectura, este es el bucket de destino de la transferencia de archivos.

Ingeniero de migraciones

Cree un punto de conexión de transferencia de datos.

  1. Cree un depósito de S3 para organizar el archivo de entrada de la unidad central para la transferencia de AWS Mainframe Modernization archivos con BMC.

  2. Para crear el punto de conexión de la transferencia de archivos del mainframe, siga las instrucciones de la documentación de AWS.

Especialista en AWS Mainframe Modernization
TareaDescripciónHabilidades requeridas

Cree un bucket de S3.

Cree un bucket de S3 para que la función de Lambda copie el archivo de mainframe convertido del bucket de origen al bucket de destino final.

Ingeniero de migraciones

Creación de una función de Lambda.

Para crear una función de Lambda que cambie la extensión del archivo y copie el archivo de mainframe en el bucket de destino, haga lo siguiente:

  1. Inicie sesión en y navegue hasta la AWS Lambda consola. Consola de administración de AWS

  2. Elija Crear función y, a continuación, elija Crear desde cero.

  3. En Nombre de la función, introduzca un nombre para la función.

  4. En la lista Tiempo de ejecución, elija Python 3.X.

  5. Expanda Cambiar el rol de ejecución predeterminado y, a continuación, elija Crear un nuevo rol con permisos básicos de Lambda.

  6. Elija Crear función.

  7. Seleccione la pestaña Código y, a continuación, pegue el código Python S3CopyLambda.py que se proporciona en la sección Información adicional. El código Python se generó mediante Amazon Q en el entorno de desarrollo integrado (IDE) de Microsoft Visual Studio.

  8. Edite el destination_bucket_name para el nombre del bucket de S3 que creó anteriormente y change destination_file_key para el nombre del archivo del mainframe.

  9. Implemente la función de Lambda.

Ingeniero de migraciones

Cree un desencadenador de Amazon S3 para invocar una función de Lambda.

Para configurar un desencadenador que invoque la función de Lambda, haga lo siguiente:

  1. Abra la página Funciones en la consola de Lambda.

  2. Elija la función de Lambda.

  3. En el panel Información general de la función, elija Añadir desencadenador.

  4. En la lista desplegable Configuración del desencadenador, seleccione S3.

  5. En el campo Bucket, escriba el nombre del bucket de origen.

  6. En la lista desplegable Tipo de evento, seleccione Todos los eventos de creación de objetos.

  7. Seleccione la casilla de verificación Acepto que no se recomienda usar el mismo bucket de S3 para la entrada y la salida y, a continuación, elija Añadir.

Para obtener más información, consulte Tutorial: utilizar un desencadenador de Amazon S3 para invocar una función de Lambda.

Líder de migración

Proporcione permisos de IAM para la función de Lambda.

Se requieren permisos de IAM para que la función de Lambda acceda a los buckets de S3 del conjunto de datos de origen y destino de la transferencia de archivos. Actualice la política asociada al rol de ejecución de la función de Lambda mediante la concesión de permisos s3:GetObject y s3:DeleteObject para el bucket de S3 de destino de la transferencia de archivos y el acceso s3:PutObject al bucket de S3 del conjunto de datos de origen.

Para obtener más información, consulte la sección Creación de una política de permisos del Tutorial: utilizar un desencadenador de Amazon S3 para invocar una función de Lambda.

Líder de migración
TareaDescripciónHabilidades requeridas

Cree una tarea de transferencia de para copiar el archivo de mainframe en el bucket de S3.

Para crear una tarea de transferencia de archivos de mainframe, siga las instrucciones de la documentación de AWS Mainframe Modernization.

nota

Especifique la codificación de la página de códigos fuente como IBM1047 y la codificación de la página de códigos de destino como UTF-8.

Ingeniero de migraciones

Compruebe la tarea de transferencia.

Para comprobar que la transferencia de datos se ha realizado correctamente, siga las instrucciones de la documentación de AWS Mainframe Modernization. Confirme que el archivo de mainframe esté en el bucket de S3 de destino de la transferencia de archivos.

Líder de migración

Compruebe la función de copia de Lambda.

Compruebe que se haya iniciado la función de Lambda y que el archivo se haya copiado con la extensión .csv en el bucket de S3 del conjunto de datos de origen.

El archivo .csv creado por la función de Lambda es el archivo de datos de entrada de QuickSight. Para ver datos de ejemplo, consulte el archivo Sample-data-member-healthcare-APG en la sección de conexiones.

Líder de migración
TareaDescripciónHabilidades requeridas

Configure QuickSight.

Para configurar QuickSight, siga las instrucciones de la documentación de AWS.

Líder de migración

Cree un conjunto de datos para QuickSight.

Para crear un conjunto de datos para QuickSight, siga las instrucciones de la documentación de AWS. El archivo de datos de entrada es el archivo de mainframe convertido que se creó al definir la tarea de transferencia de datos de mainframe.

Líder de migración
TareaDescripciónHabilidades requeridas

Configure Amazon Q en QuickSight.

Esta capacidad requiere la edición Enterprise. Para configurar Amazon Q en QuickSight, haga lo siguiente:

  1. Para obtener el complemento Amazon Q, siga las instrucciones del paso 1: Obtención del complemento Q de la documentación de AWS.

  2. Para utilizar las capacidades de BI generativa de Amazon Q, actualice las cuentas de sus usuarios. Siga las instrucciones de la documentación de AWS.

  3. Cree un tema de Amazon Q con el conjunto de datos que ha creado anteriormente. Siga las instrucciones de la documentación de AWS.

  4. Para configurar los metadatos del tema de manera que sean compatibles con el lenguaje natural, siga las instrucciones de la documentación de AWS.

Líder de migración

Analice los datos del mainframe y cree un panel visual.

Para analizar y visualizar sus datos en QuickSight, haga lo siguiente:

  1. Para crear el análisis de datos del mainframe, siga las instrucciones de la documentación de AWS. Para el conjunto de datos, elija el conjunto de datos creado en el paso anterior.

  2. En la página de análisis, elija Crear elemento visual.

  3. En la ventana Crear tema para el análisis, elija Actualizar tema existente.

  4. En la lista desplegable Seleccione un tema, elija el tema que creó anteriormente.

  5. Seleccione Vinculación de temas.

  6. Después de vincular el tema, elija Crear elemento visual para abrir la ventana Crear un elemento visual de Amazon Q.

  7. En la barra de peticiones, escriba sus preguntas de análisis. Los ejemplos de preguntas que se utilizan para este patrón son los siguientes:

    • Mostrar la distribución de miembros por región

    • Mostrar la distribución de miembros por edad

    • Mostrar la distribución de miembros por género

    • Mostrar la distribución de miembros por tipo de plan

    • Mostrar los miembros que no han completado la inmunización preventiva

    Después de introducir las preguntas, elija Crear. Amazon Q en QuickSight crea los elementos visuales.

  8. Para añadir los elementos visuales a su panel visual, elija AÑADIR AL ANÁLISIS.

Cuando termine, puede publicar el panel de control para compartirlo con otras personas de su organización. Para ver ejemplos, consulte el panel visual del mainframe en la sección de información adicional.

Ingeniero de migraciones
TareaDescripciónHabilidades requeridas

Cree una historia basada en datos.

Cree una historia basada en datos para explicar la información del análisis anterior y genere una recomendación para aumentar la inmunización preventiva de los miembros:

  1. Para crear la historia basada en datos, siga las instrucciones de la documentación de AWS.

  2. Para la petición de la historia basada en datos, utilice lo siguiente:

    Build a data story about Region with most numbers of members. Also show the member distribution by medical plan, vision plan, dental plan. Recommend how to motivate members to complete immunization. Include 4 points of supporting data for this pattern.

    También puede crear su propia petición para generar historias basadas en datos que le sirvan para obtener información empresarial adicional.

  3. Elija Añadir elementos visuales y añada los elementos visuales que sean relevantes para la historia basada en datos. Para este patrón, utilice los elementos visuales que creó anteriormente.

  4. Elija Compilar.

  5. Para ver un ejemplo de salida de una historia basada en datos, consulte Salida de una historia basada en datos en la sección de información adicional.

Ingeniero de migraciones

Vea la historia basada en datos generada.

Para ver la historia basada en datos que se ha generado, siga las instrucciones de la documentación de AWS.

Líder de migración

Edite una historia basada en datos generada.

Para cambiar el formato, el diseño o los elementos visuales de una historia basada en datos, siga las instrucciones de la documentación de AWS.

Líder de migración

Comparta una historia basada en datos.

Para compartir una historia basada en datos, siga las instrucciones de la documentación de AWS.

Ingeniero de migraciones

Resolución de problemas

ProblemaSolución

No se han podido detectar los archivos o conjuntos de datos del mainframe introducidos en los criterios de búsqueda de conjuntos de datos para Crear una tarea de transferencia en AWS Mainframe Modernization la transferencia de archivos con BMC.

  1. En primer lugar, compruebe la conexión seleccionando los puntos finales de transferencia de datos en la consola AWS Mainframe Modernization Transferir con BMC. Si el tiempo del último latido es superior a 2 minutos, significa que no se ha establecido la conexión para la transferencia de archivos. Si el tiempo del último latido es inferior a 2 minutos para el agente que se ejecuta en el mainframe, la conexión con el agente se ha realizado correctamente. Continúe con el paso 2.

  2. Compruebe la AWS Secrets Manager configuración. Se debe configurar una clave secreta en Secrets Manager con una clave de userId (I mayúscula) con un valor del ID de usuario del mainframe y una clave de password con el valor de la contraseña del mainframe. Las claves secretas userId y password distinguen mayúsculas de minúsculas y se deben introducir tal cual.

Recursos relacionados

Para convertir tipos de datos de mainframe como PACKED-DECIMAL (COMP-3) o BINARY (COMP o COMP-4) a un tipo de datos compatible con QuickSight, consulte los siguientes patrones:

Información adicional

S3 .py CopyLambda

El siguiente código de Python se generó mediante una petición con Amazon Q en un IDE:

#Create a lambda function triggered by S3. display the S3 bucket name and key import boto3 s3 = boto3.client('s3') def lambda_handler(event, context): print(event) bucket = event['Records'][0]['s3']['bucket']['name'] key = event['Records'][0]['s3']['object']['key'] print(bucket, key) #If key starts with object_created, skip copy, print "copy skipped". Return lambda with key value. if key.startswith('object_created'): print("copy skipped") return { 'statusCode': 200, 'body': key } # Copy the file from the source bucket to the destination bucket. Destination_bucket_name = 'm2-filetransfer-final-opt-bkt'. Destination_file_key = 'healthdata.csv' copy_source = {'Bucket': bucket, 'Key': key} s3.copy_object(Bucket='m2-filetransfer-final-opt-bkt', Key='healthdata.csv', CopySource=copy_source) print("file copied") #Delete the file from the source bucket. s3.delete_object(Bucket=bucket, Key=key) return { 'statusCode': 200, 'body': 'Copy Successful' }

Panel visual de mainframe

Amazon Q creó el siguiente elemento visual de datos en QuickSight para la pregunta de análisis show member distribution by region.

Gráfico que muestra el número de miembros de las regiones sudoeste, centro-oeste, noreste y sureste.

Amazon Q creó el siguiente elemento visual de datos en QuickSight para la pregunta show member distribution by Region who have not completed preventive immunization, in pie chart.

Pie chart showing preventive immunization incompletion by region: Southeast 40%, Southwest 33%, Midwest 27%.

Salida de una historia basada en datos

Las siguientes capturas de pantalla muestran secciones de la historia basada en datos creada por Amazon Q en QuickSight para la petición Build a data story about Region with most numbers of members. Also show the member distribution by medical plan, vision plan, dental plan. Recommend how to motivate members to complete immunization. Include 4 points of supporting data.

En la introducción, la historia basada en datos recomienda elegir la región con más miembros para obtener el mayor impacto de las iniciativas de inmunización.

Página de introducción a una historia basada en datos que se centra en las tasas de finalización de la inmunización.

La historia con datos proporciona un análisis del número de miembros de las tres principales regiones y menciona al sudoeste como la región que más se centra en las iniciativas de inmunización.

Pie chart showing member distribution by region, with Southwest and Northeast leading at 31% each.
nota

Cada una de las regiones del sudoeste y del noreste tiene ocho miembros. Sin embargo, el sudoeste tiene más miembros que no están completamente vacunados, por lo que tiene más posibilidades de beneficiarse de las iniciativas para aumentar las tasas de inmunización.

Conexiones

Para acceder al contenido adicional asociado a este documento, descomprima el archivo: attachment.zip