Genere información sobre z/OS datos de Db2 mediante AWS Mainframe Modernization Amazon Q en Quick Sight

Para crear una política de IAM y un rol de IAM, siga las instrucciones de la documentación de AWS.

Cree una política de IAM que conceda acceso para crear temas en el clúster de Amazon MSK y enviar datos a esos temas.

Después de crear el rol de IAM, asocie la política a él. Anote el nombre del rol de IAM. Esta función se utilizará como perfil de la instancia de IAM al lanzar la EC2 instancia.

Inicie sesión y suscríbase a AWS Mainframe Modernization ‒ Data Replication for IBM z/OS. AWS Marketplace

Seleccione la AMI de las suscripciones administradas y elija Iniciar nueva instancia.

Proporcione otros detalles de configuración, como el nombre de la instancia, el tipo de instancia, el par de claves, la VPC y las subredes. Para obtener más información, consulta la EC2 documentación de Amazon.

En la lista desplegable, elija el grupo de seguridad que creó anteriormente.

En Detalles avanzados, Perfil de instancia de IAM, debe seleccionar el rol que creó anteriormente.

Seleccione Iniciar instancia.

Inicia sesión en Amazon MSK y navega hasta Amazon MSK. Consola de administración de AWS

Elija Create cluster.

Para el método de creación del clúster, elija Creación personalizada y, para el tipo de clúster, elija Aprovisionado.

Especifique un nombre para el clúster.

Actualice la configuración del clúster según sea necesario y mantenga los valores predeterminados para el resto de la configuración.

Anote la <versión de Kafka>. La necesitará durante la configuración del cliente de Kafka.

Elija Siguiente.

Elija la misma VPC y las mismas subredes que utilizó para la EC2 instancia de Precily y elija el grupo de seguridad que creó anteriormente.

En la sección Configuración de seguridad, habilite la autenticación basada en roles de IAM y SASL/SCRAM. Precisamente Connect CDC utiliza SASL/SCRAM (capa de autenticación y seguridad simple o mecanismo de respuesta a desafíos salados) y se necesita IAM para conectarse a Amazon Redshift.

Elija Siguiente.

Para revisarlos, elija Supervisión y Método de entrega de registros del agente.

Seleccione Siguiente y, después, Crear el clúster.

Para configurar un secreto en Secrets Manager, siga las instrucciones de la documentación de AWS.

Abra la consola de Amazon MSK y seleccione el clúster de Amazon MSK que creó anteriormente.

Elija la pestaña Propiedades.

Elija Asociar secretos, elija los secretos, seleccione la clave de secretos que creó y, a continuación, elija Asociar secretos.

Verá un mensaje similar al siguiente que indica que la operación se ha realizado correctamente:

Successfully associated 1 secret for cluster <chosen cluster name>

Elija el nombre del clúster.

En el resumen del clúster, elija Ver información del cliente.

Anote la cadena de conexión del punto de conexión privado para el tipo de autenticación SASL/SCRAM.

Conéctese a la EC2 instancia que creó anteriormente e instale las actualizaciones más recientes ejecutando el siguiente comando:

sudo yum update -y

Para instalar la biblioteca de Kafka y Java, ejecute el siguiente comando:

sudo yum install -y java-11 librdkafka librdkafka-devel

Para crear una carpeta con el nombre kafka en /home/ec2-user, navegue hasta esa carpeta y ejecute el comando siguiente:

mkdir kafka;cd kafka

Descargue la biblioteca del cliente de kafka en la carpeta kafka y sustituya <YOUR MSK VERSION> por la versión de Kafka que indicó durante la creación del clúster de Amazon MSK:

wget https://archive.apache.org/dist/kafka//kafka_2.13-<YOUR MSK VERSION>.tgz

Para extraer el archivo descargado, ejecute el comando siguiente y sustituya YOUR MSK VERSION>:

tar -xzf kafka_2.13-<YOUR MSK VERSION>.tgz

Para ir al directorio kafka libs y descargar el archivo Java Archive (JAR) de autenticación de IAM de Java, ejecute los siguientes comandos y sustituya <YOUR MSK VERSION>:

cd kafka_2.13-<YOUR MSK VERSION>/libs
wget https://github.com/aws/aws-msk-iam-auth/releases/download/v1.1.1/aws-msk-iam-auth-1.1.1-all.jarkafka

Para ir al directorio bin de Kafka y crear el archivo client.properties, ejecute los siguientes comandos:

cd /home/ec2-user/kafka/kafka_2.13-<YOUR MSK VERSION>/bin
cat >client.properties

Actualice el archivo client.properties con el siguiente contenido:

security.protocol=SASL_SSL
sasl.mechanism=AWS_MSK_IAM
sasl.jaas.config=software.amazon.msk.auth.iam.IAMLoginModule required;
sasl.client.callback.handler.class=software.amazon.msk.auth.iam.IAMClientCallbackHandler

Para crear un tema de Kafka, vaya a la papelera de Kafka y ejecute el siguiente comando y, a continuación, sustituya <kafka broker> por el punto de conexión privado del servidor de arranque de IAM que indicó durante la creación del clúster de Amazon MSK:

./kafka-topics.sh --bootstrap-server <kafka broker> --command-config client.properties --create --replication-factor 3 —partitions 6 --topic <topic name>

Cuando aparezca el mensaje Created topic <topic name>, anote el nombre del tema.

Para crear una carpeta llamada precisely, navegue hasta esa carpeta y ejecute el comando siguiente:

mkdir /home/ec2-user/precisely;cd /home/ec2-user/precisely

Para crear dos carpetas dentro de precisely llamadas scripts y ddls, y a continuación, cambiarlas a la carpeta scripts, ejecute el siguiente comando:

mkdir scripts;mkdir ddls;cd scripts

Para crear un archivo sqdata_kafka_producer.conf en la carpeta scripts, ejecute el siguiente comando:

cat >sqdata_kafka_producer.conf

Actualice el archivo sqdata_kafka_producer.conf con el siguiente contenido:

builtin.features=SASL_SCRAM
security.protocol=SASL_SSL
sasl.mechanism=SCRAM-SHA-512
sasl.username=<User Name>
sasl.password=<Password>
metadata.broker.list=<SASL/SCRAM Bootstrap servers>

Cree un archivo script.sqd en la carpeta scripts.

cat >script.sqd

El motor de aplicación usa script.sqd para procesar los datos de origen y replicarlos en el destino. Para un ejemplo de script del motor de aplicación, consulte la sección Información adicional.

Para cambiar a la carpeta ddls y crear un archivo .ddl para cada tabla de Db2, ejecute los siguientes comandos:

cd /home/ec2-user/precisely/ddls
cat >mem_details.ddl
cat >mem_plans.ddl

Para exportar la ruta de instalación de sqdata, ejecute el siguiente comando:

export PATH=$PATH:/usr/sbin:/opt/precisely/di/sqdata/bin

Para cambiar al directorio /home/ec2-user y generar la clave de ACL de la red, ejecute los siguientes comandos:

cd /home/ec2-user
sqdutil keygen --force

Una vez generadas las claves pública y privada, aparece el siguiente mensaje:

SQDUT04I Generating a private key in file /home/ec2-user/.nacl/id_nacl
SQDC017I sqdutil(pid=27344) terminated successfully

Anote la clave pública generada que se guarda en la carpeta .nacl.

En la pantalla del menú principal de SQData z/OS, elija la opción 2.

En la pantalla Añadir un daemon a la lista, en el campo Nombre del daemon, introduzca un nombre para el daemon y, a continuación, pulse Intro.

En la pantalla del menú principal de SQData z/OS, elija la opción 3. Esto le llevará a la pantalla de resumen de la captura o del publicador.

Seleccione la opción para añadir un archivo CAB. Esto le llevará a la pantalla Añadir un archivo CAB a la lista.

En el campo Nombre, escriba el nombre del archivo CAB. Para Db2, introduzca el tipo como D.

Pulse Intro. Esto le llevará a la pantalla Crear un nuevo archivo CAB de captura de Db2.

En el campo zFS Dir, especifique el punto de montaje del almacenamiento.

Pulse intro para guardar y continuar.

En la pantalla del menú principal de SQData z/OS, elija la opción 2.

Introduzca S cerca del daemon que ha creado para ver los detalles del daemon.

Introduzca 1 y, a continuación, pulse Intro para editar el archivo de los agentes.

Añada los detalles de su archivo CAB. El siguiente ejemplo muestra los detalles de un archivo CAB denominado DB2ZTOMSK. Utilice su ID de usuario de mainframe en lugar de <userid>.

ÝDB2ZTOMSK¨
type=capture 
cab=/u/<userid>/sqdata/DB2ZTOMSK.cab

Pulse F3.

Introduzca 2 para editar el archivo ACL. Agregue userid al archivo de configuración acl como se muestra en el siguiente ejemplo:

Ýacls¨
prod=admin,<userid>

Pulse F3 para guardar y salir.

En Opciones, introduzca G.

Introduzca la tarjeta de trabajo, las bibliotecas de trabajos y procesos y los detalles de la biblioteca de Db2 load.

Introduzca los detalles del archivo ACL de la red e introduzca la opción 2 para generar el archivo de lenguaje de control de tareas (JCL) en la biblioteca de trabajos especificada.

En la pantalla del menú principal de SQData z/OS, elija la opción 3. Esto le llevará a la pantalla de resumen de la captura o del publicador.

Introduzca S junto al archivo CAB para seleccionarlo. Esto le llevará a la pantalla de detalles de Db2 Capture/Publisher .

En Opciones, introduzca G en las opciones para generar el trabajo capture/publisher.

Introduzca la tarjeta de trabajo, las bibliotecas de procedimiento y los detalles de la biblioteca de carga de Db2.

Para crear el trabajo, elija la opción 4. El trabajo se crea en la biblioteca de trabajos especificada en la biblioteca de trabajos.

Para comprobar el indicador DATACAPTURE de la tabla de Db2, ejecute la siguiente consulta y cambie <table name> por el nombre de la tabla de Db2:

SELECT DATACAPTURE FROM SYSIBM.SYSTABLES WHERE NAME='<table name>';

Confirme que el resultado muestre DATACAPTURE como Y.

Si DATACAPTURE no es Y, ejecute la siguiente consulta para habilitar la CDC en la tabla de Db2, cambiando <table name> por el nombre de la tabla de Db2:

ALTER TABLE <table name> DATA CAPTURE CHANGES;

Para conectarse a la EC2 instancia, siga las instrucciones de la AWS documentación.

Cambie al directorio que contiene el archivo script.sqd:

cd /home/ec2-user/precisely/scripts

Para iniciar el motor de aplicación, ejecute el siguiente comando sqdeng de inicio:

sqdeng -s script.sqd --identity=/home/ec2-user/.nacl/id_nacl

El motor de aplicación empezará a esperar las actualizaciones del origen del mainframe.

Para probar la CDC, inserte o actualice algunos registros en la tabla de Db2.

Compruebe que el registro del motor de aplicación muestre el número de registros capturados y escritos en el destino.

Para cambiar al bin directorio de la ruta de instalación del cliente Kafka de la EC2 instancia, ejecuta el siguiente comando y <Kafka version> sustitúyelo por tu versión:

cd /home/ec2-user/kafka/kafka_2.13-<Kafka version>/bin

Para validar las CDC de Db2 escritas como mensajes en el tema de Kafka, ejecute el siguiente comando y sustituya <kafka broker> y <Topic Name> por el tema que creó anteriormente:

./kafka-console-consumer.sh --bootstrap-server <kafka broker>:9098 --topic <Topic Name> --from-beginning --consumer.config client.properties

Valide que los mensajes coincidan con el número de registros actualizados en la tabla de Db2.

Cree una política de IAM para que Amazon Redshift pueda acceder a Amazon MSK.

Si lo [region] sustituye Región de AWS por el de Amazon MSK, [account-id] por su Cuenta de AWS ID y [msk-cluster-name] por el nombre del clúster de Amazon MSK, ejecute el siguiente código:

{"Version": "2012-10-17", "Statement": [{"Sid": "MSKIAMpolicy","Effect": "Allow","Action": ["kafka-cluster:ReadData","kafka-cluster:DescribeTopic","kafka-cluster:Connect"],"Resource": ["arn:aws:kafka:[region]:[account-id]:cluster/[msk-cluster-name]/*","arn:aws:kafka:[region]:[account-id]:topic/[msk-cluster-name]/*"]},{"Effect": "Allow","Action": ["kafka-cluster:AlterGroup","kafka-cluster:DescribeGroup"],"Resource": ["arn:aws:kafka:[region]:[account-id]:group/[msk-cluster-name]/*"]}]}

Puede buscar el nombre del clúster y el nombre de recurso de Amazon (ARN) en la consola de Amazon MSK. En la consola, elija Resumen del clúster y, a continuación, ARN.

Para crear un rol de IAM y adjuntar la política, siga las instrucciones de la documentación de AWS.

Para adjuntar el rol de IAM al espacio de nombres de Amazon Redshift sin servidor, haga lo siguiente:

En su grupo de seguridad Amazon Redshift sin servidor, cree una regla de entrada con los siguientes detalles:

En su grupo de seguridad de Amazon MSK, cree una regla de entrada con los siguientes detalles:

Este patrón usa el puerto de autenticación de IAM para la configuración de Amazon Redshift y Amazon MSK. Para obtener más información, consulte la documentación de AWS (paso 2).

Active el enrutamiento de VPC mejorado para el grupo de trabajo de Amazon Redshift sin servidor Para obtener más información, consulte la Documentación de AWS.

Para autorizar las conexiones de QuickSight a Amazon Redshift, abra la consola de Amazon Redshift y añada una regla de entrada al grupo de seguridad de Amazon Redshift. La regla debe permitir el tráfico al puerto 5439 (el puerto predeterminado de Redshift) desde el rango de CIDR en el que configuró QuickSight. Para ver una lista de las direcciones IP Regiones de AWS y sus direcciones IP, consulte Compatible con Quick Regiones de AWS Sight.

En la consola de Amazon Redshift, elija Grupo de trabajo, Acceso a datos, Red y seguridad y habilite el Acceso público.

En la consola de QuickSight, en el panel de navegación, elija Conjuntos de datos.

En la página Conjuntos de datos, seleccione Nuevo conjunto de datos.

Elija Conexión manual de Redshift.

En la ventana Nuevo origen de datos de Redshift, introduzca la información de conexión:

Elija Validar conexión. Si se ejecuta correctamente, debería ver una marca de verificación verde que indica la validación. Si la validación falla, consulta la sección Solución de problemas.

Elija Crear origen de datos.

Para crear el análisis de datos del mainframe, siga las instrucciones de la documentación de AWS. En el conjunto de datos, elija el conjunto de datos que ha creado.

En la página de análisis, elija Crear elemento visual.

En la ventana Crear tema para el análisis, elija Actualizar tema existente.

En la lista desplegable Seleccione un tema, elija el tema que creó anteriormente.

Seleccione Vinculación de temas.

Después de vincular el tema, elija Crear elemento visual para abrir la ventana Crear un elemento visual de Amazon Q.

En la barra de peticiones, escriba sus preguntas de análisis. Los ejemplos de preguntas que se utilizan para este patrón son los siguientes:

Después de introducir las preguntas, elija Crear. Amazon Q en QuickSight crea los elementos visuales.

Para añadir los elementos visuales a su panel visual, elija AÑADIR AL ANÁLISIS.

Para crear la historia basada en datos, siga las instrucciones de la documentación de AWS.

Para la petición de la historia basada en datos, utilice lo siguiente:

Build a data story about Region with most numbers of members. Also show the member distribution by medical plan, vision plan, dental plan. Recommend how to motivate members to complete immunization. Include 4 points of supporting data for this pattern.

También puede crear su propia petición para generar historias basadas en datos que le sirvan para obtener información empresarial adicional.

Elija Añadir elementos visuales y añada los elementos visuales que sean relevantes para la historia basada en datos. Para este patrón, utilice los elementos visuales que creó anteriormente.

Elija Compilar.

Para ver un ejemplo de salida de una historia basada en datos, consulte Salida de una historia basada en datos en la sección de información adicional.