Générez des informations sur z/OS les données DB2 en utilisant AWS Mainframe Modernization Amazon Q dans Quick Sight - Recommandations AWS
RésuméConditions préalables et limitationsArchitectureOutilsBonnes pratiquesÉpopéesRésolution des problèmesRessources connexesInformations supplémentairesPièces jointes

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Générez des informations sur z/OS les données DB2 en utilisant AWS Mainframe Modernization Amazon Q dans Quick Sight

Shubham Roy, Roshna Razack et Santosh Kumar Singh, Amazon Web Services

Résumé

Remarque : le AWS Mainframe Modernization service (expérience de l'environnement d'exécution géré) n'est plus ouvert aux nouveaux clients. Pour des fonctionnalités similaires à AWS Mainframe Modernization Service (expérience d'environnement d'exécution géré), explorez AWS Mainframe Modernization Service (expérience autogérée). Les clients existants peuvent continuer à utiliser le service normalement. Pour plus d'informations, consultez AWS Mainframe Modernization la section Modification de la disponibilité.

Si votre entreprise héberge des données critiques dans un environnement mainframe IBM Db2, il est essentiel d'obtenir des informations à partir de ces données pour stimuler la croissance et l'innovation. En débloquant les données du mainframe, vous pouvez créer des informations commerciales plus rapides, sécurisées et évolutives afin d'accélérer la prise de décision, la croissance et l'innovation basées sur les données dans le cloud Amazon Web Services ()AWS.

Ce modèle présente une solution pour générer des informations commerciales et créer des récits partageables à partir de données du mainframe dans IBM Db2 for tables. z/OS Les modifications des données du mainframe sont transmises à la AWS Mainframe Modernization rubrique Amazon Managed Streaming for Apache Kafka (Amazon MSK) à l'aide de la réplication de données avec Precisely. Grâce à l'ingestion en streaming d'Amazon Redshift, les données thématiques Amazon MSK sont stockées dans des tables d'entrepôt de données Amazon Redshift Serverless à des fins d'analyse dans Amazon Quick Sight.

Une fois les données disponibles dans Quick Sight, vous pouvez utiliser des instructions en langage naturel avec Amazon Q dans Quick Sight pour créer des résumés des données, poser des questions et générer des récits de données. Vous n'avez pas besoin d'écrire de requêtes SQL ou de vous familiariser avec un outil de business intelligence (BI).

Contexte commercial

Ce modèle présente une solution pour les cas d'utilisation de l'analyse des données sur le mainframe et de l'analyse des données. À l'aide de ce modèle, vous créez un tableau de bord visuel pour les données de votre entreprise. Pour démontrer la solution, ce modèle fait appel à une entreprise de soins de santé qui fournit des plans médicaux, dentaires et ophtalmologiques à ses membres aux États-Unis. Dans cet exemple, les données démographiques des membres et les informations relatives au plan sont stockées dans les tables de z/OS données IBM Db2 for. Le tableau de bord visuel présente les éléments suivants :

  • Répartition des membres par région

  • Répartition des membres par sexe

  • Répartition des membres par âge

  • Répartition des membres par type de plan

  • Membres qui n'ont pas terminé leur vaccination préventive

Pour des exemples de répartition des membres par région et de membres n'ayant pas terminé la vaccination préventive, consultez la section Informations supplémentaires.

Après avoir créé le tableau de bord, vous générez un récit de données qui explique les informations issues de l'analyse précédente. L'histoire des données fournit des recommandations pour augmenter le nombre de membres ayant effectué des vaccinations préventives.

Conditions préalables et limitations

Conditions préalables

  • Un actif Compte AWS. Cette solution a été développée et testée sur Amazon Linux 2 sur Amazon Elastic Compute Cloud (Amazon EC2).

  • Un cloud privé virtuel (VPC) doté d'un sous-réseau accessible par votre système mainframe.

  • Une base de données mainframe contenant des données commerciales. Pour les exemples de données utilisés pour créer et tester cette solution, consultez la section Pièces jointes.

  • La capture des données de modification (CDC) est activée sur les z/OS tables Db2. Pour activer le CDC sur Db2 z/OS, consultez la documentation IBM.

  • Precisely Connect CDC est z/OS installé sur le z/OS système hébergeant les bases de données sources. L' z/OS image Precisely Connect CDC for est fournie sous forme de fichier zip dans le fichier AWS Mainframe Modernization - Data Replication for IBM z/OS Amazon Machine Image (AMI). Pour installer Precisely Connect CDC for z/OS sur le mainframe, consultez la documentation d'installation de Precisely.

Limites

  • Les données Db2 de votre mainframe doivent être dans un type de données pris en charge par Precisely Connect CDC. Pour obtenir la liste des types de données pris en charge, consultez la documentation Precisely Connect CDC.

  • Vos données chez Amazon MSK doivent être dans un type de données pris en charge par Amazon Redshift. Pour obtenir la liste des types de données pris en charge, consultez la documentation Amazon Redshift.

  • Amazon Redshift a des comportements et des limites de taille différents selon les types de données. Pour plus d'informations, consultez la documentation Amazon Redshift.

  • Les données en temps quasi réel dans Quick Sight dépendent de l'intervalle d'actualisation défini pour la base de données Amazon Redshift.

  • Certains Services AWS ne sont pas disponibles du tout Régions AWS. Pour connaître la disponibilité par région, voir Services AWS par région. Amazon Q in Quick Sight n'est actuellement pas disponible dans toutes les régions compatibles avec Quick Sight. Pour des points de terminaison spécifiques, consultez la page Points de terminaison et quotas du service, puis choisissez le lien vers le service.

Versions du produit

  • AWS Mainframe Modernization Réplication des données avec Precisely version 4.1.44

  • Python version 3.6 ou ultérieure

  • Apache Kafka version 3.5.1

Architecture

Architecture cible

Le schéma suivant montre une architecture permettant de générer des informations commerciales à partir des données du mainframe en utilisant la réplication AWS Mainframe Modernization des données avec Precisely et Amazon Q dans Quick Sight.

Processus en sept étapes, du z/OS mainframe à Amazon. QuickSight

Le schéma suivant illustre le flux de travail suivant :

  1. L'agent Precisely Log Reader lit les données des journaux DB2 et les écrit dans un stockage transitoire sur un système de fichiers OMVS sur le mainframe.

  2. L'agent Publisher lit les journaux Db2 bruts depuis le stockage transitoire.

  3. Le démon du contrôleur local authentifie, autorise, surveille et gère les opérations.

  4. L'agent Apply est déployé sur Amazon à EC2 l'aide de l'AMI préconfigurée. Il se connecte à l'agent Publisher via le démon du contrôleur à l'aide du protocole TCP/IP. L'agent Apply envoie les données vers Amazon MSK en faisant appel à plusieurs opérateurs pour un débit élevé.

  5. Les travailleurs écrivent les données dans la rubrique Amazon MSK au format JSON. En tant que cible intermédiaire pour les messages répliqués, Amazon MSK fournit des fonctionnalités de basculement automatisées et hautement disponibles.

  6. L'ingestion de streaming Amazon Redshift permet une ingestion de données à faible latence et à haut débit depuis Amazon MSK vers une base de données Amazon Redshift Serverless. Une procédure stockée dans Amazon Redshift effectue la réconciliation des données de modification du mainframe (insert/update/deletes) dans les tables Amazon Redshift. Ces tables Amazon Redshift constituent la source d'analyse des données pour Quick Sight.

  7. Les utilisateurs accèdent aux données dans Quick Sight pour obtenir des analyses et des informations. Vous pouvez utiliser Amazon Q dans Quick Sight pour interagir avec les données à l'aide d'instructions en langage naturel.

Outils

Services AWS

  • Amazon Elastic Compute Cloud (Amazon EC2) fournit une capacité de calcul évolutive dans le AWS Cloud. Vous pouvez lancer autant de serveurs virtuels que vous le souhaitez et les étendre ou les intégrer rapidement.

  • AWS Key Management Service (AWS KMS) vous aide à créer et à contrôler des clés cryptographiques afin de protéger vos données.

  • Amazon Managed Streaming for Apache Kafka (Amazon MSK) est un service entièrement géré qui vous permet de créer et d'exécuter des applications utilisant Apache Kafka pour traiter les données de streaming.

  • Amazon Quick Sight est un service de business intelligence (BI) à l'échelle du cloud qui vous permet de visualiser, d'analyser et de rapporter vos données dans un tableau de bord unique. Ce modèle utilise les fonctionnalités de BI générative d'Amazon Q dans Quick Sight.

  • Amazon Redshift Serverless est une option sans serveur d'Amazon Redshift qui permet d'exécuter et de faire évoluer les analyses de manière plus efficace en quelques secondes, sans qu'il soit nécessaire de configurer et de gérer une infrastructure d'entrepôt de données.

  • AWS Secrets Manager vous aide à remplacer les informations d'identification codées en dur dans votre code, y compris les mots de passe, par un appel d'API à Secrets Manager pour récupérer le secret par programmation.

Autres outils

  • Precisely Connect CDC collecte et intègre les données des systèmes existants dans le cloud et les plateformes de données.

Référentiel de code

Le code de ce modèle est disponible dans le référentiel GitHub Mainframe_ DataInsights _change_data_reconciliation. Le code est une procédure stockée dans Amazon Redshift. Cette procédure stockée concilie les modifications des données du mainframe (insertions, mises à jour et suppressions) depuis Amazon MSK avec les tables Amazon Redshift. Ces tables Amazon Redshift servent de source d'analyse de données pour Quick Sight.

Bonnes pratiques

Épopées

Sous-tâcheDescriptionCompétences requises

Configurez un groupe de sécurité.

Pour vous connecter au démon du contrôleur et au cluster Amazon MSK, créez un groupe de sécurité pour l' EC2 instance. Ajoutez les règles d'entrée et de sortie suivantes :

  • Règle 1 pour les appels entrants :

    • Pour Type, choisissez TCP personnalisé.

    • Pour Protocol (Protocole), choisissez TCP.

    • Pour Plage de ports, choisissez 2626 (port par défaut pour le démon du contrôleur Precisely) ou le numéro de port du démon du contrôleur exécuté sur le mainframe.

    • Pour Source, choisissez le bloc CIDR.

  • Règle 2 pour les appels entrants :

    • Pour Type, choisissez Custom TCP (TCP personnalisé).

    • Pour Protocole, choisissez SSH.

    • Pour la plage de ports, choisissez 22.

    • Pour Source, choisissez une adresse IP ou une liste de préfixes.

  • Règle entrante 3 :

    • Pour Type, choisissez Custom TCP (TCP personnalisé).

    • Pour Protocol (Protocole), choisissez TCP.

    • Pour la plage de ports, choisissez 9092-9098.

    • Pour Source, choisissez le bloc CIDR.

  • Règle 1 pour le trafic sortant :

    • Pour Type, choisissez Custom TCP (TCP personnalisé).

    • Pour Protocol (Protocole), choisissez TCP.

    • Pour la plage de ports, choisissez 9092-9098.

    • Pour Source, choisissez le bloc CIDR.

  • Règle 2 pour le trafic sortant :

    • Pour Type, choisissez Custom TCP (TCP personnalisé).

    • Pour Protocol (Protocole), choisissez TCP.

    • Pour Plage de ports, choisissez 2626 (port par défaut pour le démon du contrôleur Precisely) ou le numéro de port du démon du contrôleur exécuté sur le mainframe.

    • Pour Source, choisissez le bloc CIDR.

Notez le nom du groupe de sécurité. Vous devrez faire référence au nom lorsque vous lancerez l' EC2 instance et que vous configurerez le cluster Amazon MSK.

DevOps ingénieur, AWS DevOps

Créez une politique IAM et un rôle IAM.

  1. Pour créer une politique IAM et un rôle IAM, suivez les instructions de la documentation.AWS

    La politique IAM autorise l'accès à la création de rubriques sur le cluster Amazon MSK et à l'envoi de données vers ces rubriques.

  2. Après avoir créé le rôle IAM, associez-lui la politique. Notez le nom du rôle IAM. Ce rôle sera utilisé comme profil d'instance IAM lorsque vous lancerez l' EC2 instance.

DevOps ingénieur, administrateur système AWS

Provisionnez une EC2 instance.

Pour configurer une EC2 instance afin d'exécuter Precisely CDC et de vous connecter à Amazon MSK, procédez comme suit :

  1. Connectez-vous et abonnez-vous à AWS MarketplaceAWS Mainframe Modernization ‒ Data Replication for IBM z/OS.

  2. Sélectionnez l'AMI parmi les abonnements gérés, puis choisissez Lancer une nouvelle instance.

  3. Fournissez d'autres détails de configuration, tels que le nom de l'instance, le type d'instance, la paire de clés, le VPC et les sous-réseaux. Pour plus d'informations, consultez la EC2 documentation Amazon.

  4. Dans la liste déroulante, choisissez le groupe de sécurité que vous avez créé précédemment.

  5. Sous Détails avancés, profil d'instance IAM, vous devez sélectionner le rôle que vous avez créé précédemment.

  6. Choisissez Launch instance (Lancer une instance).

Administrateur AWS, DevOps ingénieur
Sous-tâcheDescriptionCompétences requises

Créez le cluster Amazon MSK.

Pour créer un cluster Amazon MSK, procédez comme suit :

  1. Connectez-vous au AWS Management Console, puis accédez à Amazon MSK.

  2. Choisissez Créer un cluster.

  3. Pour la méthode de création du cluster, choisissez Création personnalisée, et pour le type de cluster, choisissez Provisioned.

  4. Attribuez un nom au cluster.

  5. Mettez à jour les paramètres du cluster selon vos besoins et conservez les valeurs par défaut pour les autres paramètres.

  6. Notez la version < Kafka>. Vous en aurez besoin lors de la configuration du client Kafka.

  7. Choisissez Suivant.

  8. Choisissez le même VPC et les mêmes sous-réseaux que ceux que vous avez utilisés pour l' EC2 instance Precisely, puis choisissez le groupe de sécurité que vous avez créé précédemment.

  9. Dans la section Paramètres de sécurité, activez l'authentification basée sur les rôles SASL/SCRAM et IAM. Le CDC utilise Precisely Connect SASL/SCRAM (Simple Authentication and Security Layer/Salted Challenge Response Mechanism), et IAM est nécessaire pour se connecter à Amazon Redshift.

  10. Choisissez Suivant.

  11. Pour la révision, choisissez la méthode de livraison des journaux de surveillance et de courtage.

  12. Choisissez Next, puis Create the cluster.

La création d'un cluster provisionné typique prend jusqu'à 15 minutes. Une fois le cluster créé, son statut passe de Création à Actif.

AWS DevOps, administrateur du cloud

Configurez SASL/SCRAM l'authentification.

Pour configurer SASL/SCRAM l'authentification pour un cluster Amazon MSK, procédez comme suit :

  1. Pour configurer un secret dans Secrets Manager, suivez les instructions de la AWS documentation.

  2. Ouvrez la console Amazon MSK et sélectionnez le cluster Amazon MSK que vous avez créé précédemment.

  3. Choisissez l’onglet Propriétés.

  4. Choisissez Associer des secrets, choisissez les secrets, sélectionnez la clé secrète que vous avez créée, puis choisissez Associer des secrets.

    Vous verrez un message de confirmation semblable au suivant :

    Successfully associated 1 secret for cluster <chosen cluster name>

  5. Choisissez le nom du cluster.

  6. Dans le résumé du cluster, choisissez Afficher les informations sur le client.

  7. Notez la chaîne de connexion du point de terminaison privé pour le type d'authentification SASL/SCRAM.

Architecte du cloud

Créez la rubrique Amazon MSK.

Pour créer la rubrique Amazon MSK, procédez comme suit :

  1. Connectez-vous à l' EC2 instance que vous avez créée précédemment et installez les dernières mises à jour en exécutant la commande suivante :

    sudo yum update -y

  2. Installez les bibliothèques Java et Kafka en exécutant la commande suivante :

    sudo yum install -y java-11 librdkafka librdkafka-devel

  3. Pour créer un dossier nommé kafka dans/home/ec2-user, accédez à ce dossier et exécutez la commande suivante :

    mkdir kafka;cd kafka

  4. Téléchargez la bibliothèque kafka cliente kafka dans le dossier, en la <YOUR MSK VERSION> remplaçant par la version de Kafka que vous avez notée lors de la création du cluster Amazon MSK :

    wget https://archive.apache.org/dist/kafka//kafka_2.13-<YOUR MSK VERSION>.tgz

  5. Pour extraire le fichier téléchargé, exécutez la commande suivante en remplaçant YOUR MSK VERSION> :

    tar -xzf kafka_2.13-<YOUR MSK VERSION>.tgz

  6. Pour accéder au kafka libs répertoire et télécharger le fichier Java Archive (JAR) d'authentification Java IAM, exécutez les commandes suivantes en remplaçant <YOUR MSK VERSION> :

    cd kafka_2.13-<YOUR MSK VERSION>/libs
wget https://github.com/aws/aws-msk-iam-auth/releases/download/v1.1.1/aws-msk-iam-auth-1.1.1-all.jarkafka

  7. Pour accéder au bin répertoire Kafka et créer le client.properties fichier, exécutez les commandes suivantes :

    cd /home/ec2-user/kafka/kafka_2.13-<YOUR MSK VERSION>/bin
cat >client.properties

  8. Mettez à jour le client.properties fichier avec le contenu suivant :

    security.protocol=SASL_SSL
sasl.mechanism=AWS_MSK_IAM
sasl.jaas.config=software.amazon.msk.auth.iam.IAMLoginModule required;
sasl.client.callback.handler.class=software.amazon.msk.auth.iam.IAMClientCallbackHandler

  9. Pour créer un sujet Kafka, accédez à la corbeille Kafka et exécutez la commande suivante, en remplaçant par <kafka broker> le point de terminaison privé du serveur IAM bootstrap que vous avez noté lors de la création du cluster Amazon MSK :

    ./kafka-topics.sh --bootstrap-server <kafka broker> --command-config client.properties --create --replication-factor 3 —partitions 6 --topic <topic name>

  10. Lorsque le message Created topic <topic name> apparaît, notez le nom du sujet.

Administrateur du cloud
Sous-tâcheDescriptionCompétences requises

Configurez les scripts Precisely pour répliquer les modifications apportées aux données.

Pour configurer les scripts Precisely Connect CDC afin de répliquer les données modifiées depuis le mainframe vers la rubrique Amazon MSK, procédez comme suit :

  1. Pour créer un nom de dossier précis et le remplacer par ce dossier, exécutez la commande suivante :

    mkdir /home/ec2-user/precisely;cd /home/ec2-user/precisely

  2. Pour créer deux dossiers à l'intérieur du dossier appelé avec précisionddls, scripts puis passer au scripts dossier, exécutez la commande suivante :

    mkdir scripts;mkdir ddls;cd scripts

  3. Pour créer un fichier nommé sqdata_kafka_producer.conf dans le scripts dossier, exécutez la commande suivante :

    cat >sqdata_kafka_producer.conf

  4. Mettre à jour le sqdata_kafka_producer.conf fichier avec le contenu suivant :

    builtin.features=SASL_SCRAM
security.protocol=SASL_SSL
sasl.mechanism=SCRAM-SHA-512
sasl.username=<User Name>
sasl.password=<Password>
metadata.broker.list=<SASL/SCRAM Bootstrap servers>
    Note

    Effectuez la mise à jour <SASL/SCRAM Bootstrap servers> avec la liste des SASL/SCRAM courtiers Amazon MSK que vous avez précédemment configurée. Mettez à jour <User Name> et <Password> utilisez le nom d'utilisateur et le mot de passe que vous avez définis précédemment dans Secrets Manager.

  5. Créez un script.sqd fichier dans le scripts dossier.

    cat >script.sqd

    Le moteur Apply permet script.sqd de traiter les données sources et de les répliquer vers la cible. Pour un exemple de script Apply Engine, consultez la section Informations supplémentaires.

  6. Pour accéder au ddls dossier et créer un fichier .ddl pour chaque table DB2, exécutez les commandes suivantes :

    cd /home/ec2-user/precisely/ddls
cat >mem_details.ddl
cat >mem_plans.ddl

Par exemple, les fichiers .ddl, consultez la section Informations supplémentaires.

Développeur d'applications, architecte cloud

Générez la clé ACL du réseau.

Pour générer la clé de liste de contrôle d'accès réseau (ACL réseau), procédez comme suit :

  1. Pour exporter le chemin sqdata d'installation, exécutez la commande suivante :

    export PATH=$PATH:/usr/sbin:/opt/precisely/di/sqdata/bin

  2. Pour accéder au /home/ec2-user répertoire et générer la clé ACL réseau, exécutez les commandes suivantes :

    cd /home/ec2-user
sqdutil keygen --force

    Une fois les clés publiques et privées générées, le message suivant s'affiche :

    SQDUT04I Generating a private key in file /home/ec2-user/.nacl/id_nacl
SQDC017I sqdutil(pid=27344) terminated successfully

  3. Notez la clé publique générée qui est stockée dans le .nacl dossier.

Architecte du cloud, AWS DevOps
Sous-tâcheDescriptionCompétences requises

Configurez les valeurs par défaut dans l'écran ISPF.

Pour configurer les paramètres par défaut dans l'Interactive System Productivity Facility (ISPF), suivez les instructions de la documentation Precisely.

Administrateur système mainframe

Configurez le démon du contrôleur.

Pour configurer le démon du contrôleur, procédez comme suit :

  1. Sur l'écran du menu principal de SQData z/OS, choisissez l'option 2.

  2. Sur l'écran Ajouter un démon à la liste, dans le champ Nom du démon, entrez le nom du démon, puis appuyez sur Entrée.

Administrateur système mainframe

Configuration du diffuseur de publication.

Pour configurer l'éditeur, procédez comme suit :

  1. Sur l'écran du menu principal de SQData z/OS, choisissez l'option 3. Cela vous amène à l'écran Résumé de Capture/Publisher.

  2. Choisissez l'option permettant d'ajouter un fichier CAB. Cela vous amènera à l'écran Ajouter un fichier CAB à la liste.

  3. Dans le champ Nom, entrez le nom du fichier CAB. Pour Db2, entrez le type commeD.

  4. Appuyez sur Entrée. Cela vous amène à l'écran Créer un nouveau fichier CAB de capture DB2.

  5. Dans le champ ZfS Dir, spécifiez le point de montage du stockage.

  6. Appuyez sur Entrée pour enregistrer et continuer.

Administrateur système mainframe

Mettez à jour le fichier de configuration du démon.

Pour mettre à jour les informations relatives à l'éditeur dans le fichier de configuration du démon du contrôleur, procédez comme suit :

  1. Sur l'écran du menu principal de SQData z/OS, choisissez l'option 2.

  2. Entrez S à côté du daemon que vous avez créé pour voir les détails du daemon.

  3. Entrez1, puis appuyez sur Entrée pour modifier le fichier des agents.

  4. Ajoutez les détails de votre fichier CAB. L'exemple suivant montre les détails d'un fichier CAB nomméDB2ZTOMSK. Utilisez l'ID utilisateur de votre ordinateur central au lieu de. <userid>

    ÝDB2ZTOMSK¨
type=capture 
cab=/u/<userid>/sqdata/DB2ZTOMSK.cab

  5. Appuyez sur F3.

  6. Entrez 2 pour modifier le fichier ACL. Ajoutez votre userid au fichier acl de configuration comme indiqué dans l'exemple suivant :

    Ýacls¨
prod=admin,<userid>

  7. Appuyez sur F3 pour enregistrer et quitter.

Administrateur système mainframe

Créez la tâche pour démarrer le démon du contrôleur.

Pour créer la tâche, procédez comme suit :

  1. Dans Options, entrezG.

  2. Entrez la fiche JOB, les bibliothèques de tâches et de processus, ainsi que les détails de Db2 load la bibliothèque.

  3. Entrez les détails du fichier ACL réseau et entrez l'option 2 pour générer le fichier de langage de contrôle des tâches (JCL) dans la bibliothèque de tâches spécifiée.

Administrateur système mainframe

Générez le fichier JCL de l'éditeur de capture.

Pour générer le fichier JCL de l'éditeur de capture, procédez comme suit :

  1. Sur l'écran du menu principal de SQData z/OS, choisissez l'option 3. Cela vous amène à l'écran Résumé de Capture/Publisher.

  2. Entrez à S côté du fichier CAB pour le sélectionner. Cela vous amène à l'écran Db2 Capture/Publisher Detail.

  3. Dans Options, entrez G les options pour générer la capture/publisher tâche.

  4. Entrez les bibliothèques de cartes JOB, de tâches et de procédures, ainsi que les détails de la bibliothèque de chargement DB2.

  5. Pour créer la tâche, choisissez l'option 4. La tâche est créée dans la bibliothèque de tâches spécifiée dans la bibliothèque de tâches.

Administrateur système mainframe

Vérifiez et mettez à jour le CDC.

  1. Vérifiez l'DATACAPTUREindicateur de la table DB2 en exécutant la requête suivante, en remplaçant le nom <table name> de votre table DB2 :

    SELECT DATACAPTURE FROM SYSIBM.SYSTABLES WHERE NAME='<table name>';

    Vérifiez que le résultat s'affiche DATACAPTURE sous la formeY.

  2. Si DATACAPTURE ce n'est pas le casY, exécutez la requête suivante pour activer le CDC sur la table DB2, en changeant le <table name> nom de votre table DB2 :

    ALTER TABLE <table name> DATA CAPTURE CHANGES;
Administrateur système mainframe

Soumettez les fichiers JCL.

Soumettez les fichiers JCL suivants que vous avez configurés lors des étapes précédentes :

  • Fichier JCL pour démarrer le démon du contrôleur

  • Fichier JCL pour démarrer la capture et la publication

Après avoir soumis les fichiers JCL, vous pouvez démarrer le moteur d'application dans Precisely sur l' EC2 instance.

Administrateur système mainframe
Sous-tâcheDescriptionCompétences requises

Démarrez le moteur d'application et validez le CDC.

Pour démarrer le moteur d'application sur l' EC2 instance et valider le CDC, procédez comme suit :

  1. Pour vous connecter à l' EC2 instance, suivez les instructions de la AWS documentation.

  2. Accédez au répertoire qui contient le script.sqd fichier :

    cd /home/ec2-user/precisely/scripts

  3. Pour démarrer le moteur d'application, exécutez la commande de sqdeng démarrage suivante :

    sqdeng -s script.sqd --identity=/home/ec2-user/.nacl/id_nacl

    Le moteur Apply commencera à attendre les mises à jour provenant de la source du mainframe.

  4. Pour tester le CDC, insérez ou mettez à jour des enregistrements dans la table DB2.

  5. Vérifiez que le journal Apply Engine indique le nombre d'enregistrements capturés et écrits sur la cible.

Architecte cloud, développeur d'applications

Validez les enregistrements relatifs à la rubrique Amazon MSK.

Pour lire le message du sujet Kafka, procédez comme suit :

  1. Pour accéder au bin répertoire du chemin d'installation du client Kafka sur l' EC2 instance, exécutez la commande suivante en <Kafka version> remplaçant par votre version :

    cd /home/ec2-user/kafka/kafka_2.13-<Kafka version>/bin

  2. Pour valider le Db2 CDC écrit sous forme de messages dans le sujet Kafka, exécutez la commande suivante, en <Topic Name> remplaçant <kafka broker> et par le sujet que vous avez créé précédemment :

    ./kafka-console-consumer.sh --bootstrap-server <kafka broker>:9098 --topic <Topic Name> --from-beginning --consumer.config client.properties

  3. Vérifiez que les messages correspondent au nombre d'enregistrements mis à jour dans la table Db2.

Développeur d'applications, architecte cloud
Sous-tâcheDescriptionCompétences requises

Configurez Amazon Redshift Serverless.

Pour créer un entrepôt de données Amazon Redshift Serverless, suivez les instructions de la documentation.AWS

Sur le tableau de bord Amazon Redshift Serverless, vérifiez que l'espace de noms et le groupe de travail ont été créés et sont disponibles. Pour cet exemple de modèle, le processus peut prendre de 2 à 5 minutes.

Ingénieur de données

Configurez le rôle IAM et la politique de confiance requis pour l'ingestion du streaming.

Pour configurer l'ingestion du streaming sans serveur Amazon Redshift depuis Amazon MSK, procédez comme suit :

  1. Créez une politique IAM pour Amazon Redshift afin d'accéder à Amazon MSK.

    En [region] remplaçant par le Région AWS pour Amazon MSK, [account-id] par votre Compte AWS identifiant et [msk-cluster-name] par le nom du cluster Amazon MSK, exécutez le code suivant :

    {"Version": "2012-10-17", "Statement": [{"Sid": "MSKIAMpolicy","Effect": "Allow","Action": ["kafka-cluster:ReadData","kafka-cluster:DescribeTopic","kafka-cluster:Connect"],"Resource": ["arn:aws:kafka:[region]:[account-id]:cluster/[msk-cluster-name]/*","arn:aws:kafka:[region]:[account-id]:topic/[msk-cluster-name]/*"]},{"Effect": "Allow","Action": ["kafka-cluster:AlterGroup","kafka-cluster:DescribeGroup"],"Resource": ["arn:aws:kafka:[region]:[account-id]:group/[msk-cluster-name]/*"]}]}

    Vous trouverez le nom du cluster et le nom de ressource Amazon (ARN) sur la console Amazon MSK. Sur la console, choisissez Résumé du cluster, puis ARN.

  2. Pour créer un rôle IAM et associer la politique, suivez les instructions de la AWS documentation.

  3. Pour associer le rôle IAM à l'espace de noms Amazon Redshift Serverless, procédez comme suit :

    1. Connectez-vous à la console et ouvrez la console Amazon Redshift à l'adresse. https://console.aws.amazon.com/redshiftv2/

    2. Choisissez Serverless dashboard (Tableau de bord sans serveur).

    3. Choisissez Namespace.

    4. Choisissez l'onglet Sécurité et chiffrement.

    5. Choisissez Autorisation, puis attachez le rôle IAM que vous avez créé.

  4. Dans votre groupe de sécurité Amazon Redshift Serverless, créez une règle entrante avec les informations suivantes :

    • Pour Type, choisissez Custom TCP (TCP personnalisé).

    • Pour Protocol (Protocole), choisissez TCP.

    • Pour la plage de ports, choisissez 9098, 9198.

    • Pour Source, choisissez le groupe de sécurité Amazon MSK.

  5. Dans votre groupe de sécurité Amazon MSK, créez une règle entrante avec les détails suivants :

    • Pour Type, choisissez Custom TCP (TCP personnalisé).

    • Pour Protocol (Protocole), choisissez TCP.

    • Pour la plage de ports, choisissez 9098, 9198.

    • Pour Source, choisissez le groupe de sécurité Amazon Redshift.

    Ce modèle utilise le port pour l'authentification IAM pour les configurations Amazon Redshift et Amazon MSK. Pour plus d'informations, consultez la AWS documentation (étape 2).

  6. Activez le routage VPC amélioré pour le groupe de travail Amazon Redshift Serverless. Pour plus d’informations, consultez la documentation AWS.

Ingénieur de données

Connectez Amazon Redshift Serverless à Amazon MSK.

Pour vous connecter à la rubrique Amazon MSK, créez un schéma externe dans Amazon Redshift Serverless. Dans l'éditeur de requêtes Amazon Redshift v2, exécutez la commande SQL suivante, en la 'iam_role_arn' remplaçant par le rôle que vous avez créé précédemment et en remplaçant 'MSK_cluster_arn « par l'ARN de votre cluster ».

CREATE EXTERNAL SCHEMA member_schema
FROM MSK
IAM_ROLE 'iam_role_arn'
AUTHENTICATION iam
URI 'MSK_cluster_arn';
Ingénieur en migration

Créez une vue matérialisée.

Pour utiliser les données de la rubrique Amazon MSK dans Amazon Redshift Serverless, créez une vue matérialisée. Dans l'éditeur de requêtes Amazon Redshift v2, exécutez les commandes SQL suivantes, en les <MSK_Topic_name> remplaçant par le nom de votre rubrique Amazon MSK.

CREATE MATERIALIZED VIEW member_view
AUTO REFRESH YES
AS SELECT
kafka_partition, 
kafka_offset, 
refresh_time, 
json_parse(kafka_value) AS Data
FROM member_schema.<MSK_Topic_name>
WHERE CAN_JSON_PARSE(kafka_value);
Ingénieur en migration

Créez des tables cibles dans Amazon Redshift.

Les tables Amazon Redshift fournissent les données d'entrée pour Quick Sight. Ce modèle utilise les tables member_dtls etmember_plans, qui correspondent aux tables Db2 source sur le mainframe.

Pour créer les deux tables dans Amazon Redshift, exécutez les commandes SQL suivantes dans l'éditeur de requêtes Amazon Redshift v2 :

-- Table 1: members_dtls
CREATE TABLE members_dtls (
 memberid INT ENCODE AZ64,
 member_name VARCHAR(100) ENCODE ZSTD,
 member_type VARCHAR(50) ENCODE ZSTD,
 age INT ENCODE AZ64,
 gender CHAR(1) ENCODE BYTEDICT,
 email VARCHAR(100) ENCODE ZSTD,
 region VARCHAR(50) ENCODE ZSTD
) DISTSTYLE AUTO;

-- Table 2: member_plans
CREATE TABLE member_plans (
 memberid INT ENCODE AZ64,
 medical_plan CHAR(1) ENCODE BYTEDICT,
 dental_plan CHAR(1) ENCODE BYTEDICT,
 vision_plan CHAR(1) ENCODE BYTEDICT,
 preventive_immunization VARCHAR(50) ENCODE ZSTD
) DISTSTYLE AUTO;
Ingénieur en migration

Créez une procédure stockée dans Amazon Redshift.

Ce modèle utilise une procédure stockée pour synchroniser les données de modification (INSERT,UPDATE,DELETE) du mainframe source avec la table d'entrepôt de données Amazon Redshift cible à des fins d'analyse dans Quick Sight.

Pour créer la procédure stockée dans Amazon Redshift, utilisez l'éditeur de requêtes v2 pour exécuter le code de procédure stockée qui se trouve dans le GitHub référentiel.

Ingénieur en migration

Lisez à partir de la vue matérialisée en streaming et chargez vers les tables cibles.

La procédure stockée lit les modifications de données depuis la vue matérialisée en continu et charge les modifications de données dans les tables cibles. Pour exécuter la procédure stockée, utilisez la commande suivante :

call SP_Members_Load();

Vous pouvez utiliser Amazon EventBridge pour planifier les tâches dans votre entrepôt de données Amazon Redshift afin d'appeler cette procédure stockée en fonction de vos exigences en matière de latence des données. EventBridge exécute des tâches à intervalles réguliers. Pour vérifier si l'appel précédent à la procédure est terminé, vous devrez peut-être utiliser un mécanisme tel qu'une machine à AWS Step Functionsétats. Pour plus d’informations, consultez les ressources suivantes :

Une autre option consiste à utiliser l'éditeur de requêtes Amazon Redshift v2 pour planifier l'actualisation. Pour plus d'informations, consultez la section Planification d'une requête avec l'éditeur de requêtes v2.

Ingénieur en migration
Sous-tâcheDescriptionCompétences requises

Configurez Quick Sight.

Pour configurer Quick Sight, suivez les instructions de la AWS documentation.

Ingénieur en migration

Configurez une connexion sécurisée entre Quick Sight et Amazon Redshift.

Pour configurer une connexion sécurisée entre Quick Sight et Amazon Redshift, procédez comme suit

  1. Pour autoriser les connexions entre Quick Sight et Amazon Redshift, ouvrez la console Amazon Redshift et ajoutez une règle d'entrée dans le groupe de sécurité Amazon Redshift. La règle doit autoriser le trafic vers le port 5439 (le port Redshift par défaut) à partir de la plage CIDR dans laquelle vous avez configuré Quick Sight. Pour obtenir une liste des adresses IP Régions AWS et de leurs adresses IP, voir Supporté Régions AWS pour Quick Sight.

    Sur la console Amazon Redshift, choisissez Groupe de travail, Accès aux données, Réseau et sécurité, puis activez Accès public.

Ingénieur en migration

Créez un jeu de données pour Quick Sight.

Pour créer un ensemble de données pour Quick Sight à partir d'Amazon Redshift, procédez comme suit :

  1. Sur la console Quick Sight, dans le volet de navigation, sélectionnez Datasets.

  2. Sur la page Jeux de données, choisissez Nouveau jeu de données.

  3. Choisissez Redshift Manual Connect.

  4. Dans la fenêtre de la nouvelle source de données Redshift, entrez les informations de connexion :

    • Dans Nom de la source de données, entrez le nom de la source de données Amazon Redshift.

    • Pour Serveur de base de données, entrez le point de terminaison du cluster Amazon Redshift. Vous pouvez obtenir la valeur du point de terminaison dans le champ Point de terminaison de la section Informations générales pour le groupe de travail du cluster sur le tableau de bord Amazon Redshift Serverless. L'adresse du serveur est la première partie du point de terminaison avant les deux points, comme illustré dans l'exemple suivant :

      mfdata-insights.NNNNNNNNN.us-east-1.redshift-serverless.amazonaws.com:5439/dev

    • Pour le port, entrez 5439 (le port par défaut pour Amazon Redshift).

    • Entrez le nom de la base de données (après la barre oblique dans le point de terminaison). Dans ce cas, le nom de la base de données estdev.

    • Dans Nom d'utilisateur et mot de passe, entrez le nom d'utilisateur et le mot de passe de la base de données Amazon Redshift.

  5. Choisissez Valider la connexion. En cas de succès, vous devriez voir une coche verte indiquant la validation. Si la validation échoue, consultez la section Dépannage.

  6. Choisissez Create data source.

Ingénieur en migration

Joignez-vous à l'ensemble de données.

Pour créer des analyses dans Quick Sight, joignez les deux tables en suivant les instructions de la AWS documentation.

Dans le volet Configuration de la jointure, choisissez Left pour le type de jointure. Sous Clauses d'adhésion, utilisezmemberid from member_plans = memberid from members_details.

Ingénieur en migration
Sous-tâcheDescriptionCompétences requises

Configurez Amazon Q dans Quick Sight.

Pour configurer Amazon Q dans la fonctionnalité de BI générative de Quick Sight, suivez les instructions de la AWS documentation.

Ingénieur en migration

Analysez les données du mainframe et créez un tableau de bord visuel.

Pour analyser et visualiser vos données dans Quick Sight, procédez comme suit :

  1. Pour créer l'analyse des données du mainframe, suivez les instructions de la AWS documentation. Pour le jeu de données, choisissez le jeu de données que vous avez créé.

  2. Sur la page d'analyse, choisissez Build visual.

  3. Dans la fenêtre Créer un sujet à analyser, choisissez Mettre à jour le sujet existant.

  4. Dans la liste déroulante Sélectionnez un sujet, choisissez le sujet que vous avez créé précédemment.

  5. Choisissez le lien entre les rubriques.

  6. Après avoir créé le lien vers le sujet, choisissez Build visual pour ouvrir la fenêtre Amazon Q Build a Visual.

  7. Dans la barre d'invite, rédigez vos questions d'analyse. Les exemples de questions utilisés pour ce modèle sont les suivants :

    • Afficher la répartition des membres par région

    • Afficher la répartition des membres par âge

    • Afficher la répartition des membres par sexe

    • Afficher la répartition des membres par type de plan

    • Afficher les membres qui n'ont pas terminé leur vaccination préventive

    Après avoir saisi vos questions, choisissez Créer. Amazon Q crée les visuels dans Quick Sight.

  8. Pour ajouter les éléments visuels à votre tableau de bord visuel, choisissez AJOUTER À L'ANALYSE.

Lorsque vous avez terminé, vous pouvez publier votre tableau de bord afin de le partager avec les autres membres de votre organisation. Pour des exemples, consultez le tableau de bord visuel du mainframe dans la section Informations supplémentaires.

Ingénieur en migration
Sous-tâcheDescriptionCompétences requises

Créez une histoire de données.

Créez une histoire de données pour expliquer les conclusions de l'analyse précédente et générer une recommandation visant à accroître la vaccination préventive des membres :

  1. Pour créer l'histoire des données, suivez les instructions de la AWS documentation.

  2. Pour l'invite Data Story, utilisez ce qui suit :

    Build a data story about Region with most numbers of members. Also show the member distribution by medical plan, vision plan, dental plan. Recommend how to motivate members to complete immunization. Include 4 points of supporting data for this pattern.

    Vous pouvez également créer votre propre invite pour générer des récits de données pour d'autres informations commerciales.

  3. Choisissez Ajouter des éléments visuels, puis ajoutez ceux qui sont pertinents pour le récit des données. Pour ce modèle, utilisez les visuels que vous avez créés précédemment.

  4. Sélectionnez Créer.

  5. Par exemple, la sortie d'un récit de données, voir Sortie d'un récit de données dans la section Informations supplémentaires.

Ingénieur en migration

Consultez l'histoire des données générées.

Pour afficher le récit de données généré, choisissez-le sur la page Récits de données.

Ingénieur en migration

Modifiez un récit de données généré.

Pour modifier le formatage, la mise en page ou les éléments visuels d'un data story, suivez les instructions de la AWS documentation.

Ingénieur en migration

Partagez une histoire de données.

Pour partager une histoire de données, suivez les instructions de la AWS documentation.

Ingénieur en migration

Résolution des problèmes

ProblèmeSolution

Pour Quick Sight to Amazon Redshift, la création du jeu de données Validate Connection a échoué.

  1. Vérifiez que le groupe de sécurité attaché à l'instance Amazon Redshift Serverless autorise le trafic entrant depuis la plage d'adresses IP associée à la région dans laquelle vous avez configuré Quick Sight.

  2. Vérifiez que le VPC sur lequel Amazon Redshift Serverless est déployé est accessible au public.

  3. Vérifiez que vous utilisez le nom d'utilisateur et le mot de passe corrects pour Amazon Redshift. Vous pouvez réinitialiser le nom d'utilisateur et le mot de passe sur la console Amazon Redshift.

La tentative de démarrage du moteur Apply sur l' EC2 instance renvoie l'erreur suivante :

-bash: sqdeng: command not found

Exportez le chemin sqdata d'installation en exécutant la commande suivante :

export PATH=$PATH:/usr/sbin:/opt/precisely/di/sqdata/bin

La tentative de démarrage du moteur d'application renvoie l'une des erreurs de connexion suivantes :

  • SQDD018E Cannot connect to transfer socket(rc==0x18468). Agent:<Agent Name > Socket:/u/./sqdata/.DB2ZTOMSK.cab.data

  • SQDUR06E Error opening url cdc://<VPC end point name>:2626/DB2ZTOMSK/DB2ZTOMSK : errno:1128 (Unknown error 1128)

Vérifiez le spool du mainframe pour vous assurer que les tâches du démon du contrôleur sont en cours d'exécution.

Ressources connexes

Informations supplémentaires

Exemples de fichiers .ddl

members_details.ddl

CREATE TABLE MEMBER_DTLS (
memberid INTEGER NOT NULL,
member_name VARCHAR(50),
member_type VARCHAR(20),
age INTEGER,
gender CHAR(1),
email VARCHAR(100),
region VARCHAR(20)
);

member_plans.dll

CREATE TABLE MEMBER_PLANS (
memberid INTEGER NOT NULL,
medical_plan CHAR(1),
dental_plan CHAR(1),
vision_plan CHAR(1),
preventive_immunization VARCHAR(20)
);

Exemple de fichier .sqd

<kafka topic name>Remplacez-le par le nom de votre rubrique Amazon MSK.

script.sqd

-- Name: DB2ZTOMSK: DB2z To MSK JOBNAME DB2ZTOMSK;REPORT EVERY 1;OPTIONS CDCOP('I','U','D');-- Source Descriptions
JOBNAME DB2ZTOMSK;
REPORT EVERY 1;
OPTIONS CDCOP('I','U','D');

-- Source Descriptions 
BEGIN GROUP DB2_SOURCE; 
DESCRIPTION DB2SQL /var/precisely/di/sqdata/apply/DB2ZTOMSK/ddl/mem_details.ddl AS MEMBER_DTLS;
DESCRIPTION DB2SQL /var/precisely/di/sqdata/apply/DB2ZTOMSK/ddl/mem_plans.ddl AS MEMBER_PLANS; 
END GROUP;
-- Source Datastore 
DATASTORE cdc://<zos_host_name>/DB2ZTOMSK/DB2ZTOMSK
OF UTSCDC 
AS CDCIN 
DESCRIBED BY GROUP DB2_SOURCE ;
-- Target Datastore(s)
DATASTORE 'kafka:///<kafka topic name>/key'
OF JSON
AS TARGET
DESCRIBED BY GROUP DB2_SOURCE;
PROCESS INTO TARGET
SELECT
{
REPLICATE(TARGET)
}
FROM CDCIN;

Tableau de bord visuel du mainframe

Le visuel de données suivant a été créé par Amazon Q dans Quick Sight pour la question d'analyse show member distribution by region.

Le nord-est et le sud-ouest ont 8 membres, le sud-ouest en a 5, le Midwest en a 4.

Le visuel de données suivant a été créé par Amazon Q dans Quick Sight pour cette questionshow member distribution by Region who have not completed preventive immunization, in pie chart.

Le sud-est en indique 6, le sud-ouest en indique 5 et le Midwest en indique 4.

Sortie d'une histoire de données

Les captures d'écran suivantes montrent des sections de l'histoire de données créée par Amazon Q dans Quick Sight pour l'inviteBuild a data story about Region with most numbers of members. Also show the member distribution by age, member distribution by gender. Recommend how to motivate members to complete immunization. Include 4 points of supporting data for this pattern.

Dans l'introduction, l'histoire des données recommande de choisir la région comptant le plus grand nombre de membres afin de tirer le meilleur parti des efforts de vaccination.

Écran d'introduction pour une analyse basée sur la géographie, la démographie et l'âge de la base de membres.

L'histoire des données fournit une analyse du nombre de membres pour les quatre régions. Les régions du nord-est, du sud-ouest et du sud-est comptent le plus grand nombre de membres.

Les régions du nord-est et du sud-ouest comptent 8 membres, le sud-est 6 membres et le Midwest 4 membres.

L'histoire des données présente une analyse des membres par âge.

Graphique montrant que la base de membres est biaisée en faveur des adultes plus jeunes et d'âge moyen.

L'histoire des données met l'accent sur les efforts de vaccination dans le Midwest.

Recommandation pour une campagne de sensibilisation personnelle et des défis régionaux.
Poursuite de l'analyse des données, avec les résultats escomptés et les conclusions.

Pièces jointes

Pour accéder au contenu supplémentaire associé à ce document, décompressez le fichier suivant : attachment.zip