Gere insights de z/OS dados do Db2 usando o AWS Mainframe Modernization Amazon Q no Quick Sight

Para criar uma política do IAM e um perfil do IAM, siga as instruções na documentação da AWS.

A política do IAM concede acesso para criar tópicos no cluster do Amazon MSK e enviar dados para esses tópicos.

Após criar o perfil do IAM, associe a política a ele. Anote o nome do perfil do IAM. Essa função será usada como o perfil da instância do IAM quando você executar a EC2 instância.

Faça login AWS Marketplace e assine AWS Mainframe Modernization ‒ Data Replication for IBM z/OS.

Selecione a AMI nas assinaturas gerenciadas e escolha Executar nova instância.

Forneça outros detalhes de configuração, como nome da instância, tipo de instância, par de chaves, VPC e sub-redes. Para obter mais informações, consulte a EC2 documentação da Amazon.

Na lista suspensa, escolha o grupo de segurança criado anteriormente.

Em Detalhes avançados, em Perfil de instância do IAM, selecione o perfil do IAM que você criou anteriormente.

Escolha Iniciar instância.

Faça login no e Console de gerenciamento da AWS navegue até o Amazon MSK.

Selecione Criar cluster.

Para o método de criação de cluster, escolha Criação personalizada e, para o tipo de cluster, escolha Provisionado.

Forneça um nome para o cluster.

Atualize as configurações do cluster conforme necessário e mantenha os padrões para as outras configurações.

Anote a <Versão do Kafka>. Você precisará dela durante a configuração do cliente do Kafka.

Escolha Próximo.

Escolha a mesma VPC e sub-redes que você usou para a EC2 instância Preciously e escolha o grupo de segurança que você criou anteriormente.

Na seção Configurações de segurança, habilite o SASL/SCRAM e a autenticação baseada em perfis do IAM. O CDC Precision Connect usa SASL/SCRAM (Simple Authentication and Security Layer/Salted Challenge Response Mechanism), e o IAM é necessário para se conectar ao Amazon Redshift.

Escolha Próximo.

Para a análise, escolha Monitoramento emétodo de entrega de logs do Broker.

Escolha Próximo e, em seguida, Criar o cluster.

Para configurar um segredo no Secrets Manager, siga as instruções na documentação da AWS.

Abra o console do Amazon MSK e selecione o cluster do Amazon MSK que você criou anteriormente.

Escolha a guia Properties (Propriedades).

Escolha Associar segredos, Escolha os segredos, selecione a chave secreta que você criou e escolha Associar segredos.

Você verá uma mensagem de êxito semelhante ao seguinte:

Successfully associated 1 secret for cluster <chosen cluster name>

Escolha o nome do cluster.

No resumo do cluster, escolha Exibir informações do cliente.

Anote a string de conexão privada do endpoint para o tipo de autenticação SASL/SCRAM.

Conecte-se à EC2 instância que você criou anteriormente e instale as atualizações mais recentes executando o seguinte comando:

sudo yum update -y

Instale a biblioteca do Kafka e Java executando o seguinte comando:

sudo yum install -y java-11 librdkafka librdkafka-devel

Para criar uma pasta chamada kafka em /home/ec2-user, navegue até essa pasta e execute o seguinte comando:

mkdir kafka;cd kafka

Faça o download da biblioteca cliente do kafka para a pasta kafka, substituindo <YOUR MSK VERSION> pela versão do Kafka que você anotou durante a criação do cluster do Amazon MSK:

wget https://archive.apache.org/dist/kafka//kafka_2.13-<YOUR MSK VERSION>.tgz

Para extrair o arquivo baixado, execute o seguinte comando, substituindo YOUR MSK VERSION>:

tar -xzf kafka_2.13-<YOUR MSK VERSION>.tgz

Para navegar até o diretório kafka libs e baixar o arquivo Java Archive (JAR) de autenticação do Java IAM, execute os seguintes comandos, substituindo <YOUR MSK VERSION>:

cd kafka_2.13-<YOUR MSK VERSION>/libs
wget https://github.com/aws/aws-msk-iam-auth/releases/download/v1.1.1/aws-msk-iam-auth-1.1.1-all.jarkafka

Para navegar até o diretório bin do Kafka e criar o arquivo client.properties, execute os seguintes comandos:

cd /home/ec2-user/kafka/kafka_2.13-<YOUR MSK VERSION>/bin
cat >client.properties

Atualize o arquivo client.properties com o seguinte conteúdo:

security.protocol=SASL_SSL
sasl.mechanism=AWS_MSK_IAM
sasl.jaas.config=software.amazon.msk.auth.iam.IAMLoginModule required;
sasl.client.callback.handler.class=software.amazon.msk.auth.iam.IAMClientCallbackHandler

Para criar um tópico do Kafka, navegue até o compartimento do Kafka e execute o seguinte comando, substituindo <kafka broker> pelo endpoint privado do servidor de bootstrap do IAM que você anotou durante a criação do cluster do Amazon MSK:

./kafka-topics.sh --bootstrap-server <kafka broker> --command-config client.properties --create --replication-factor 3 —partitions 6 --topic <topic name>

Quando a mensagem Created topic <topic name> aparecer, anote o nome do tópico.

Para criar uma pasta chamada precisely e mudar para essa pasta, execute o seguinte comando:

mkdir /home/ec2-user/precisely;cd /home/ec2-user/precisely

Para criar duas pastas dentro de precisely chamadas scripts e ddls e, em seguida, mudar para a pasta scripts, execute o seguinte comando:

mkdir scripts;mkdir ddls;cd scripts

Para criar um arquivo chamado sqdata_kafka_producer.conf na pasta scripts, execute o seguinte comando:

cat >sqdata_kafka_producer.conf

Atualize o arquivo sqdata_kafka_producer.conf com o seguinte conteúdo:

builtin.features=SASL_SCRAM
security.protocol=SASL_SSL
sasl.mechanism=SCRAM-SHA-512
sasl.username=<User Name>
sasl.password=<Password>
metadata.broker.list=<SASL/SCRAM Bootstrap servers>

Crie um arquivo script.sqd na pasta scripts.

cat >script.sqd

O Apply Engine usa script.sqd para processar os dados de origem e replicar os dados de origem para o destino. Para obter um exemplo de script do Apply Engine, consulte a seção Informações adicionais.

Para mudar para a pasta ddls e criar um arquivo .ddl para cada tabela do Db2, execute os seguintes comandos:

cd /home/ec2-user/precisely/ddls
cat >mem_details.ddl
cat >mem_plans.ddl

Para exportar o caminho de instalação sqdata, execute o seguinte comando:

export PATH=$PATH:/usr/sbin:/opt/precisely/di/sqdata/bin

Para mudar para o diretório /home/ec2-user e gerar a chave de ACL da rede, execute os seguintes comandos:

cd /home/ec2-user
sqdutil keygen --force

Depois que as chaves públicas e privadas são geradas, a seguinte mensagem é exibida:

SQDUT04I Generating a private key in file /home/ec2-user/.nacl/id_nacl
SQDC017I sqdutil(pid=27344) terminated successfully

Anote a chave pública gerada que está armazenada na pasta .nacl.

Na tela do menu principal do SQData z/OS, escolha a opção 2.

Na tela Adicionar daemon à lista, no campo Nome do daemon, insira um nome para o daemon e pressione Enter.

Na tela do menu principal do SQData z/OS, escolha a opção 3. Isso leva você para a tela Capture/Publisher Summary.

Escolha a opção para adicionar um arquivo CAB. Isso levará você para a tela Add CAB File to List.

No campo Name, insira um nome para o arquivo CAB. Para Db2, insira Type como D.

Pressione Enter. Isso leva você para a tela Create New Db2 Capture CAB File.

No campo zFS Dir, especifique o ponto de montagem do armazenamento.

Pressione Enter para salvar e continuar.

Na tela do menu principal do SQData z/OS, escolha a opção 2.

Insira S perto do daemon que você criou para ver os detalhes do daemon.

Insira 1 e, em seguida, pressione Enter para editar o arquivo de agentes.

Adicione os detalhes do seu arquivo CAB. O exemplo a seguir mostra os detalhes de um arquivo CAB chamado DB2ZTOMSK. Use o ID de usuário do mainframe em vez de <userid>.

ÝDB2ZTOMSK¨
type=capture 
cab=/u/<userid>/sqdata/DB2ZTOMSK.cab

Pressione F3.

Insira 2 para editar o arquivo ACL. Adicione seu userid ao arquivo de configuração acl conforme mostrado no seguinte exemplo:

Ýacls¨
prod=admin,<userid>

Pressione F3 para salvar e sair.

Em Opções, insira G.

Insira o cartão JOB, as bibliotecas job e proc e os detalhes da biblioteca Db2 load.

Insira os detalhes do arquivo ACL de rede e insira a opção 2 para gerar o arquivo de linguagem de controle de tarefas (JCL) na biblioteca de tarefas especificada.

Na tela do menu principal do SQData z/OS, escolha a opção 3. Isso leva você para a tela Capture/Publisher Summary.

Insira S ao lado do arquivo CAB para selecioná-lo. Isso leva você para a tela Db2 Capture/Publisher Detail.

Em Opções, insira G nas opções para gerar o trabalho capture/publisher.

Insira o cartão JOB, job e as bibliotecas de procedimentos e os detalhes da biblioteca de carregamento do Db2.

Para criar o trabalho, escolha a opção 4. O trabalho é criado na biblioteca job especificada na biblioteca job.

Verifique o sinalizador DATACAPTURE da tabela Db2 executando a consulta a seguir, alterando <table name> para o nome da tabela Db2:

SELECT DATACAPTURE FROM SYSIBM.SYSTABLES WHERE NAME='<table name>';

Confirme se o resultado mostra DATACAPTURE como Y.

Se DATACAPTURE não for Y, execute a seguinte consulta para habilitar o CDC na tabela Db2, alterando <table name> para o nome da sua tabela Db2:

ALTER TABLE <table name> DATA CAPTURE CHANGES;

Para se conectar à EC2 instância, siga as instruções na AWS documentação.

Altere para o diretório que contém o arquivo script.sqd:

cd /home/ec2-user/precisely/scripts

Para iniciar o Apply Engine, execute o seguinte comando de início sqdeng:

sqdeng -s script.sqd --identity=/home/ec2-user/.nacl/id_nacl

O Apply Engine começará a aguardar atualizações da fonte do mainframe.

Para testar o CDC, faça algumas inserções ou atualizações de registros na tabela Db2.

Verifique se o log do Apply Engine mostra o número de registros capturados e gravados no destino.

Para mudar para o bin diretório do caminho de instalação do cliente Kafka na EC2 instância, execute o comando a seguir, <Kafka version> substituindo-o pela sua versão:

cd /home/ec2-user/kafka/kafka_2.13-<Kafka version>/bin

Para verificar se o Db2 CDC foi escrito como mensagens no tópico do Kafka, execute o comando a seguir, substituindo <kafka broker> e <Topic Name> pelo tópico que você criou anteriormente:

./kafka-console-consumer.sh --bootstrap-server <kafka broker>:9098 --topic <Topic Name> --from-beginning --consumer.config client.properties

Verifique se as mensagens correspondem ao número de registros atualizados na tabela Db2.

Crie uma política do IAM para o Amazon Redshift acessar o Amazon MSK.

[region]Substituindo Região da AWS pelo do Amazon MSK, [account-id] pelo seu Conta da AWS ID e [msk-cluster-name] pelo nome do cluster do Amazon MSK, execute o seguinte código:

{"Version": "2012-10-17", "Statement": [{"Sid": "MSKIAMpolicy","Effect": "Allow","Action": ["kafka-cluster:ReadData","kafka-cluster:DescribeTopic","kafka-cluster:Connect"],"Resource": ["arn:aws:kafka:[region]:[account-id]:cluster/[msk-cluster-name]/*","arn:aws:kafka:[region]:[account-id]:topic/[msk-cluster-name]/*"]},{"Effect": "Allow","Action": ["kafka-cluster:AlterGroup","kafka-cluster:DescribeGroup"],"Resource": ["arn:aws:kafka:[region]:[account-id]:group/[msk-cluster-name]/*"]}]}

É possível encontrar o nome do cluster e o nome do recurso da Amazon (ARN) no console do Amazon MSK. No console, escolha Resumo do cluster e, em seguida, escolha ARN.

Para criar um perfil do IAM e anexar a política, siga as instruções na documentação da AWS.

Para anexar o perfil do IAM ao namespace do Amazon Redshift sem servidor, faça o seguinte:

Em seu grupo de segurança do Amazon Redshift sem servidor, crie uma regra de entrada com os seguintes detalhes:

No seu grupo de segurança do Amazon MSK, crie uma regra de entrada com os seguintes detalhes:

Este padrão usa a porta para autenticação do IAM para configuração do Amazon Redshift e do Amazon MSK. Para obter mais informações, consulte a documentação da AWS (etapa 2).

Ative o roteamento de VPC aprimorado para o grupo de trabalho do Amazon Redshift sem servidor. Para obter mais informações, consulte a documentação do AWS.

Para autorizar conexões do QuickSight com o Amazon Redshift, abra o console do Amazon Redshift e adicione uma regra de entrada no grupo de segurança do Amazon Redshift. A regra deve permitir o tráfego para a porta 5439 (a porta padrão do Redshift) por meio do intervalo CIDR em que você configurou o QuickSight. Para obter uma lista Regiões da AWS e seus endereços IP, consulte Compatível com Regiões da AWS o Quick Sight.

No console do Amazon Redshift, escolha Grupo de trabalho, Acesso a dados, Rede e segurança e habilite Publicamente acessível.

No console do QuickSight, no painel de navegação, escolha Conjuntos de dados.

Na página Conjuntos de dados, escolha Novo conjunto de dados.

Escolha Conexão manual do Redshift.

Na janela Nova fonte de dados do Redshift, insira as informações de conexão:

Escolha Validar conexão. Se for bem-sucedido, você deverá ver uma marca de seleção verde, que indica a validação. Se a validação falhar, consulte a seção Solução de problemas.

Escolha Criar fonte de dados.

Para criar a análise de dados do mainframe, siga as instruções na documentação da AWS. Para o conjunto de dados, escolha o conjunto de dados que você criou.

Na página de análise, escolha Criar elemento visual.

Na janela Criar tópico para análise, escolha Atualizar tópico existente.

Na lista suspensa Selecionar um tópico, escolha o tópico que você criou anteriormente.

Escolha Vinculação de tópicos.

Depois de vincular o tópico, escolha Criar elemento visual para abrir a janela do Amazon Q Criar elemento visual.

No prompt bar., escreva suas perguntas de análise. Os exemplos de perguntas usadas para este padrão são os seguintes:

Depois de inserir suas perguntas, escolha Criar. O Amazon Q no QuickSight cria os elementos visuais.

Para adicionar os elementos visuais ao seu painel visual, escolha ADICIONAR À ANÁLISE.

Para criar a narrativa analítica, siga as instruções na documentação da AWS.

Para o prompt da narrativa analítica, use o seguinte:

Build a data story about Region with most numbers of members. Also show the member distribution by medical plan, vision plan, dental plan. Recommend how to motivate members to complete immunization. Include 4 points of supporting data for this pattern.

Você também pode criar seu próprio prompt para gerar narrativas analíticas para outros insights de negócios.

Escolha Adicionar elementos visuais e adicione os elementos visuais que são relevantes para a narrativa analítica. Para este padrão, use os elementos visuais que você criou anteriormente.

Escolha Criar.

Para obter exemplos de narrativas analíticas, consulte Saída de narrativas analíticas na seção Informações adicionais.