Gere insights de dados usando o AWS Mainframe Modernization Amazon Q no Quick Sight - Recomendações da AWS

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Gere insights de dados usando o AWS Mainframe Modernization Amazon Q no Quick Sight

Shubham Roy, Roshna Razack e Santosh Kumar Singh, Amazon Web Services

Resumo

Observação: o AWS Mainframe Modernization serviço (experiência do Managed Runtime Environment) não está mais aberto a novos clientes. Para recursos semelhantes ao AWS Mainframe Modernization Serviço (experiência do Managed Runtime Environment), explore o AWS Mainframe Modernization Service (Experiência autogerenciada). Os clientes atuais podem continuar usando o serviço normalmente. Para obter mais informações, consulte Mudança de disponibilidade do AWS Mainframe Modernization.

Se sua organização está hospedando dados essenciais para os negócios em um ambiente de mainframe, obter insights desses dados é crucial para impulsionar o crescimento e a inovação. Ao desbloquear dados do mainframe, você pode criar inteligência de negócios de maneira mais rápida, segura e escalável para acelerar a tomada de decisões, o crescimento e a inovação orientados por dados na nuvem da Amazon Web Services (AWS).

Este padrão apresenta uma solução para gerar insights de negócios e criar narrativas compartilháveis com base em dados de mainframe usando a transferência de arquivos do AWS Mainframe Modernization com o BMC e o Amazon Q no QuickSight. Os conjuntos de dados de mainframe são transferidos para o Amazon Simple Storage Service (Amazon S3) usando AWS Mainframe Modernization a transferência de arquivos com a BMC. Uma AWS Lambda função formata e prepara o arquivo de dados do mainframe para carregamento no Quick Sight.

Depois que os dados estiverem disponíveis no QuickSight, você poderá usar prompts em linguagem natural com o Amazon Q no QuickSight para criar resumos dos dados, fazer perguntas e gerar narrativas analíticas. Você não precisa escrever consultas SQL ou aprender uma ferramenta de business intelligence (BI).

Contexto de negócios

Este padrão apresenta uma solução para casos de uso de data analytics de mainframe e insights de dados. Usando o padrão, você cria um painel de elementos visuais para os dados da sua empresa. Para demonstrar a solução, este padrão usa uma empresa da área da saúde que fornece planos médicos, odontológicos e oftalmológicos para seus membros nos EUA. Neste exemplo, as informações demográficas e do plano dos membros são armazenadas nos conjuntos de dados do mainframe. O painel visual mostra o seguinte:

  • Distribuição de membros por região

  • Distribuição de membros por gênero

  • Distribuição de membros por idade

  • Distribuição de membros por tipo de plano

  • Membros que não concluíram a imunização preventiva

Depois de criar o painel, você gera uma narrativa analítica que explica os insights da análise anterior. A narrativa analítica fornece recomendações para aumentar o número de membros que concluíram as imunizações preventivas.

Pré-requisitos e limitações

Pré-requisitos

  • Um ativo Conta da AWS

  • Conjuntos de dados de mainframe com dados de negócios

  • Acesso para instalar um agente de transferência de arquivos no mainframe

Limitações

  • Seu arquivo de dados de mainframe deve estar em um dos formatos de arquivo compatíveis com o QuickSight. Para obter uma lista dos formatos de arquivo compatíveis, consulte Supported data sources.

  • Este padrão usa uma função do Lambda para converter o arquivo de mainframe em um formato compatível com o QuickSight.

Arquitetura

O diagrama a seguir mostra uma arquitetura para gerar insights de negócios a partir de dados de mainframe usando a transferência de AWS Mainframe Modernization arquivos com o BMC e o Amazon Q no Quick Sight.

A descrição do diagrama de arquitetura segue o diagrama.

O diagrama mostra o seguinte fluxo de trabalho:

  1. Um conjunto de dados de mainframe contendo dados comerciais é transferido para o Amazon S3 AWS Mainframe Modernization usando a transferência de arquivos com a BMC.

  2. A função do Lambda converte o arquivo que está no bucket do S3 de destino file-transfer para o formato de valores separados por vírgula (CSV).

  3. A função do Lambda envia o arquivo convertido para o bucket do S3 do conjunto de dados de origem.

  4. Os dados no arquivo são ingeridos pelo QuickSight.

  5. Os usuários acessam os dados no QuickSight. Você pode usar o Amazon Q no QuickSight para interagir com os dados usando prompts em linguagem natural.

Ferramentas

Serviços da AWS

  • O AWS Lambda é um serviço de computação que ajuda a executar código sem exigir provisionamento ou gerenciamento de servidores. Ele executa o código somente quando necessário e dimensiona automaticamente, assim, você paga apenas pelo tempo de computação usado.

  • AWS Mainframe Modernization a transferência de arquivos com a BMC converte e transfere conjuntos de dados de mainframe para o Amazon S3 para casos de uso de modernização, migração e aumento de mainframe.

  • O Amazon QuickSight é um serviço de BI em escala de nuvem que ajuda você a visualizar, analisar e relatar dados em um único painel. Este padrão usa os recursos generativos de BI do Amazon Q no QuickSight.

  • O Amazon Simple Storage Service (Amazon S3) é um serviço de armazenamento de objetos baseado na nuvem que ajuda você a armazenar, proteger e recuperar qualquer quantidade de dados.

Práticas recomendadas

  • Ao criar as funções AWS Identity and Access Management (IAM) para transferência de AWS Mainframe Modernization arquivos com o BMC e a função Lambda, siga o princípio do privilégio mínimo.

  • Certifique-se de que seu conjunto de dados de origem tenha tipos de dados compatíveis com o QuickSight. Se o conjunto de dados de origem contiver tipos de dados não compatíveis, converta-os em tipos de dados compatíveis. Para obter informações sobre tipos de dados de mainframe não compatíveis e como convertê-los em tipos de dados compatíveis com o Amazon Q no QuickSight, consulte a seção Recursos relacionados.

Épicos

TarefaDescriptionHabilidades necessárias

Instale o agente de transferência de arquivos.

Para instalar o agente de transferência de AWS Mainframe Modernization arquivos, siga as instruções na AWS documentação.

Administrador de sistema de mainframe

Crie um bucket do S3 para a transferência de arquivos do mainframe.

Crie um bucket S3 para armazenar o arquivo de saída da transferência de AWS Mainframe Modernization arquivos com o BMC. No diagrama da arquitetura, esse é o bucket de destino file-transfer.

Engenheiro de migração

Crie um endpoint de transferência de dados.

  1. Crie um bucket S3 para preparar o arquivo de entrada do mainframe para transferência de arquivos com AWS Mainframe Modernization o BMC.

  2. Para criar o endpoints de transferência de dados do mainframe, siga as instruções na documentação do AWS.

Especialista no AWS Mainframe Modernization
TarefaDescriptionHabilidades necessárias

Criar um bucket do S3.

Crie um bucket do S3 para a função do Lambda para copiar o arquivo de mainframe convertido do bucket de origem para o bucket de destino final.

Engenheiro de migração

Crie uma função do Lambda.

Para criar uma função do Lambda que altere a extensão do arquivo e copie o arquivo do mainframe para o bucket de destino, faça o seguinte:

  1. Faça login no e Console de gerenciamento da AWS navegue até o AWS Lambda console.

  2. Selecione Criar função e, em seguida, selecione Criar do zero.

  3. Em Nome da função, insira um nome para sua função.

  4. Na lista suspensa Runtime, selecione Python.3.X.

  5. Expanda Alterar o perfil de execução padrão e, em seguida, escolha Criar um novo perfil com permissões básicas do Lambda.

  6. Escolha a opção Criar função.

  7. Escolha a guia Código e cole o código Python S3CopyLambda.py fornecido na seção Informações adicionais. O código Python foi gerado usando o Amazon Q no ambiente de desenvolvimento integrado (IDE) do Microsoft Visual Studio.

  8. Edite o destination_bucket_name com o nome do bucket do S3 que você criou anteriormente e change destination_file_key com o nome do arquivo do mainframe.

  9. Implante a função do Lambda.

Engenheiro de migração

Crie um gatilho do Amazon S3 para invocar uma função do Lambda.

Para configurar um gatilho que invoque a função do Lambda, faça o seguinte:

  1. No console do Lambda, abra a página Funções.

  2. Escolha a função Lambda.

  3. Em Visão geral da função, escolha Adicionar gatilho.

  4. Na lista suspensa Configuração do gatilho, selecione S3.

  5. No campo Bucket, insira o nome do seu bucket de origem.

  6. Na lista suspensa Tipo de evento, escolha Todos os eventos de criação de objeto.

  7. Marque a caixa de seleção Eu reconheço que usar o mesmo bucket do S3 para entrada e saída não é recomendado e, em seguida, escolha Adicionar.

Para obter mais informações, consulte Tutorial: Como usar um trigger do Amazon S3 para chamar uma função Lambda.

Líder de migração

Adicione permissões do IAM para a função do Lambda.

As permissões do IAM são necessárias para que a função do Lambda acesse os buckets do S3 de destino file-transfer e do conjunto de dados de origem. Atualize a política associada ao perfil de execução da função do Lambda concedendo as permissões s3:GetObject e s3:DeleteObject autorizando o bucket do S3 de destino file-transfer e acesso s3:PutObject para o bucket do S3 do conjunto de dados de origem.

Para obter mais informações, consulte a seção Criação de uma política de permissões no Tutorial: como usar um acionador do Amazon S3 para invocar uma função do Lambda.

Líder de migração
TarefaDescriptionHabilidades necessárias

Crie uma tarefa de transferência para copiar o arquivo do mainframe para o bucket do S3.

Para criar uma tarefa de transferência de arquivos de mainframe, siga as instruções na documentação do AWS Mainframe Modernization.

nota

Especifique a codificação da página de código-fonte como IBM1047 e a codificação da página de código de destino como UTF-8.

Engenheiro de migração

Verifique a tarefa de transferência.

Para verificar se a transferência de dados foi bem-sucedida, siga as instruções na documentação do AWS Mainframe Modernization. Confirme se o arquivo do mainframe está no bucket do S3 de destino file-transfer.

Líder de migração

Verifique a função de cópia do Lambda.

Verifique se a função do Lambda foi iniciada e se o arquivo foi copiado com uma extensão.csv para o bucket do S3 do conjunto de dados de origem.

O arquivo.csv criado pela função do Lambda é o arquivo de dados de entrada para o QuickSight. Por dados de exemplo, consulte o arquivo Sample-data-member-healthcare-APG na seção Anexos.

Líder de migração
TarefaDescriptionHabilidades necessárias

Configure o QuickSight.

Para configurar o QuickSight, siga as instruções na documentação da AWS.

Líder de migração

Crie um conjunto de dados para o QuickSight.

Para criar um conjunto de dados para o QuickSight, siga as instruções na documentação da AWS. O arquivo de dados de entrada é o arquivo de mainframe convertido que foi criado quando você definiu a tarefa de transferência de dados de mainframe.

Líder de migração
TarefaDescriptionHabilidades necessárias

Configure o Amazon Q no QuickSight.

Esse recurso requer a Enterprise Edition. Para configurar o Amazon Q no QuickSight, faça o seguinte:

  1. Para obter o complemento do Amazon Q, siga as instruções Etapa 1: obter o complemento Q na documentação da AWS.

  2. Para usar os recursos generativos de BI no Amazon Q, atualize as contas de seus usuários. Siga as instruções na documentação da AWS.

  3. Crie um tópico do Amazon Q usando o conjunto de dados criado anteriormente. Siga as instruções na documentação da AWS.

  4. Para configurar os metadados do tópico de forma que sejam compatíveis com a linguagem natural, siga as instruções na documentação da AWS.

Líder de migração

Analise os dados do mainframe e crie um painel visual.

Para analisar e visualizar seus dados no QuickSight, faça o seguinte:

  1. Para criar a análise de dados do mainframe, siga as instruções na documentação da AWS. Para o conjunto de dados, escolha o conjunto de dados criado na etapa anterior.

  2. Na página de análise, escolha Criar elemento visual.

  3. Na janela Criar tópico para análise, escolha Atualizar tópico existente.

  4. Na lista suspensa Selecionar um tópico, escolha o tópico que você criou anteriormente.

  5. Escolha Vinculação de tópicos.

  6. Depois de vincular o tópico, escolha Criar elemento visual para abrir a janela do Amazon Q Criar elemento visual.

  7. No prompt bar., escreva suas perguntas de análise. Os exemplos de perguntas usadas para este padrão são os seguintes:

    • Mostrar distribuição de membros por região

    • Mostrar distribuição de membros por idade

    • Mostrar distribuição de membros por gênero

    • Mostrar distribuição de membros por tipo de plano

    • Mostrar membro que não concluiu a imunização preventiva

    Depois de inserir suas perguntas, escolha Criar. O Amazon Q no QuickSight cria os elementos visuais.

  8. Para adicionar os elementos visuais ao seu painel visual, escolha ADICIONAR À ANÁLISE.

Quando terminar, você poderá publicar seu painel para compartilhar com outras pessoas em sua organização. Para ver exemplos, consulte Painel visual do mainframe na seção Informações adicionais.

Engenheiro de migração
TarefaDescriptionHabilidades necessárias

Crie uma narrativa analítica.

Crie uma narrativa analítica para explicar os insights da análise anterior e gere uma recomendação para aumentar a imunização preventiva dos membros:

  1. Para criar a narrativa analítica, siga as instruções na documentação da AWS.

  2. Para o prompt da narrativa analítica, use o seguinte:

    Build a data story about Region with most numbers of members. Also show the member distribution by medical plan, vision plan, dental plan. Recommend how to motivate members to complete immunization. Include 4 points of supporting data for this pattern.

    Você também pode criar seu próprio prompt para gerar narrativas analíticas para outros insights de negócios.

  3. Escolha Adicionar elementos visuais e adicione os elementos visuais que são relevantes para a narrativa analítica. Para este padrão, use os elementos visuais que você criou anteriormente.

  4. Escolha Criar.

  5. Para obter exemplos de narrativas analíticas, consulte Saída de narrativas analíticas na seção Informações adicionais.

Engenheiro de migração

Veja a narrativa analítica gerada.

Para ver a narrativa analítica gerada, siga as instruções na documentação da AWS.

Líder de migração

Edite uma narrativa analítica gerada.

Para alterar a formatação, o layout ou os elementos visuais em uma narrativa analítica, siga as instruções na documentação da AWS.

Líder de migração

Compartilhe uma narrativa analítica.

Para compartilhar uma narrativa analítica, siga as instruções na documentação da AWS.

Engenheiro de migração

Solução de problemas

ProblemaSolução

Não foi possível descobrir os arquivos de mainframe ou os conjuntos de dados inseridos nos critérios de pesquisa de conjuntos de dados para Criar tarefa de transferência na transferência de AWS Mainframe Modernization arquivos com BMC.

  1. Primeiro, verifique a conexão escolhendo Pontos finais de transferência de dados no console AWS Mainframe Modernization Transferir com BMC. Se o tempo da última pulsação for maior que dois minutos, a conexão para a transferência de arquivos não foi estabelecida. Se o tempo da última pulsação for inferior a dois minutos para o agente em execução no mainframe, a conexão com o agente foi bem-sucedida. Vá para a etapa 2.

  2. Verifique a AWS Secrets Manager configuração. Uma chave secreta deve ser configurada no Secrets Manager com uma chave de userId (I maiúsculo) com um valor do ID de usuário do mainframe e uma chave de password com o valor da senha do mainframe. As chaves secretas userId e password fazem distinção entre maiúsculas e minúsculas e devem ser inseridas como estão.

Recursos relacionados

Para converter tipos de dados de mainframe, como PACKED-DECIMAL (COMP-3) ou BINARY (COMP ou COMP-4), em um tipo de dados compatível com o QuickSight, consulte os seguintes padrões:

Mais informações

S3 .py CopyLambda

O código Python a seguir foi gerado usando um prompt com o Amazon Q em um IDE:

#Create a lambda function triggered by S3. display the S3 bucket name and key import boto3 s3 = boto3.client('s3') def lambda_handler(event, context): print(event) bucket = event['Records'][0]['s3']['bucket']['name'] key = event['Records'][0]['s3']['object']['key'] print(bucket, key) #If key starts with object_created, skip copy, print "copy skipped". Return lambda with key value. if key.startswith('object_created'): print("copy skipped") return { 'statusCode': 200, 'body': key } # Copy the file from the source bucket to the destination bucket. Destination_bucket_name = 'm2-filetransfer-final-opt-bkt'. Destination_file_key = 'healthdata.csv' copy_source = {'Bucket': bucket, 'Key': key} s3.copy_object(Bucket='m2-filetransfer-final-opt-bkt', Key='healthdata.csv', CopySource=copy_source) print("file copied") #Delete the file from the source bucket. s3.delete_object(Bucket=bucket, Key=key) return { 'statusCode': 200, 'body': 'Copy Successful' }

Painel visual do mainframe

O elemento visual de dados a seguir foi criado pelo Amazon Q no QuickSight para a pergunta de análise show member distribution by region.

Gráfico mostrando o número de membros para sudoeste, centro-oeste, nordeste e sudeste.

O elemento visual de dados a seguir foi criado pelo Amazon Q no QuickSight para a pergunta show member distribution by Region who have not completed preventive immunization, in pie chart.

Pie chart showing preventive immunization incompletion by region: Southeast 40%, Southwest 33%, Midwest 27%.

Saída de narrativas analíticas

As capturas de tela a seguir mostram seções da narrativa analítica criada pelo Amazon Q no QuickSight para o prompt Build a data story about Region with most numbers of members. Also show the member distribution by medical plan, vision plan, dental plan. Recommend how to motivate members to complete immunization. Include 4 points of supporting data.

Na introdução, a narrativa analítica recomenda escolher a região com mais membros para obter o maior impacto dos esforços de imunização.

Página de introdução para narrativa analítica com foco nas taxas de conclusão da imunização.

A narrativa analítica fornece uma análise do número de membros das três principais regiões e nomeia o sudoeste como a principal região para se concentrar nos esforços de imunização.

Pie chart showing member distribution by region, with Southwest and Northeast leading at 31% each.
nota

As regiões sudoeste e nordeste têm, cada uma, oito membros. No entanto, o sudoeste tem mais membros que não estão totalmente vacinados, por isso tem mais potencial para se beneficiar de iniciativas para aumentar as taxas de imunização.

Anexos

Para acessar o conteúdo adicional associado a este documento, descompacte o seguinte arquivo: attachment.zip