Backup e arquivamento de dados do mainframe no Amazon S3 usando o BMC AMI Cloud Data - Recomendações da AWS
ResumoPré-requisitos e limitaçõesArquiteturaFerramentasÉpicosRecursos relacionados

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Backup e arquivamento de dados do mainframe no Amazon S3 usando o BMC AMI Cloud Data

Santosh Kumar Singh, Gilberto Biondo e Maggie Li, Amazon Web Services

Mikhael Liberman, Model9 Mainframe Software

Resumo

Este padrão demonstra como fazer backup e arquivar dados do mainframe diretamente no Amazon Simple Storage Service (Amazon S3) e, em seguida, recuperar e restaurar esses dados no mainframe usando o BMC AMI Cloud Data (conhecido anteriormente como Model9 Manager). Se você está procurando uma maneira de modernizar sua solução de backup e arquivamento como parte de um projeto de modernização do mainframe ou para atender aos requisitos de conformidade, este padrão pode ajudar você a atingir essas metas.

Normalmente, as organizações que executam as principais aplicações de negócios em mainframes usam uma biblioteca de fitas virtuais (VTL) para fazer backup de armazenamentos de dados, como arquivos e logs. Esse método pode ser caro porque consome MIPS faturáveis, e os dados armazenados em fitas fora do mainframe ficam inacessíveis. Para evitar esses problemas, você pode usar o BMC AMI Cloud Data para transferir dados operacionais e históricos do mainframe de forma rápida e econômica diretamente para o Amazon S3. Você pode usar o BMC AMI Cloud Data para fazer backup e arquivar TCP/IP dados AWS enquanto aproveita os mecanismos IBM z Integrated Information Processor (zIIP) para reduzir custos, paralelismo e tempos de transferência.

Pré-requisitos e limitações

Pré-requisitos

  • Uma conta AWS ativa

  • BMC AMI Cloud Data com uma chave de licença válida

  • Conectividade TCP/IP entre o mainframe e a AWS

  • Uma função AWS Identity and Access Management (IAM) para read/write acesso a um bucket do S3

  • Acesso ao produto de segurança de mainframe (RACF) no local para executar processos do BMC AMI Cloud

  • Um z/OS agente BMC AMI Cloud (Java versão 8 de 64 bits SR5 FP16 ou posterior) que tem portas de rede disponíveis, regras de firewall que permitem acesso aos buckets do S3 e um sistema de arquivos dedicado z/FS

  • Requisitos atendidos para o servidor de gerenciamento do BMC AMI Cloud

Limitações

  • O BMC AMI Cloud Data armazena seus dados operacionais em um banco de dados PostgreSQL que é executado como um contêiner Docker na mesma instância do Amazon Elastic Compute Cloud ( EC2Amazon) do servidor de gerenciamento. O Amazon Relational Database Service (Amazon RDS) não é compatível atualmente como um backend para o BMC AMI Cloud Data. Para obter mais informações sobre as atualizações mais recentes do produto, consulte What's New? na documentação do BMC.

  • Esse padrão faz backup e arquiva somente os dados do z/OS mainframe. O BMC AMI Cloud Data realiza o backup e o arquivamento somente de arquivos do mainframe.

  • Este padrão não faz a conversão de dados em formatos abertos padrão, como JSON ou CSV. Use um serviço de transformação adicional, como o BMC AMI Cloud Analytics (anteriormente conhecido como Model9 Gravity) para converter os dados em formatos abertos padrão. Aplicações nativas da nuvem e ferramentas de data analytics podem acessar os dados depois que eles são gravados na nuvem.

Versões do produto

  • BMC AMI Cloud Data versão 2.x

Arquitetura

Pilha de tecnologia de origem

  • Mainframe executando z/OS

  • Arquivos de mainframe, como conjuntos de dados e arquivos z/OS UNIX System Services (USS)

  • Disco de mainframe, como um dispositivo de armazenamento de acesso direto (DASD - direct-access storage device)

  • Fita de mainframe (biblioteca de fitas virtuais ou físicas)

Pilha de tecnologias de destino

  • Amazon S3

  • EC2 Instância da Amazon em uma nuvem privada virtual (VPC)

  • AWS Direct Connect

  • Amazon Elastic File System (Amazon EFS)

Arquitetura de destino

O diagrama a seguir mostra uma arquitetura de referência em que os agentes do software BMC AMI Cloud Data em um mainframe conduzem os processos legados de backup e arquivamento de dados que armazenam os dados no Amazon S3.

Agentes do software BMC AMI Cloud Data em um mainframe conduzindo processos legados de backup e arquivamento de dados

O diagrama mostra o seguinte fluxo de trabalho:

  1. Os agentes do software BMC AMI Cloud Data são executados em partições lógicas de mainframe (). LPARs Os agentes de software leem e gravam dados do mainframe do DASD ou da fita diretamente no Amazon S3 via TCP/IP.

  2. AWS Direct Connect configura uma conexão física isolada entre a rede local e. AWS Para aumentar a segurança, use uma site-to-site VPN na parte superior Direct Connect para criptografar dados em trânsito.

  3. O bucket do S3 armazena arquivos do mainframe como dados de armazenamento de objetos, e os agentes do BMC AMI Cloud Data se comunicam diretamente com os buckets do S3. Os certificados são usados para criptografia HTTPS de todas as comunicações entre o agente e o Amazon S3. A criptografia de dados do Amazon S3 é usada para criptografar e proteger os dados em repouso.

  4. Os servidores de gerenciamento de dados do BMC AMI Cloud são executados como contêineres Docker em EC2 instâncias. As instâncias se comunicam com agentes em execução no mainframe LPARs e nos buckets do S3.

  5. O Amazon EFS é montado em EC2 instâncias ativas e passivas para compartilhar o armazenamento do Network File System (NFS). Isso serve para garantir que os metadados relacionados a uma política criada no servidor de gerenciamento não sejam perdidos no caso de um failover. No caso de um failover do servidor ativo, é possível acessar o servidor passivo sem perda de dados. Se o servidor passivo falhar, é possível acessar o servidor ativo sem perda de dados.

Ferramentas

Serviços da AWS

  • O Amazon Elastic Compute Cloud (Amazon EC2) fornece capacidade de computação escalável no. Nuvem AWS Você poderá iniciar quantos servidores virtuais precisar e escalá-los na vertical rapidamente.

  • O Amazon Elastic File System (Amazon EFS) ajuda você a criar e configurar sistemas de arquivos compartilhados na Nuvem AWS.

  • O Amazon Simple Storage Service (Amazon S3) é um serviço de armazenamento de objetos baseado na nuvem que ajuda você a armazenar, proteger e recuperar quase qualquer quantidade de dados.

  • A Amazon Virtual Private Cloud (Amazon VPC) ajuda você a lançar AWS recursos em uma rede virtual que você definiu. Essa rede virtual é semelhante a uma rede tradicional que você operaria no próprio datacenter, com os benefícios de usar a infraestrutura escalável da AWS.

  • AWS Direct Connectconecta sua rede interna a um AWS Direct Connect local por meio de um cabo de fibra óptica Ethernet padrão. Com essa conexão, você pode criar interfaces virtuais diretamente para AWS serviços públicos, ignorando os provedores de serviços de Internet em seu caminho de rede.

  • AWS Identity and Access Management (IAM) ajuda você a gerenciar com segurança o acesso aos seus AWS recursos controlando quem está autenticado e autorizado a usá-los.

Ferramentas do BMC

  • O servidor de gerenciamento BMC AMI Cloud é um aplicativo de GUI que é executado como um contêiner Docker em uma Amazon Linux Amazon Machine Image (AMI) para Amazon. EC2 O servidor de gerenciamento fornece a funcionalidade para gerenciar as atividades do BMC AMI Cloud, como emissão de relatórios, criação e gerenciamento de políticas, execução de arquivamentos e realização de backups, recuperações e restaurações.

  • O agente do BMC AMI Cloud é executado em uma LPAR de mainframe on-premises que lê e grava arquivos diretamente no armazenamento de objetos usando TCP/IP. Uma tarefa iniciada é executada em uma LPAR de mainframe e é responsável por ler e gravar dados de backup e arquivamento de e para o Amazon S3.

  • A interface de linha de comando (M9CLI) do BMC AMI Cloud Mainframe fornece um conjunto de comandos para realizar ações do BMC AMI Cloud diretamente de TSO/E ou em operações em lote, sem a dependência do servidor de gerenciamento.

Épicos

TarefaDescriptionHabilidades necessárias

Criar um bucket do S3.

Crie um bucket S3 para armazenar os arquivos e volumes dos quais você deseja fazer backup e arquivar do seu ambiente de mainframe.

AWS geral

Crie uma política do IAM.

Todos os servidores de gerenciamento e agentes do BMC AMI Cloud exigem acesso ao bucket do S3 que você criou na etapa anterior.

Para conceder o acesso necessário, crie a seguinte política do IAM:

{
    "Version": "2012-10-17",		 	 	 
    "Statement": [
        {
            "Sid": "Listfolder",
            "Action": [
                "s3:ListBucket",
                "s3:GetBucketLocation",
                "s3:ListBucketVersions"
            ],
            "Effect": "Allow",
            "Resource": [
                "arn:aws:s3:::<Bucket Name>"
            ]
        },
        {
            "Sid": "Objectaccess",
            "Effect": "Allow",
            "Action": [
                "s3:PutObject",
                "s3:GetObjectAcl",
                "s3:GetObject",
                "s3:DeleteObjectVersion",
                "s3:DeleteObject",
                "s3:PutObjectAcl",
                "s3:GetObjectVersion"
            ],
            "Resource": [
                "arn:aws:s3:::<Bucket Name>/*"
            ]
        }
    ]
}
AWS geral
TarefaDescriptionHabilidades necessárias

Obtenha uma licença do software BMC AMI Cloud.

Para obter uma chave de licença do software, entre em contato com a equipe do BMC AMI Cloud. A saída do z/OS D M=CPU comando é necessária para gerar uma licença.

Crie um lead

Baixe a chave da licença e o software BMC AMI Cloud.

Obtenha os arquivos de instalação e a chave de licença seguindo as instruções na documentação do BMC.

Administrador de infraestrutura de mainframe
TarefaDescriptionHabilidades necessárias

Instale o agente de software BMC AMI Cloud.

  1. Antes de iniciar o processo de instalação, verifique se os requisitos mínimos de software e hardware do agente foram atendidos.

  2. Para instalar o agente, siga as instruções na documentação do BMC.

  3. Depois que o agente começar a ser executado na LPAR do mainframe, verifique a mensagem ZM91000I MODEL9 BACKUP AGENT INITIALIZED no spool. Verifique se a conectividade foi estabelecida com sucesso entre o agente e o bucket do S3 procurando a mensagem Object store connectivity has been established successfully no STDOUT do agente.

Administrador de infraestrutura de mainframe
TarefaDescriptionHabilidades necessárias

Crie instâncias EC2 do Amazon Linux 2.

Execute duas instâncias do Amazon EC2 Linux 2 em diferentes zonas de disponibilidade seguindo as instruções da Etapa 1: Inicie uma instância na EC2 documentação da Amazon.

A instância deve atender aos seguintes requisitos de hardware e software recomendados:

  • CPU – Mínimo de 4 núcleos

  • RAM - mínimo 8 GB

  • Unidade – 40 GB

  • EC2 Instância recomendada — C5.xlarge

  • SO – Linux

  • Software – Docker, unzip, VI/Vim

  • Largura de banda da rede: no mínimo 1 GB

Para obter mais informações, consulte a documentação do BMC.

Arquiteto de nuvem, administrador de nuvem

Criar um sistema de arquivos do Amazon EFS.

Crie um sistema de arquivos do Amazon EFS seguindo as instruções da Etapa 1: Crie seu sistema de arquivos do Amazon EFS na documentação do Amazon EFS.

Ao criar o sistema de arquivos, faça o seguinte:

  • Escolha a classe de armazenamento padrão.

  • Escolha a mesma VPC que você usou para iniciar suas EC2 instâncias.

Administrador de nuvem, arquiteto de nuvem

Instale o Docker e configure o servidor de gerenciamento.

Conecte-se às suas EC2 instâncias:

Conecte-se às suas EC2 instâncias seguindo as instruções em Conecte-se à sua instância Linux na EC2 documentação da Amazon.

Configure suas EC2 instâncias:

Para cada EC2 instância, faça o seguinte:

  1. Para instalar o Docker, execute o comando:

     sudo yum install docker

  2. Para iniciar o Docker, execute o comando:

     sudo service docker start

  3. Para validar o status do Docker, execute o comando:

     sudo service docker status

  4. Na /etc/selinux pasta, altere o arquivo config para SELINUX=permissive.

  5. Faça upload dos VerificationScripts.zip arquivos model9-v2.x.y_build_build-id-server.zip e (que você baixou anteriormente) em uma pasta temporária em uma das EC2 instâncias (por exemplo, na /var/tmp pasta da sua instância).

  6. Para ir até a pasta tmp, execute o comando:

     cd/var/tmp

  7. Para descompactar o script de verificação, execute o comando:

     unzip VerificationScripts.zip

  8. Para alterar o diretório, execute o comando:

     cd /var/tmp/sysutils/PrereqsScripts

  9. Para executar o script de verificação, execute o comando:

     ./M9VerifyPrereqs.sh

  10. Depois que o script de verificação solicitar a entrada, insira o URL do Amazon S3 e o número da porta. Em seguida, insira o z/OS IP/DNS e o número da porta.

    nota

    O script executa uma verificação para confirmar se a EC2 instância pode se conectar ao bucket e ao agente do S3 em execução no mainframe. Se uma conexão for estabelecida, uma mensagem de sucesso será exibida.

Arquiteto de nuvem, administrador de nuvem

Instale o software do servidor de gerenciamento.

  1. Crie uma pasta e uma subpasta no diretório raiz (por exemplo,/data/model9) na EC2 instância em que você planeja tornar o servidor ativo.

  2. Para instalar o pacote amazon-efs-utils e montar o sistema de arquivos Amazon EFS criados anteriormente, execute os seguintes comandos:

    sudo yum install -y amazon-efs-utils
sudo mount -t efs -o tls <File System ID>:/ /data/model9

  3. Para atualizar o /etc/fstab arquivo da EC2 instância com uma entrada para o sistema de arquivos do Amazon EFS (para que o Amazon EFS seja automaticamente remontado quando o Amazon for EC2 reinicializado), execute o comando:

     <Amazon-EFS-file-system-id>:/ /data/model9 efs defaults,_netdev 0 0

  4. Para definir o caminho para os arquivos de instalação do BMC AMI Cloud e o local de instalação de destino, execute os seguintes comandos para exportar as variáveis:

    export MODEL9_HOME=/data/model9
export M9INSTALL=/var/tmp
    nota

    Recomendamos que você adicione esses comandos EXPORT ao seu script .bashrc.

  5. Para alterar o diretório, execute comando cd $MODEL9_HOME e crie outro subdiretório executando o comando mkdir diag.

  6. Para descompactar o arquivo de instalação, execute o comando:

    unzip $M9INSTALL/model9-<v2.x.y>_build_<build-id>-server.zip
    nota

    Substitua x.y (a versão) e build-id pelos seus valores.

  7. Para implantar o aplicativo, execute os seguintes comandos:

    docker load -i $MODEL9_HOME/model9-<v2.x.y>_build_<build-id>.docker
docker load -i $MODEL9_HOME/postgres-12.10-x86.docker.gz
    nota

    Substitua v2.x.y (a versão) e build-id pelos seus valores.

  8. Na pasta $MODEL9_HOME/conf, atualize o model9-local.yml arquivo.

    nota

    Alguns dos parâmetros têm valores padrão e outros podem ser atualizados conforme necessário. Para obter mais informações, consulte as instruções no arquivo model9-local.yml.

  9. Crie um arquivo chamado $MODEL9_HOME/conf e adicione os seguintes parâmetros ao arquivo:

    TZ=America/New_York
EXTRA_JVM_ARGS=-Xmx2048m

  10. Para criar uma ponte de rede do Docker, execute o comando:

    docker network create -d bridge model9network

  11. Para iniciar o contêiner do banco de dados PostgreSQL do BMC AMI Cloud, execute o seguinte comando:

    docker run -p 127.0.0.1:5432:5432 \
-v $MODEL9_HOME/db/data:/var/lib/postgresql/data:z \
--name model9db --restart unless-stopped \
--network model9network \
-e POSTGRES_PASSWORD=model9 -e POSTGRES_DB=model9 -d postgres:12.10

  12. Depois que o contêiner do PostgreSQL começar a ser executado, execute o comando a seguir para iniciar o servidor do aplicativo:

    docker run -d -p 0.0.0.0:443:443 -p 0.0.0.0:80:80 \
--sysctl net.ipv4.tcp_keepalive_time=600 \
--sysctl net.ipv4.tcp_keepalive_intvl=30 \
--sysctl net.ipv4.tcp_keepalive_probes=10 \
-v $MODEL9_HOME:/model9:z -h $(hostname) --restart unless-stopped \
--env-file $MODEL9_HOME/conf/model9.env \
--network model9network \
--name model9-v2.x.y model9:<v2.x.y>.<build-id>
    nota

    Substitua v2.x.y (a versão) e build-id pelos seus valores.

  13. Para verificar o status de integridade dos dois contêineres, execute o comando:

    docker ps -a

  14. Para instalar um servidor de gerenciamento nas EC2 instâncias passivas, repita as etapas 1—4, 7 e 10—13.

nota

Para solucionar problemas, acesse os logs armazenados na pasta /data/model9/logs/. Para obter mais informações, consulte a documentação do BMC.

Arquiteto de nuvem, administrador de nuvem
TarefaDescriptionHabilidades necessárias

Adicione um novo agente.

Antes de adicionar um novo agente, considere o seguinte:

  • Um agente do BMC AMI Cloud está sendo executado na LPAR do mainframe e foi totalmente inicializado. Identifique o agente procurando a mensagem de inicialização ZM91000I MODEL9 BACKUP AGENT INITIALIZED no spool.

  • Um contêiner do Docker do servidor de gerenciamento está totalmente inicializado e em execução.

Você deve criar um agente no servidor de gerenciamento antes de definir qualquer política de backup e arquivamento. Para criar o agente, faça o seguinte:

  1. Use um navegador da web para acessar o servidor de gerenciamento que está implantado em sua EC2 máquina Amazon e, em seguida, faça login com suas credenciais de mainframe.

  2. Escolha a guia AGENTES E escolha ADD NEW AGENT.

  3. Em Nome, insira o nome do agente.

  4. Em Nome do host/endereço IP, insira o nome do host ou o endereço IP do seu mainframe.

  5. Em Porta, digite o número da porta.

  6. Escolha TESTAR CONEXÃO. Você pode ver uma mensagem de sucesso se a conectividade for estabelecida com sucesso.

  7. Escolha CRIAR.

Depois que o agente for criado, você verá o status de conectado em relação ao armazenamento de objetos e ao agente de mainframe em uma nova janela que aparece na tabela.

Administrador ou desenvolvedor de armazenamento de mainframe

Crie uma política de backup ou arquivamento.

  1. Escolha POLÍTICAS.

  2. Escolha CRIAR POLÍTICA.

  3. Na página CRIAR UMA NOVA POLÍTICA, insira suas especificações de política.

    nota

    Para obter mais informações sobre as especificações disponíveis, consulte Creating a new policy na documentação do BMC.

  4. Escolha Terminar.

  5. A nova política agora está listada como uma tabela. Para ver essa tabela, escolha a guia POLÍTICAS.

Administrador ou desenvolvedor de armazenamento de mainframe
TarefaDescriptionHabilidades necessárias

Execute a política de backup ou arquivamento.

Execute a política de backup ou arquivamento de dados criada anteriormente no servidor de gerenciamento manual ou automaticamente (com base em uma programação). Para executar a política manualmente:

  1. No menu de navegação, escolha a guia POLÍTICAS.

  2. À direita da tabela da política que você deseja executar, escolha o menu de três pontos.

  3. Escolha Executar agora.

  4. Na janela pop-up de confirmação, escolha SIM, EXECUTAR POLÍTICA AGORA.

  5. Depois que a política for executada, verifique o status de execução na seção de atividade da política.

  6. Para a política executada, escolha o menu de três pontos e, em seguida, escolha Exibir log de execução para ver os logs.

  7. Para verificar se o backup foi criado, verifique o bucket do S3.

Administrador ou desenvolvedor de armazenamento de mainframe

Restaure a política de backup ou arquivamento.

  1. No menu de navegação, escolha a guia POLÍTICAS.

  2. Escolha a política na qual o processo de restauração será executado. Isso listará todas as atividades de backup ou arquivamento executadas no passado para essa política específica.

  3. Para selecionar os backups que você deseja restaurar, escolha a coluna Data-hora. O nome do grupo file/Volume/Storage mostra os detalhes de execução da política.

  4. À direita da tabela, escolha o menu de três pontos e escolha RESTAURAR.

  5. Na janela pop-up, insira o nome, o volume e o grupo de armazenamento do destino e escolha RESTAURAR.

  6. Insira suas credenciais de mainframe e escolha RESTAURAR  novamente.

  7. Para confirmar se a restauração foi bem-sucedida, verifique os logs ou o mainframe.

Administrador ou desenvolvedor de armazenamento de mainframe
TarefaDescriptionHabilidades necessárias

Execute a política de backup ou arquivamento usando o M9CLI.

Use o M9CLI para realizar processos de backup e restauração a partir do TSO/E, REXX ou até mesmo JCLs sem configurar regras no servidor de gerenciamento do BMC AMI Cloud.

Usando o TSO/E:

Se você usar o TSO/E, certifique-se de que o M9CLI REXX esteja concatenado ao TSO. Para fazer backup de um conjunto de dados por meio do TSO/E, use o comando TSO M9CLI BACKDSN <DSNAME>.

nota

Para obter mais informações sobre comandos do M9CLI, consulte a Referência da CLI na documentação do BMC.

Usando JCLs:

Para executar a política de backup e arquivamento usando JCLs, execute o M9CLI comando.

Usando operações em lote:

Os seguintes exemplos mostram como arquivar um conjunto de dados executando o comando M9CLI por lote:

//JOBNAME JOB …
//M9CLI EXEC PGM=IKJEFT01
//STEPLIB DD DISP=SHR,DSN=<MODEL9 LOADLIB>
//SYSEXEC DD DISP=SHR,DSN=<MODEL9 EXEC LIB>
//SYSTSPRT DD SYSOUT=*
//SYSPRINT DD SYSOUT=*
//SYSTSIN DD TSO M9CLI ARCHIVE 
 M9CLI ARCHIVE <DSNNAME OR DSN PATTERN>   
/
Administrador ou desenvolvedor de armazenamento de mainframe

Execute a política de backup ou arquivamento no lote JCL.

O BMC AMI Cloud fornece um exemplo de rotina JCL chamada M9SAPIJ. Você pode personalizar o M9SAPIJ para executar uma política específica criada no servidor de gerenciamento com uma JCL. Esse trabalho também pode fazer parte de um programador de lotes para executar processos de backup e restauração automaticamente.

O trabalho em lotes espera os seguintes valores obrigatórios:

  • address/host Nome IP do servidor de gerenciamento

  • Número da porta

  • ID da política ou nome da política (que é criado no servidor de gerenciamento)

nota

Você também pode alterar outros valores seguindo as instruções na tarefa de amostra.

Administrador ou desenvolvedor de armazenamento de mainframe

Recursos relacionados