Copia de seguridad y archivo de datos de mainframe en Amazon S3 mediante BMC AMI Cloud Data - Recomendaciones de AWS
ResumenRequisitos previos y limitacionesArquitecturaHerramientasEpicsRecursos relacionados

Copia de seguridad y archivo de datos de mainframe en Amazon S3 mediante BMC AMI Cloud Data

Santosh Kumar Singh, Gilberto Biondo y Maggie Li, Amazon Web Services

Mikhael Liberman, Model9 Mainframe Software

Resumen

Este patrón muestra cómo hacer copias de seguridad y archivar los datos del mainframe directamente en Amazon Simple Storage Service (Amazon S3) y, a continuación, recuperar y restaurar esos datos en el mainframe mediante BMC AMI Cloud Data (antes conocido como Model9 Manager). Si busca una forma de modernizar su solución de copia de seguridad y archivado como parte de su proceso de modernización del mainframe o de cumplir con los requisitos de conformidad, este patrón puede ayudarle a cumplir esos objetivos.

Por lo general, las organizaciones que ejecutan aplicaciones empresariales principales en mainframes utilizan una biblioteca de cintas virtuales (VTL) para hacer copias de seguridad de los almacenes de datos, como archivos y registros. Este método puede resultar caro porque consume MIPS facturables y no se puede acceder a los datos almacenados en cintas fuera del ordenador central. Para evitar estos problemas, puede utilizar BMC AMI Cloud Data para transferir de forma rápida y rentable los datos operativos e históricos del mainframe directamente a Amazon S3. Puede utilizar BMC AMI Cloud Data para hacer copias de seguridad y archivar datos a través de TCP/IP directamente en la AWS y, al mismo tiempo, aprovechar los motores del procesador de información integrado (zIIP) de IBM para reducir los costos, el paralelismo y los tiempos de transferencia.

Requisitos previos y limitaciones

Requisitos previos

  • Una cuenta de AWS activa

  • BMC AMI Cloud Data con una clave de licencia válida

  • Conectividad TCP/IP entre el mainframe y AWS

  • Un rol de AWS Identity and Access Management (IAM) para el acceso de lectura y escritura a un bucket de S3

  • Se ha establecido el acceso al producto de seguridad de mainframe (RACF) para ejecutar los procesos de BMC AMI Cloud

  • Un agente z/OS de BMC AMI Cloud (versión 8 de Java, SR5 FP16 de 64 bits o posterior) que tiene puertos de red disponibles, reglas de firewall que permiten el acceso a los buckets de S3 y un sistema de archivos z/FS dedicado

  • Requisitos cumplidos para el servidor de administración BMC AMI Cloud

Limitaciones

  • BMC AMI Cloud Data almacena sus datos operativos en una base de datos PostgreSQL que se ejecuta como un contenedor de Docker en la misma instancia de Amazon Elastic Compute Cloud (Amazon EC2) que el servidor de administración. Actualmente, Amazon Relational Database Service (Amazon RDS) no admite actualmente como backend para BMC AMI Cloud Data. Para obtener más información sobre las últimas actualizaciones de los productos, consulte Novedades en la documentación de BMC.

  • Este patrón realiza copias de seguridad y archiva únicamente los datos del mainframe de z/OS. BMC AMI Cloud Data solo realiza copias de seguridad y archiva los archivos del mainframe.

  • Este patrón no convierte los datos a formatos abiertos estándar, como JSON o CSV. Utilice un servicio de transformación adicional como BMC AMI Cloud Analytics (anteriormente conocido como Model9 Gravity) para convertir los datos a formatos abiertos estándar. Las aplicaciones nativas en la nube y las herramientas de análisis de datos pueden acceder a los datos una vez que estos se hayan escrito en la nube.

Versiones de producto

  • BMC AMI Cloud Data, versión 2.x

Arquitectura

Pila de tecnología de origen

  • Mainframe que ejecuta z/OS

  • Archivos de mainframe, como conjuntos de datos y archivos de z/OS UNIX System Services (USS)

  • Disco de mainframe, como un dispositivo de almacenamiento de acceso directo (DASD)

  • Cinta de mainframe (biblioteca de cintas físicas o virtuales)

Pila de tecnología de destino

  • Amazon S3

  • Instancia de Amazon EC2 en una nube privada virtual (VPC)

  • AWS Direct Connect

  • Amazon Elastic File System (Amazon EFS)

Arquitectura de destino

El siguiente diagrama muestra una arquitectura de referencia en la que los agentes de software BMC AMI Cloud Data de un mainframe controlan los procesos de archivado y respaldo de datos heredados que almacenan los datos en Amazon S3.

Agentes de software BMC AMI Cloud Data en un mainframe que impulsan los procesos de copia de seguridad y archivado de datos heredados

En el diagrama, se muestra el siguiente flujo de trabajo:

  1. Los agentes de software de BMC AMI Cloud Data se ejecutan en particiones lógicas de mainframe (LPAR). Los agentes de software leen y escriben datos del mainframe desde el DASD o graban directamente en Amazon S3 a través de TCP/IP.

  2. AWS Direct Connect configura una conexión física y aislada entre la red en las instalaciones y AWS. Para mejorar la seguridad, puede ejecutar una VPN de sitio a sitio sobre Direct Connect para cifrar los datos en tránsito.

  3. El bucket de S3 almacena los archivos del mainframe como datos de almacenamiento de objetos y los agentes de BMC AMI Cloud Data se comunican directamente con los buckets de S3. Los certificados se utilizan para el cifrado HTTPS de todas las comunicaciones entre el agente y Amazon S3. El cifrado de datos de Amazon S3 se utiliza para cifrar y proteger los datos en reposo.

  4. Los servidores de administración de BMC AMI Cloud Data se ejecutan como contenedores de Docker en instancias EC2. Las instancias se comunican con los agentes que se ejecutan en buckets de S3 y LPAR de mainframe.

  5. Amazon EFS se monta en instancias EC2 activas y pasivas para compartir el almacenamiento del Network File System (NFS). Esto garantiza que los metadatos relacionados con una política creada en el servidor de administración no se pierdan en caso de una conmutación por error. En caso de una conmutación por error por parte del servidor activo, puede acceder al servidor pasivo sin pérdida de datos. Si el servidor pasivo devuelve un error, también podrá acceder al servidor activo sin perder ningún dato.

Herramientas

Servicios de AWS

  • Amazon Elastic Compute Cloud (Amazon EC2) proporciona capacidad de computación escalable y segura en la Nube de AWS. Puede lanzar tantos servidores virtuales como necesite y escalarlos o reducirlos con rapidez.

  • Amazon Elastic File System (Amazon EFS) permite crear y configurar sistemas de archivos compartidos en la Nube de AWS.

  • Amazon Simple Storage Service (Amazon S3) es un servicio de almacenamiento de objetos basado en la nube que lo ayuda a almacenar, proteger y recuperar casi cualquier cantidad de datos.

  • Amazon Virtual Private Cloud (Amazon VPC) le permite lanzar recursos de AWS en una red virtual que haya definido. Esa red virtual es similar a la red tradicional que utiliza en su propio centro de datos, con los beneficios de usar la infraestructura escalable de AWS.

  • AWS Direct Connect vincula su red interna con una ubicación de AWS Direct Connect a través de cable estándar Ethernet de fibra óptica. Con esta conexión, puede crear interfaces virtuales directamente en servicios públicos de AWS omitiendo a los proveedores de servicios de Internet en su ruta de acceso a la red.

  • AWS Identity and Access Management (IAM) lo ayuda a administrar de forma segura el acceso a sus recursos AWS al controlar quién está autenticado y autorizado a usarlos.

Herramientas de BMC

  • El servidor de administración de BMC AMI Cloud es una aplicación de interfaz gráfica de usuario que se ejecuta como un contenedor de Docker en una Imagen de máquina de Amazon (AMI) de Amazon Linux para Amazon EC2. El servidor de administración proporciona la funcionalidad necesaria para gestionar las actividades de BMC AMI Cloud, como la elaboración de informes, la creación y administración de políticas, la ejecución de archivos y la realización de copias de seguridad, recuperaciones y restauraciones.

  • El agente de BMC AMI Cloud se ejecuta en un LPAR de mainframe en las instalaciones que lee y escribe archivos directamente en el almacenamiento de objetos mediante TCP/IP. Una tarea iniciada se ejecuta en un LPAR de mainframe y es responsable de leer y escribir los datos de copia de seguridad y archivar en Amazon S3 y desde este.

  • La interfaz de la línea de comandos para mainframe de BMC AMI Cloud (M9CLI) le proporciona un conjunto de comandos para realizar acciones de BMC AMI Cloud directamente desde el TSO/E o en operaciones por lotes, sin depender del servidor de administración.

Epics

TareaDescripciónHabilidades requeridas

Cree un bucket de S3.

Cree un bucket de S3 para almacenar los archivos y volúmenes de los que desee realizar copias de seguridad y archivar desde su entorno de mainframe.

AWS general

Cree una política de IAM.

Todos los servidores de administración y agentes de BMC AMI Cloud requieren acceso al bucket de S3 que creó en el paso anterior.

Para conceder el acceso necesario, cree la siguiente política de IAM:

{
    "Version": "2012-10-17",		 	 	 
    "Statement": [
        {
            "Sid": "Listfolder",
            "Action": [
                "s3:ListBucket",
                "s3:GetBucketLocation",
                "s3:ListBucketVersions"
            ],
            "Effect": "Allow",
            "Resource": [
                "arn:aws:s3:::<Bucket Name>"
            ]
        },
        {
            "Sid": "Objectaccess",
            "Effect": "Allow",
            "Action": [
                "s3:PutObject",
                "s3:GetObjectAcl",
                "s3:GetObject",
                "s3:DeleteObjectVersion",
                "s3:DeleteObject",
                "s3:PutObjectAcl",
                "s3:GetObjectVersion"
            ],
            "Resource": [
                "arn:aws:s3:::<Bucket Name>/*"
            ]
        }
    ]
}
AWS general
TareaDescripciónHabilidades requeridas

Obtenga una licencia de software de BMC AMI Cloud.

Para obtener una clave de licencia de software, póngase en contacto con el equipo de BMC AMI Cloud. El resultado del comando D M=CPU de z/OS es necesario para generar una licencia.

Responsable de compilación

Descarga de la clave de licencia y el software BMC AMI Cloud

Puede obtener los archivos de instalación y la clave de licencia si sigue las instrucciones de la documentación de BMC.

Administrador de la infraestructura de mainframe
TareaDescripciónHabilidades requeridas

Instalación del agente de software BMC AMI Cloud

  1. Antes de iniciar el proceso de instalación, compruebe que cumple los requisitos mínimos de software y hardware para el agente.

  2. Para instalar el agente, siga las instrucciones de la documentación de BMC.

  3. Cuando el agente comience a ejecutarse en el LPAR del mainframe, compruebe si aparece el mensaje ZM91000I MODEL9 BACKUP AGENT INITIALIZED en la cola Compruebe que la conectividad entre el agente y el bucket de S3 se ha establecido correctamente buscando el mensaje Object store connectivity has been established successfully en el STDOUT del agente.

Administrador de la infraestructura de mainframe
TareaDescripciónHabilidades requeridas

Cree instancias Linux 2 de Amazon EC2.

Lance dos instancias Linux 2 de Amazon EC2 en distintas zonas de disponibilidad siguiendo las instrucciones del Paso 1: Lanzar una instancia de la documentación de Amazon EC2.

Su instancia debe cumplir los siguientes requisitos de hardware y software recomendados:

  • CPU: 4 núcleos como mínimo

  • RAM: 8 GB como mínimo

  • Unidad: 40 GB

  • Instancia EC2 recomendada: C5.xlarge

  • Sistema operativo: Linux

  • Software: Docker, unzip, VI/vim

  • Ancho de banda de la red mínimo de 1 GB

Para obtener más información, consulte la Documentación de BMC.

Arquitecto de la nube, administrador de la nube

Crear un sistema de archivos de Amazon EFS.

Cree un sistema de archivos Amazon EFS siguiendo las instrucciones del Paso 1: Cree su sistema de archivos Amazon EFS en la documentación de Amazon EFS.

Al crear el sistema de archivos, haga lo siguiente:

  • Elija la clase de almacenamiento estándar.

  • Elija la misma VPC que utilizó para lanzar sus instancias EC2.

Arquitecto de la nube, administrador de la nube

Instale Docker y configure el servidor de administración.

Conéctese a sus instancias de EC2:

Conéctese a sus instancias EC2 siguiendo las instrucciones de Conectarse a su instancia Linux en la documentación de Amazon EC2.

Configure sus instancias de EC2:

Para cada instancia de EC2, haga lo siguiente:

  1. Para instalar Docker, ejecute el comando:

     sudo yum install docker

  2. Para iniciar Docker, ejecute el comando:

     sudo service docker start

  3. Para validar el estado de Docker, ejecute el comando:

     sudo service docker status

  4. En la carpeta /etc/selinux, cambie el archivo config aSELINUX=permissive.

  5. Cargue los archivos model9-v2.x.y_build_build-id-server.zip y VerificationScripts.zip (que descargó anteriormente) en una carpeta temporal de una de las instancias de EC2 (por ejemplo, la carpeta /var/tmp de su instancia).

  6. Para ir a la carpeta tmp, ejecute el comando:

     cd/var/tmp

  7. Para descomprimir el script de verificación, ejecute el comando:

     unzip VerificationScripts.zip

  8. Para cambiar el directorio, ejecute el comando:

     cd /var/tmp/sysutils/PrereqsScripts

  9. Para ejecutar el script de verificación, ejecute el comando:

     ./M9VerifyPrereqs.sh

  10. Cuando el script de verificación le pida que introduzca información, introduzca la URL y el número de puerto de Amazon S3. A continuación, introduzca la IP/DNS y el número de puerto de z/OS.

    nota

    El script comprueba que la instancia de EC2 se puede conectar con el bucket y el agente S3 que se ejecutan en el mainframe. Si se establece una conexión, aparece un mensaje de confirmación.

Arquitecto de la nube, administrador de la nube

Instale el software del servidor de administración.

  1. Cree una carpeta y una subcarpeta en el directorio raíz (por ejemplo, /data/model9) de la instancia EC2 en la que planea convertir en servidor activo.

  2. Para instalar el paquete amazon-efs-utils y montar el sistema de archivos Amazon EFS que creó anteriormente, ejecute los siguientes comandos:

    sudo yum install -y amazon-efs-utils
sudo mount -t efs -o tls <File System ID>:/ /data/model9

  3. Para actualizar el archivo /etc/fstab de la instancia EC2 con una entrada para el sistema de archivos Amazon EFS (de modo que Amazon EFS se vuelva a montar automáticamente cuando Amazon EC2 se reinicie), ejecute el comando:

     <Amazon-EFS-file-system-id>:/ /data/model9 efs defaults,_netdev 0 0

  4. Para definir la ruta a los archivos de instalación de BMC AMI Cloud y la ubicación de instalación de destino, ejecute los siguientes comandos para exportar las variables:

    export MODEL9_HOME=/data/model9
export M9INSTALL=/var/tmp
    nota

    Le recomendamos que añada estos comandos de exportación a su script .bashrc.

  5. Para cambiar el directorio, ejecute el comando cd $MODEL9_HOME y, a continuación, cree otro subdirectorio ejecutando el comando mkdir diag.

  6. Para descomprimir el archivo de instalación, ejecute el comando:

    unzip $M9INSTALL/model9-<v2.x.y>_build_<build-id>-server.zip
    nota

    Sustituya x.y (la versión) y build-id por sus valores.

  7. Para implementar la aplicación, ejecute los siguientes comandos:

    docker load -i $MODEL9_HOME/model9-<v2.x.y>_build_<build-id>.docker
docker load -i $MODEL9_HOME/postgres-12.10-x86.docker.gz
    nota

    Sustituya v2.x.y (la versión) y build-id por sus valores.

  8. En la carpeta $MODEL9_HOME/conf, actualice el archivo model9-local.yml.

    nota

    Algunos de los parámetros tienen valores predeterminados y otros se pueden actualizar según sea necesario. Para más información, consulte las instrucciones en el archivo model9-local.yml.

  9. Cree un archivo denominado $MODEL9_HOME/conf y, a continuación, añada los siguientes parámetros al archivo:

    TZ=America/New_York
EXTRA_JVM_ARGS=-Xmx2048m

  10. Para crear un puente de red Docker, ejecute el comando:

    docker network create -d bridge model9network

  11. Para iniciar el contenedor de base de datos PostgreSQL de BMC AMI Cloud, ejecute el siguiente comando:

    docker run -p 127.0.0.1:5432:5432 \
-v $MODEL9_HOME/db/data:/var/lib/postgresql/data:z \
--name model9db --restart unless-stopped \
--network model9network \
-e POSTGRES_PASSWORD=model9 -e POSTGRES_DB=model9 -d postgres:12.10

  12. Una vez que se inicie la ejecución del contenedor de PostgreSQL, ejecute el siguiente comando para iniciar el servidor de aplicaciones:

    docker run -d -p 0.0.0.0:443:443 -p 0.0.0.0:80:80 \
--sysctl net.ipv4.tcp_keepalive_time=600 \
--sysctl net.ipv4.tcp_keepalive_intvl=30 \
--sysctl net.ipv4.tcp_keepalive_probes=10 \
-v $MODEL9_HOME:/model9:z -h $(hostname) --restart unless-stopped \
--env-file $MODEL9_HOME/conf/model9.env \
--network model9network \
--name model9-v2.x.y model9:<v2.x.y>.<build-id>
    nota

    Sustituya v2.x.y (la versión) y build-id por sus valores.

  13. Para comprobar el estado de ambos contenedores, ejecute el comando:

    docker ps -a

  14. Para instalar un servidor de administración en las instancias de EC2 pasivas, repita los pasos 1 a 4, 7 y 10 a 13.

nota

Para solucionar problemas, vaya a los registros almacenados en la carpeta /data/model9/logs/ . Para obtener más información, consulte la Documentación de BMC.

Arquitecto de la nube, administrador de la nube
TareaDescripciónHabilidades requeridas

Añada un nuevo agente.

Antes de añadir un nuevo agente, confirme lo siguiente:

  • Se está ejecutando un agente de BMC AMI Cloud en el LPAR del mainframe y se ha inicializado por completo. Para identificar al agente, busque el mensaje de inicialización ZM91000I MODEL9 BACKUP AGENT INITIALIZED en la cola.

  • Un contenedor de Docker del servidor de administración está completamente inicializado y en ejecución.

Debe crear un agente en el servidor de administración antes de definir cualquier política de copia de seguridad y archivado. Para crear el agente, haga lo siguiente:

  1. Utilice un navegador web para acceder al servidor de administración que está desplegado en su máquina de Amazon EC2 y, a continuación, inicie sesión con sus credenciales de mainframe.

  2. Elija la pestaña AGENTES y, a continuación, AGREGAR NUEVO AGENTE.

  3. En Nombre, escriba el nombre del agente.

  4. En el campo Nombre de host/dirección IP, introduzca el nombre de host o la dirección IP de su mainframe.

  5. En Puerto, escriba su número de puerto.

  6. Elija PROBAR CONEXIÓN. Si la conectividad se ha establecido correctamente, verá un mensaje de confirmación.

  7. Seleccione CREAR.

Una vez creado el agente, puede ver el estado Conectado en comparación con el agente de almacenamiento de objetos y el agente de mainframe en una nueva ventana que aparece en la tabla.

Desarrollador o administrador de almacenamiento de mainframe

Cree una política de copia de seguridad o archivado.

  1. Elija POLÍTICAS.

  2. Elija CREAR POLÍTICA.

  3. En la página CREAR UNA NUEVA POLÍTICA, introduzca las especificaciones de su política.

    nota

    Para obtener más información sobre las especificaciones disponibles, consulte Creación de una nueva política en la documentación de BMC.

  4. Seleccione Finalizar.

  5. La nueva política ahora aparece en forma de tabla. Para ver esta tabla, seleccione la pestaña POLÍTICAS.

Desarrollador o administrador de almacenamiento de mainframe
TareaDescripciónHabilidades requeridas

Ejecute la política de copia de seguridad o archivado.

Ejecute la política de copia de seguridad o archivado de datos que creó anteriormente desde el servidor de administración de forma manual o automática (según una programación). Para ejecutar la política manualmente:

  1. En el menú de navegación, elija la pestaña POLÍTICAS.

  2. A la derecha de la tabla de la política que desea ejecutar, elija el menú de tres puntos.

  3. Seleccione Ejecutar ahora.

  4. En la ventana de confirmación emergente, elija SÍ, EJECUTAR LA POLÍTICA AHORA.

  5. Una vez ejecutada la política, compruebe el estado de ejecución en la sección de actividad de la política.

  6. En la política que se ejecutó, seleccione el menú de tres puntos y, a continuación, seleccione Ver registro de ejecución para ver los registros.

  7. Para comprobar que se ha creado la copia de seguridad, compruebe el bucket de S3.

Desarrollador o administrador de almacenamiento de mainframe

Restaure la copia de seguridad o la política de archivos.

  1. En el menú de navegación, elija la pestaña POLÍTICAS.

  2. Elija la política en la que desea ejecutar el proceso de restauración. Esto le mostrará todas las actividades de copia de seguridad o archivado que se ejecutaron en el pasado para esa política específica.

  3. Para seleccionar las copias de seguridad que desea restaurar, elija la columna Fecha y hora. El nombre del grupo file/Volume/Storage muestra los detalles de ejecución de la política.

  4. A la derecha de la tabla, seleccione el menú de tres puntos y, a continuación, seleccione RESTAURAR.

  5. En la ventana emergente, introduzca el nombre, el volumen y el grupo de almacenamiento de destino y, a continuación, elija RESTAURAR.

  6. Introduzca las credenciales de su mainframe y, a continuación, vuelva a seleccionar RESTAURAR.

  7. Para comprobar que la restauración se ha realizado correctamente, compruebe los registros o el mainframe.

Desarrollador o administrador de almacenamiento de mainframe
TareaDescripciónHabilidades requeridas

Ejecute la política de copia de seguridad o de archivo mediante M9CLI.

Puede utilizar M9CLI para realizar procesos de copia de seguridad y restauración desde TSO/E, REXX o mediante JCL sin configurar reglas en el servidor de administración de BMC AMI Cloud.

Uso de TSO/E:

Si usa TSO/E, asegúrese de que M9CLI REXX esté concatenado a TSO. Para hacer una copia de seguridad de un conjunto de datos mediante TSO/E, utilice el comando TSO M9CLI BACKDSN <DSNAME>.

nota

Para obtener más información sobre los comandos M9CLI, consulte la referencia de CLI en la documentación de BMC.

Uso de JCL:

Para ejecutar la política de copia de seguridad y archivado mediante JCL, ejecute el comando M9CLI.

Uso de operaciones por lotes:

En el siguiente ejemplo se muestra cómo archivar un conjunto de datos mediante la ejecución del comando M9CLI por lotes:

//JOBNAME JOB …
//M9CLI EXEC PGM=IKJEFT01
//STEPLIB DD DISP=SHR,DSN=<MODEL9 LOADLIB>
//SYSEXEC DD DISP=SHR,DSN=<MODEL9 EXEC LIB>
//SYSTSPRT DD SYSOUT=*
//SYSPRINT DD SYSOUT=*
//SYSTSIN DD TSO M9CLI ARCHIVE 
 M9CLI ARCHIVE <DSNNAME OR DSN PATTERN>   
/
Desarrollador o administrador de almacenamiento de mainframe

Ejecute la política de copia de seguridad o de archivo en el lote JCL.

BMC AMI Cloud proporciona un ejemplo de rutina JCL llamada M9SAPIJ. Puede personalizar M9SAPIJ para que ejecute una política específica creada en el servidor de administración con un JCL. Este trabajo también puede formar parte de un programador de lotes para ejecutar automáticamente los procesos de copia de seguridad y restauración.

El trabajo por lotes espera los siguientes valores obligatorios:

  • Dirección IP/nombre de host del servidor de administración

  • Número de puerto

  • ID de política o nombre de política (que se crea en el servidor de administración)

nota

También puede cambiar otros valores según las instrucciones del trabajo de ejemplo.

Desarrollador o administrador de almacenamiento de mainframe

Recursos relacionados