Administración de la conmutación por error de multi-AZ para clústeres de EMR mediante el Controlador de recuperación de aplicaciones

Cree un bucket de S3 para almacenar el conjunto de datos de entrada, los registros, la aplicación y los datos de salida. Para obtener instrucciones, consulte la documentación de Amazon S3.

Organice el bucket en carpetas separadas para los datos de entrada (dataset), los registros (logs), la aplicación de Spark (spark-app) y los datos de salida (output).

Use los siguientes AWS CLI comandos para crear un clúster de EMR (por ejemplo, versión 6.12 o posterior) con instancias que abarquen dos zonas de disponibilidad (como us-east-1a yus-east-1b) para una alta disponibilidad. El comando especifica el tipo de instancia m4.large como ejemplo.

aws emr create-cluster \
    --ec2-attributes AvailabilityZone=<AZ-name-1> \
    --release-label emr-6.12.0 \
    --instance-groups InstanceGroupType=MASTER,InstanceCount=1,InstanceType=m4.large InstanceGroupType=CORE,InstanceCount=2,InstanceType=m4.large

aws emr create-cluster \
    --ec2-attributes AvailabilityZone=<AZ-name-2> \
    --release-label emr-6.12.0 \
    --instance-groups InstanceGroupType=MASTER,InstanceCount=1,InstanceType=m4.large InstanceGroupType=CORE,InstanceCount=2,InstanceType=m4.large

Para obtener más información, consulte el comando create-cluster y la documentación de Amazon EMR.

Proporcione el par de claves, el rol de servicio y el perfil de instancia con los permisos necesarios, según sea necesario.

Identifique el grupo de seguridad asociado al nodo principal del clúster de EMR mediante el comando AWS CLI describe-cluster:

aws emr describe-cluster --cluster-id j-XXXXXXXX

Para mejorar la seguridad, modifique la configuración del grupo de seguridad para permitir el acceso SSH (puerto TCP 22) al nodo maestro, pero restringiéndolo a la dirección IP específica.

Para obtener más información, consulte la documentación de Amazon EMR.

Cree o edite el archivo de la aplicación de Spark (main.py) con un editor de texto como vim:

vim main.py

Para obtener más información sobre cómo crear y modificar la aplicación de Spark, consulte la documentación de Amazon EMR.

Envíe la aplicación de Spark al clúster de EMR y especifique las ubicaciones de los datos de entrada y salida en el bucket de S3:

spark-submit main.py —data_source <input-data-folder-in-s3> —output_uri <output-folder-in-s3>

Este es un ejemplo basado en las carpetas que configuró anteriormente:

spark-submit main.py —data_source dataset —output_uri output

Compruebe los registros de la aplicación para supervisar el progreso de la aplicación:

yarn logs -applicationId <application-id>

Abra otra ventana de terminal y establezca un túnel SSH hacia la interfaz de usuario web del administrador de recursos del clúster de EMR:

ssh -i <key-pair-name> -N -L 8157:<resource-manager-public-dns>:8088 hadoop@<resource-manager-public-dns>

Para supervisar la aplicación, acceda a la interfaz de usuario web del administrador de recursos en http://localhost:8157 en su navegador web.

Abra la consola del Controlador de recuperación de aplicaciones.

En Comenzar, seleccione Cambio de zona e Iniciar cambio de zona.

Seleccione la zona de disponibilidad de la que desea transferir el tráfico.

Seleccione un recurso compatible (por ejemplo, un equilibrador de carga de aplicación) para el cambio de zona en la tabla “Recursos”.

En Establecer caducidad de turno zonal, selecciona o introduce una caducidad para el turno zonal. Puede configurar una duración entre un minuto y tres días (72 horas).

Todos los cambios de zona son temporales. Debe establecer un vencimiento, pero puede actualizar los cambios activos más adelante para establecer un vencimiento nuevo de hasta tres días.

Escriba un comentario sobre este cambio de zona.

Seleccione la casilla de verificación para confirmar que comenzar un cambio de zona reducirá la capacidad disponible de su aplicación al cambiar el tráfico de la zona de disponibilidad.

Elija Inicio.

Verifique los recursos que se han registrado con el cambio de zona:

aws arc-zonal-shift list-managed-resources --region <AWS-region-name>

Por ejemplo, en la siguiente salida se confirma que los recursos están en funcionamiento en ambas zonas de disponibilidad.

"appliedWeights": {
        "use1-az1": 1.0,
        "use1-az2": 1.0
    },

Para visualizar el cambio zonal, utilice el siguiente AWS CLI comando para iniciar el cambio zonal:

aws arc-zonal-shift start-zonal-shift \
   --resource-identifier <application-load-balancer-arn> \
   --away-from <source-AZ> \
   --expires-in 10m --comment "testing" \
   --region <AWS-region-name>

En este comando, <source-AZ> es el identificador de la zona de disponibilidad desde la que desea cambiar el tráfico y <application-load-balancer-arn> es el nombre de recurso de Amazon (ARN) del equilibrador de carga de aplicación.

Compruebe que el tráfico se haya cambiado a otra zona de disponibilidad.

aws arc-zonal-shift get-managed-resource \
   --resource-identifier <application-load-balancer-arn> \
   --region <AWS-region-name>

Puede ver el cambio de zona que confirman estas ponderaciones:

"appliedWeights": {
        "use1-az1": 0.0,
        "use1-az2": 1.0
    },