Gerencie o failover Multi-AZ para clusters do EMR usando o Application Recovery Controller

Crie um bucket S3 para armazenar o conjunto de dados de entrada, os registros, o aplicativo e os dados de saída. Para obter instruções, consulte a documentação do Amazon S3.

Organize o bucket em pastas separadas para dados de entrada (dataset), logs (logs), aplicativo Spark (spark-app) e dados de saída (output).

Use os AWS CLI comandos a seguir para criar um cluster do EMR (por exemplo, versão 6.12 ou posterior) com instâncias que abrangem duas zonas de disponibilidade (como us-east-1a eus-east-1b) para alta disponibilidade. O comando especifica o tipo de m4.large instância como exemplo.

aws emr create-cluster \
    --ec2-attributes AvailabilityZone=<AZ-name-1> \
    --release-label emr-6.12.0 \
    --instance-groups InstanceGroupType=MASTER,InstanceCount=1,InstanceType=m4.large InstanceGroupType=CORE,InstanceCount=2,InstanceType=m4.large

aws emr create-cluster \
    --ec2-attributes AvailabilityZone=<AZ-name-2> \
    --release-label emr-6.12.0 \
    --instance-groups InstanceGroupType=MASTER,InstanceCount=1,InstanceType=m4.large InstanceGroupType=CORE,InstanceCount=2,InstanceType=m4.large

Para obter mais informações, consulte o comando create-cluster e a documentação do Amazon EMR.

Forneça ao par de chaves, à função de serviço e ao perfil da instância as permissões necessárias, conforme necessário.

Identifique o grupo de segurança associado ao nó principal do cluster do EMR usando o comando AWS CLI describe-cluster:

aws emr describe-cluster --cluster-id j-XXXXXXXX

Para aumentar a segurança, modifique as configurações do grupo de segurança para permitir o acesso SSH (porta TCP 22) ao nó principal, mas restrinja-o ao seu endereço IP específico.

Para obter mais informações, consulte a documentação do Amazon EMR.

Crie ou edite o arquivo do aplicativo Spark (main.py) usando um editor de texto como o vim:

vim main.py

Para obter mais informações sobre como criar e modificar o aplicativo Spark, consulte a documentação do Amazon EMR.

Envie o aplicativo Spark para o cluster do EMR, especificando os dados de entrada e os locais dos dados de saída no bucket do S3:

spark-submit main.py —data_source <input-data-folder-in-s3> —output_uri <output-folder-in-s3>

Aqui está um exemplo baseado nas pastas que você configurou anteriormente:

spark-submit main.py —data_source dataset —output_uri output

Monitore o progresso do aplicativo verificando os registros do aplicativo:

yarn logs -applicationId <application-id>

Abra outra janela de terminal e estabeleça um túnel SSH para a interface web do gerenciador de recursos do cluster EMR:

ssh -i <key-pair-name> -N -L 8157:<resource-manager-public-dns>:8088 hadoop@<resource-manager-public-dns>

Para monitorar o aplicativo, acesse a interface do usuário da web do gerenciador de recursos navegando até http://localhost:8157 seu navegador da web.

Abra o console do Application Recovery Controller.

Em Introdução, escolha Mudança zonal, Iniciar mudança zonal.

Selecione a zona de disponibilidade da qual você deseja afastar o tráfego.

Selecione um recurso compatível (por exemplo, Application Load Balancer) para a mudança de zona na tabela Resources.

Em Definir expiração da mudança de zona, escolha ou insira uma expiração para a mudança de zona. Você pode definir uma duração entre 1 minuto e três dias (72 horas).

Todas as mudanças de zona são temporárias. Você deve definir uma expiração, mas pode atualizar as mudanças ativas posteriormente para definir um novo período de expiração de até três dias.

Insira um comentário sobre essa mudança de zona.

Marque a caixa de seleção para reconhecer que iniciar uma mudança de zona reduzirá a capacidade disponível para seu aplicativo ao afastar o tráfego da zona de disponibilidade.

Escolha Iniciar.

Verifique os recursos que estão registrados com o deslocamento zonal:

aws arc-zonal-shift list-managed-resources --region <AWS-region-name>

Por exemplo, a saída a seguir confirma que os recursos estão funcionando em ambas as zonas de disponibilidade.

"appliedWeights": {
        "use1-az1": 1.0,
        "use1-az2": 1.0
    },

Para visualizar o deslocamento zonal, use o AWS CLI comando a seguir para iniciar o deslocamento zonal:

aws arc-zonal-shift start-zonal-shift \
   --resource-identifier <application-load-balancer-arn> \
   --away-from <source-AZ> \
   --expires-in 10m --comment "testing" \
   --region <AWS-region-name>

onde <source-AZ> é o identificador da zona de disponibilidade da qual você deseja afastar o tráfego e <application-load-balancer-arn> é o Amazon Resource Name (ARN) do seu Application Load Balancer.

Verifique se o tráfego foi transferido para outra zona de disponibilidade.

aws arc-zonal-shift get-managed-resource \
   --resource-identifier <application-load-balancer-arn> \
   --region <AWS-region-name>

Você pode ver a mudança zonal confirmada por esses pesos:

"appliedWeights": {
        "use1-az1": 0.0,
        "use1-az2": 1.0
    },