Gerenciamento do failover multi-AZ para clusters do EMR usando o Controlador de Recuperação de Aplicações

Crie um bucket do S3 para armazenar o conjunto de dados de entrada, os logs, a aplicação e os dados de saída. Para obter instruções, consulte a documentação do Amazon S3.

Organize o bucket em pastas separadas para dados de entrada (dataset), logs (logs), aplicação do Spark (spark-app) e dados de saída (output).

Use os AWS CLI comandos a seguir para criar um cluster do EMR (por exemplo, versão 6.12 ou posterior) com instâncias que abrangem duas zonas de disponibilidade (como us-east-1a eus-east-1b) para alta disponibilidade. O comando especifica o tipo de instância m4.large como um exemplo.

aws emr create-cluster \
    --ec2-attributes AvailabilityZone=<AZ-name-1> \
    --release-label emr-6.12.0 \
    --instance-groups InstanceGroupType=MASTER,InstanceCount=1,InstanceType=m4.large InstanceGroupType=CORE,InstanceCount=2,InstanceType=m4.large

aws emr create-cluster \
    --ec2-attributes AvailabilityZone=<AZ-name-2> \
    --release-label emr-6.12.0 \
    --instance-groups InstanceGroupType=MASTER,InstanceCount=1,InstanceType=m4.large InstanceGroupType=CORE,InstanceCount=2,InstanceType=m4.large

Para obter mais informações, consulte o comando create-cluster e a documentação do Amazon EMR.

Forneça o par de chaves, o perfil de serviço e o perfil de instância com as permissões necessárias, se aplicável.

Identifique o grupo de segurança associado ao nó principal do cluster do EMR usando o comando AWS CLI describe-cluster:

aws emr describe-cluster --cluster-id j-XXXXXXXX

Para aumentar a segurança, modifique as configurações do grupo de segurança para permitir acesso SSH (porta TCP 22) ao nó principal, mas restrinja-o ao seu endereço IP específico.

Para obter mais informações, consulte a documentação do Amazon EMR.

Crie ou edite o arquivo da aplicação do Spark (main.py) usando um editor de texto, como o vim:

vim main.py

Para obter mais informações sobre como criar e modificar a aplicação do Spark, consulte a documentação do Amazon EMR.

Envie a aplicação do Spark para o cluster do EMR, especificando os locais dos dados de entrada e de saída no bucket do S3:

spark-submit main.py —data_source <input-data-folder-in-s3> —output_uri <output-folder-in-s3>

A seguir, apresentamos uma exemplo baseado nas pastas configuradas anteriormente:

spark-submit main.py —data_source dataset —output_uri output

Monitore o progresso da aplicação verificando os logs da aplicação:

yarn logs -applicationId <application-id>

Abra outra janela de terminal e estabeleça um túnel SSH para a interface de usuário da web do gerenciador de recursos do cluster do EMR:

ssh -i <key-pair-name> -N -L 8157:<resource-manager-public-dns>:8088 hadoop@<resource-manager-public-dns>

Para monitorar a aplicação, acesse a interface de usuário da web do gerenciador de recursos ao navegar até http://localhost:8157 no seu navegador da web.

Abra o console do Controlador de Recuperação de Aplicações.

Em Conceitos básicos, escolha Mudança de zona e, em seguida, Iniciar mudança de zona.

Selecione a zona de disponibilidade da qual deseja redirecionar o tráfego.

Escolha um recurso compatível (por exemplo, o Application Load Balancer) para a mudança de zona na tabela Recursos.

Em Definir expiração da mudança de zona, escolha ou insira uma expiração para a mudança de zona. Você pode definir um período entre um minuto e três dias (72 horas).

Todas as mudanças de zona são temporárias. Você deve definir uma expiração, mas pode atualizar as mudanças ativas posteriormente para definir um novo período de expiração de até três dias.

Insira um comentário sobre essa mudança de zona.

Marque a caixa de seleção para reconhecer que iniciar uma mudança de zona reduzirá a capacidade disponível para seu aplicativo ao afastar o tráfego da zona de disponibilidade.

Escolha Iniciar.

Verifique os recursos que estão registrados na mudança de zona:

aws arc-zonal-shift list-managed-resources --region <AWS-region-name>

Por exemplo, a saída apresentada a seguir confirma que os recursos estão ativos em ambas as zonas de disponibilidade.

"appliedWeights": {
        "use1-az1": 1.0,
        "use1-az2": 1.0
    },

Para visualizar o deslocamento zonal, use o AWS CLI comando a seguir para iniciar o deslocamento zonal:

aws arc-zonal-shift start-zonal-shift \
   --resource-identifier <application-load-balancer-arn> \
   --away-from <source-AZ> \
   --expires-in 10m --comment "testing" \
   --region <AWS-region-name>

em que <source-AZ> é o identificador da zona de disponibilidade da qual você deseja desviar o tráfego, e <application-load-balancer-arn> é o nome do recurso da Amazon (ARN) do seu Application Load Balancer.

Verifique se o tráfego foi desviado para outra zona de disponibilidade.

aws arc-zonal-shift get-managed-resource \
   --resource-identifier <application-load-balancer-arn> \
   --region <AWS-region-name>

Você poderá confirmar a mudança de zona pelas seguintes medidas:

"appliedWeights": {
        "use1-az1": 0.0,
        "use1-az2": 1.0
    },