Uso da proteção contra encerramento para proteger clusters do Amazon EMR do desligamento acidental - Amazon EMR
Proteção contra rescisão e Amazon EC2Proteção contra término e nós não íntegros do YARNProteção contra encerramento e encerramento após a execução de etapasProteção contra término e instâncias spotConfigurar a proteção contra término ao iniciar um clusterConfigurar a proteção contra término para clusters em execução

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Uso da proteção contra encerramento para proteger clusters do Amazon EMR do desligamento acidental

A proteção contra encerramento protege os clusters do encerramento acidental, o que pode ser especialmente útil para clusters de longa execução que processam workloads críticas. Quando a proteção contra encerramento está habilitada em um cluster de longa execução, você ainda poderá encerrar o cluster, mas deverá removê-la explicitamente do cluster primeiro. Isso ajuda a garantir que as EC2 instâncias não sejam encerradas por acidente ou erro. Você pode habilitar a proteção contra encerramento ao criar um cluster e alterar a configuração em um cluster em execução.

Com a proteção contra término habilitada, a ação TerminateJobFlows na API do Amazon EMR não funciona. Os usuários não podem encerrar o cluster usando essa API nem o comando terminate-clusters da AWS CLI. A API retornará um erro, e a CLI será encerrada com um código de retorno diferente de zero. Quando você usar o console do Amazon EMR para encerrar um cluster, será solicitado que você execute uma etapa adicional para desativar a proteção contra término.

Atenção

A proteção contra encerramento não garante que os dados sejam retidos no caso de um erro humano ou de uma solução alternativa, por exemplo, se um comando de reinicialização for emitido pela linha de comando enquanto estiver conectado à instância usando SSH, se um aplicativo ou script em execução na instância emitir um comando de reinicialização ou se a API da Amazon ou do EC2 Amazon EMR for usada para desativar a proteção contra encerramento. Isso também vale se estiver executando as versões 7.1 e superiores do Amazon EMR e uma instância se tornar não íntegra e irrecuperável. Mesmo com a proteção contra término habilitada, os dados salvos no armazenamento da instância, inclusive dados do HDFS, poderão ser perdidos. Grave a saída de dados nos locais do Amazon S3 e crie estratégias de backup conforme a necessidade de seus requisitos de continuidade de negócios.

A proteção contra encerramento não afeta sua capacidade de dimensionar recursos de cluster usando qualquer uma das seguintes ações:

Proteção contra rescisão e Amazon EC2

A configuração de proteção contra encerramento em um cluster do Amazon EMR corresponde ao DisableApiTermination atributo de todas as EC2 instâncias da Amazon no cluster. Por exemplo, se você habilitar a proteção contra rescisão em um cluster do EMR, o Amazon EMR define automaticamente como verdadeiro DisableApiTermination para todas as instâncias EC2 dentro do cluster do EMR. O mesmo se aplica se você desabilitar a proteção contra encerramento. O Amazon EMR define automaticamente como false DisableApiTermination para todas as EC2 instâncias dentro do cluster do EMR. Se você encerrar ou reduzir um cluster do Amazon EMR e as configurações da Amazon entrarem em conflito para EC2 uma instância, o Amazon EMR priorizará a DisableApiStop configuração do Amazon EMR DisableApiTermination sobre EC2 as configurações e na Amazon e continuará encerrando a instância. EC2 EC2

Por exemplo, você pode usar o EC2 console da Amazon para habilitar a proteção de encerramento em uma EC2 instância da Amazon em um cluster do EMR com a proteção de encerramento desativada. Se você encerrar ou reduzir o cluster com o console do Amazon EMR, o ou AWS CLI a API do Amazon EMR, o Amazon EMR DisableApiTermination substituirá a configuração, a definirá como falsa e encerrará a instância junto com outras instâncias.

Você também pode usar o EC2 console da Amazon para ativar a proteção de parada em uma EC2 instância da Amazon em um cluster do EMR com a proteção de encerramento desativada. Se você encerrar ou reduzir a escala do cluster, o Amazon EMR DisableApiStop definirá como false na EC2 Amazon e encerrará a instância junto com outras instâncias.

O Amazon EMR substitui a configuração DisableApiStop somente quando você encerra ou reduz verticalmente a escala de um cluster. Quando você ativa ou desativa a proteção contra rescisão em um cluster do EMR, o Amazon EMR não altera a disableApiStop configuração de nenhuma das EC2 instâncias no respectivo cluster do EMR.

Importante

Se você criar uma instância como parte de um cluster do Amazon EMR com proteção contra encerramento e usar a EC2 API ou AWS CLI os comandos da Amazon para modificar a instânciafalse, e então a EC2 API ou os AWS CLI comandos da Amazon executarem a TerminateInstances operação, a EC2 instância da Amazon será encerrada. DisableApiTermination

Proteção contra término e nós não íntegros do YARN

O Amazon EMR verifica periodicamente o status do Apache Hadoop YARN dos nós em execução nas instâncias principais e de tarefas da Amazon em um cluster. EC2 O estado de saúde é relatado pelo serviço NodeManager de verificação de saúde. Se um nó informar UNHEALTHY, o controlador de instâncias do Amazon EMR adicionará o nó à lista de negação e não alocará contêineres YARN a ele até que se torne íntegro novamente. Dependendo do status da proteção contra encerramento, da substituição de nós não íntegros e da versão de lançamento do Amazon EMR, o Amazon EMR substituirá a instância não íntegra ou interromperá a alocação de controladores na instância.

Proteção contra encerramento e encerramento após a execução de etapas

Quando você habilita o encerramento após a execução da etapa e a proteção contra encerramento, o Amazon EMR ignora a proteção contra encerramento.

Ao enviar etapas para um cluster, você pode definir a propriedade ActionOnFailure para determinar o que acontecerá se não for possível executar a etapa devido a um erro. Os valores possíveis para essa configuração são TERMINATE_CLUSTER (TERMINATE_JOB_FLOW com versões anteriores) CANCEL_AND_WAIT e CONTINUE. Para obter mais informações, consulte Envio de trabalhos para um cluster do Amazon EMR.

Se ocorrer uma falha em uma etapa configurada com ActionOnFailure definida como CANCEL_AND_WAIT, se o encerramento após a execução da etapa estiver habilitado, o cluster será encerrado sem executar as etapas subsequentes.

Se ocorrer uma falha em uma etapa configurada com ActionOnFailure definida como TERMINATE_CLUSTER, use a tabela de configurações abaixo para determinar o resultado.

ActionOnFailure Encerramento após a execução da etapa Termination protection Resultado

TERMINATE_CLUSTER

Habilitada

Desabilitado

O cluster é encerrado

Habilitada

Habilitado

O cluster é encerrado

Desabilitado

Habilitada

O cluster continua

Desabilitado

Desabilitado

O cluster é encerrado

Proteção contra término e instâncias spot

A proteção contra rescisão do Amazon EMR não impede que uma instância EC2 spot da Amazon seja encerrada quando o preço spot sobe acima do preço spot máximo.

Configurar a proteção contra término ao iniciar um cluster

Você pode ativar ou desativar a proteção contra encerramento ao iniciar um cluster usando o console AWS CLI, o ou a API.

Em clusters de nó único, as configurações padrão de proteção contra encerramento são as seguintes:

  • Inicialização de um cluster pelo console do Amazon EMR: a proteção contra encerramento está desabilitada por padrão.

  • A inicialização de um cluster por meio da AWS CLI aws emr create-cluster —Termination Protection está desativada, a menos que --termination-protected seja especificada.

  • Lançamento de um cluster pelo RunJobFlowcomando da API do Amazon EMR — a Proteção de terminação é desativada, a menos que o valor TerminationProtected booleano esteja definido como. true

Em clusters de alta disponibilidade, as configurações padrão de proteção contra encerramento são as seguintes:

  • Iniciar um cluster pelo console do Amazon EMR: a proteção contra encerramento é habilitada por padrão.

  • A inicialização de um cluster por meio da AWS CLI aws emr create-cluster —Termination Protection está desativada, a menos que --termination-protected seja especificada.

  • Lançamento de um cluster pelo RunJobFlowcomando da API do Amazon EMR — a Proteção de terminação é desativada, a menos que o valor TerminationProtected booleano esteja definido como. true

Console
Pata ativar ou desativar a proteção contra encerramento ao criar um cluster usando o console

  1. Faça login no e abra AWS Management Console o console do Amazon EMR em https://console.aws.amazon.com /emr.

  2. Em EMR, EC2 no painel de navegação esquerdo, escolha Clusters e, em seguida, escolha Criar cluster.

  3. Em Versão do EMR, escolha emr-6.6.0 ou posterior.

  4. Em Encerramento do cluster e substituição do nó, verifique se a opção Usar proteção contra encerramento está pré-selecionada ou desmarque a seleção para desativá-la.

  5. Escolha qualquer outra opção que se aplique ao cluster.

  6. Para iniciar o cluster, escolha Criar cluster.

AWS CLI
Para ativar ou desativar a proteção contra encerramento ao criar um cluster usando o AWS CLI

  • Com o AWS CLI, você pode iniciar um cluster com a proteção de encerramento ativada com o create-cluster comando com o --termination-protected parâmetro. Por padrão, a proteção contra encerramento é desativada.

    O exemplo a seguir cria um cluster com proteção contra encerramento habilitada:

    nota

    Os caracteres de continuação de linha do Linux (\) são incluídos para facilitar a leitura. Eles podem ser removidos ou usados ​​em comandos do Linux. No Windows, remova-os ou substitua-os por um sinal de interpolação (^).

    aws emr create-cluster --name "TerminationProtectedCluster" --release-label emr-7.9.0 \
--applications Name=Hadoop Name=Hive Name=Pig \
--use-default-roles --ec2-attributes KeyName=myKey --instance-type m5.xlarge \
--instance-count 3 --termination-protected

    Para obter mais informações sobre o uso dos comandos do Amazon EMR no AWS CLI, consulte. https://docs.aws.amazon.com/cli/latest/reference/emr

Configurar a proteção contra término para clusters em execução

Você pode configurar a proteção contra término para um cluster em execução usando o console ou a AWS CLI.

Console
Ativar ou desativar a proteção contra encerramento de um cluster em execução usando o console

  1. Faça login no e abra AWS Management Console o console do Amazon EMR em https://console.aws.amazon.com /emr.

  2. Em EMR, EC2 no painel de navegação esquerdo, escolha Clusters e selecione o cluster que você deseja atualizar.

  3. Na guia Propriedades na página de detalhes do cluster, localize Término do cluster e selecione Editar.

  4. Marque ou desmarque a caixa de seleção Usar proteção contra término para ativar ou desativar o atributo. Depois selecione Salvar alterações para confirmar.

AWS CLI
Para ativar ou desativar a proteção contra encerramento de um cluster em execução usando o AWS CLI

  • Para habilitar a proteção contra término em um cluster em execução usando a AWS CLI, digite o comando modify-cluster-attributes com o parâmetro --termination-protected. Para desabilitá-la, use o parâmetro --no-termination-protected.

    O exemplo a seguir ativa a proteção contra encerramento no cluster com IDj-3KVTXXXXXX7UG:

    aws emr modify-cluster-attributes --cluster-id j-3KVTXXXXXX7UG --termination-protected

    O exemplo a seguir desabilita a proteção contra encerramento no mesmo cluster:

    aws emr modify-cluster-attributes --cluster-id j-3KVTXXXXXX7UG --no-termination-protected