Inicialização de clusters em uma VPC com o Amazon EMR - Amazon EMR
Garantindo endereços IP disponíveis para um cluster EMR em EC2

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Inicialização de clusters em uma VPC com o Amazon EMR

Depois de ter uma sub-rede configurada para hospedar clusters do Amazon EMR, inicie o cluster nessa sub-rede especificando o identificador de sub-rede associado ao criar o cluster.

nota

O Amazon EMR oferece suporte a sub-redes privadas nas versões 4.2 e superiores.

Quando o cluster é iniciado, o Amazon EMR adiciona grupos de segurança conforme o tipo de sub-redes da VPC (públicas ou privadas) em que o cluster é iniciado. Todos os grupos de segurança permitem a entrada na porta 8443 para comunicação com o serviço do Amazon EMR, mas os intervalos de endereços IP variam para sub-redes públicas e privadas. O Amazon EMR gerencia todos esses grupos de segurança e pode precisar adicionar endereços IP adicionais ao AWS intervalo ao longo do tempo. Para obter mais informações, consulte Controle do tráfego de rede com grupos de segurança para o cluster do Amazon EMR.

Para gerenciar o cluster em uma VPC, o Amazon EMR anexa um dispositivo de rede ao nó primário e o administra nesse dispositivo. Você pode visualizar esse dispositivo usando a ação de EC2 API da Amazon DescribeInstances. Se esse dispositivo for modificado de qualquer maneira, o cluster poderá falhar.

Console
Para iniciar um cluster em uma VPC usando o console

  1. Faça login no e abra AWS Management Console o console do Amazon EMR em https://console.aws.amazon.com /emr.

  2. Em EMR, EC2 no painel de navegação esquerdo, escolha Clusters e, em seguida, escolha Criar cluster.

  3. Em Redes, acesse o campo Nuvem privada virtual (VPC). Insira o nome da VPC ou escolha Procurar para selecionar a VPC. Como alternativa, escolha Criar VPC para criar uma VPC que você possa usar com o cluster.

  4. Escolha qualquer outra opção que se aplique ao cluster.

  5. Para iniciar o cluster, escolha Criar cluster.

AWS CLI
Para iniciar um cluster em uma VPC com o AWS CLI
nota

O AWS CLI não fornece uma maneira de criar uma instância NAT automaticamente e conectá-la à sua sub-rede privada. No entanto, para criar um endpoint do S3 na sua sub-rede, você pode usar os comandos da CLI da Amazon VPC. Use o console para criar instâncias NAT e executar clusters em uma sub-rede privada.

Depois que a VPC estiver configurada, você poderá criar clusters do Amazon EMR usando o subcomando create-cluster com o parâmetro --ec2-attributes. Use o parâmetro --ec2-attributes para especificar a sub-rede VPC do seu cluster.

  • Para criar um cluster em uma sub-rede específica, digite o comando a seguir, myKey substitua pelo nome do seu par de EC2 chaves da Amazon e 77XXXX03 substitua pelo ID da sub-rede.

    aws emr create-cluster --name "Test cluster" --release-label emr-4.2.0 --applications Name=Hadoop Name=Hive Name=Pig --use-default-roles --ec2-attributes KeyName=myKey,SubnetId=subnet-77XXXX03 --instance-type m5.xlarge --instance-count 3

    Quando você especifica a contagem de instâncias sem usar o parâmetro --instance-groups, um único nó primário é executado, e as instâncias restantes são executadas como nós centrais. Todos os nós usam o tipo de instância especificado no comando.

    nota

    Se você ainda não criou a função de serviço e o perfil de EC2 instância padrão do Amazon EMR, digite aws emr create-default-roles para criá-los antes de digitar o subcomando. create-cluster

Garantindo endereços IP disponíveis para um cluster EMR em EC2

Para garantir que uma sub-rede com endereços IP livres suficientes esteja disponível quando você iniciar, a seleção de EC2 sub-rede verifica a disponibilidade de IP. O processo de criação usa uma sub-rede com a contagem necessária de endereços IP para iniciar os nós centrais, primários e de tarefas conforme necessário, mesmo que, na criação inicial, somente os nós centrais do cluster sejam criados. O EMR verifica o número de endereços IP necessários para iniciar os nós primários e de tarefas durante a criação, além de calcular separadamente o número de endereços IP necessários para iniciar os nós centrais. O número mínimo de instâncias ou nós primários e de tarefas necessários é determinado automaticamente pelo Amazon EMR.

Importante

Se nenhuma sub-rede na VPC tiver disponibilidade suficiente IPs para acomodar os nós essenciais, um erro será retornado e o cluster não será criado.

Na maioria dos casos de implantação, há uma diferença de tempo entre cada lançamento dos nós centrais, primários e de tarefas. Além disso, é possível que vários clusters compartilhem uma sub-rede. Nesses casos, a disponibilidade do endereço IP pode flutuar e os lançamentos subsequentes dos nós de tarefas, por exemplo, podem ser limitados pelos endereços IP disponíveis.