Iniciar um cluster do Amazon EMR com múltiplos nós primários - Amazon EMR
Pré-requisitosIniciar um cluster do Amazon EMR com múltiplos nós primáriosTerminar um cluster do Amazon EMR com múltiplos nós primários

Iniciar um cluster do Amazon EMR com múltiplos nós primários

Este tópico fornece detalhes de configuração e exemplos para iniciar um cluster do Amazon EMR com múltiplos nós primários.

nota

O Amazon EMR habilita automaticamente a proteção contra encerramento para todos os clusters com vários nós primários e substitui as configurações de encerramento automático fornecidas na criação do cluster. Para desligar um cluster com múltiplos nós primários, primeiro é necessário modificar os atributos do cluster para desabilitar a proteção contra término. Para instruções, consulte Terminar um cluster do Amazon EMR com múltiplos nós primários.

Pré-requisitos

  • Você pode iniciar um cluster do Amazon EMR com múltiplos nós primários em sub-redes públicas e privadas da VPC. O EC2-Classic não é compatível. Para iniciar um cluster do Amazon EMR com múltiplos nós primários em uma sub-rede pública, é necessário ativar as instâncias nessa sub-rede para receber um endereço IP público, selecionando Atribuir IPv4 automaticamente no console ou executando o comando a seguir. Substitua 22XXXX01 pelo ID da sua sub-rede.

    aws ec2 modify-subnet-attribute --subnet-id subnet-22XXXX01 --map-public-ip-on-launch

  • Para executar o Hive, o Hue ou o Oozie em um cluster do Amazon EMR com múltiplos nós primários, é necessário criar um metastore externo. Para obter mais informações, consulte Configuring an external metastore for Hive, Using Hue with a remote database in Amazon RDS ou Apache Oozie.

  • Para usar a autenticação do Kerberos no seu cluster, é necessário configurar um KDC externo. Para obter mais informações, consulte Configuring Kerberos on Amazon EMR.

Iniciar um cluster do Amazon EMR com múltiplos nós primários

Você pode executar um cluster com vários nós primários ao usar grupos ou frotas de instâncias. Ao usar os grupos de instâncias com vários nós primários, é preciso especificar um valor 3 de contagem de instâncias para o grupo de instâncias do nó primário. Ao usar frotas de instâncias com vários nós primários, você deve especificar a TargetOnDemandCapacity de 3, a TargetSpotCapacity de 0 para a frota de instâncias primária e a WeightedCapacity de 1 para cada tipo de instância que configurar para a frota principal.

Os seguintes exemplos demonstram como executar o cluster usando a AMI padrão ou uma AMI personalizada com grupos e frotas de instâncias.

nota

É necessário especificar o ID da sub-rede ao iniciar um cluster do Amazon EMR com múltiplos nós primários usando a AWS CLI. Substitua 22XXXX01 e 22XXXX02 pelo ID da sua sub-rede nos exemplos a seguir.

Default AMI, instance groups
exemplo Exemplo: executar um cluster de grupo de instâncias do Amazon EMR com vários nós primários usando uma AMI padrão
aws emr create-cluster \
--name "ha-cluster" \
--release-label emr-6.15.0 \
--instance-groups InstanceGroupType=MASTER,InstanceCount=3,InstanceType=m5.xlarge InstanceGroupType=CORE,InstanceCount=4,InstanceType=m5.xlarge \
--ec2-attributes KeyName=ec2_key_pair_name,InstanceProfile=EMR_EC2_DefaultRole,SubnetId=subnet-22XXXX01 \
--service-role EMR_DefaultRole \
--applications Name=Hadoop Name=Spark
Default AMI, instance fleets
exemplo Exemplo: executar um cluster de frota de instâncias do Amazon EMR com vários nós primários usando uma AMI padrão
aws emr create-cluster \
--name "ha-cluster" \
--release-label emr-6.15.0 \
--instance-fleets '[
    {
        "InstanceFleetType": "MASTER",
        "TargetOnDemandCapacity": 3,
        "TargetSpotCapacity": 0,
        "LaunchSpecifications": {
            "OnDemandSpecification": {
                "AllocationStrategy": "lowest-price"
            }
        },
        "InstanceTypeConfigs": [
            {
                "WeightedCapacity": 1,
                "BidPriceAsPercentageOfOnDemandPrice": 100,
                "InstanceType": "m5.xlarge"
            },
            {
                "WeightedCapacity": 1,
                "BidPriceAsPercentageOfOnDemandPrice": 100,
                "InstanceType": "m5.2xlarge"
            },
            {
                "WeightedCapacity": 1,
                "BidPriceAsPercentageOfOnDemandPrice": 100,
                "InstanceType": "m5.4xlarge"
            }
        ],
        "Name": "Master - 1"
    },
    {
        "InstanceFleetType": "CORE",
        "TargetOnDemandCapacity": 5,
        "TargetSpotCapacity": 0,
        "LaunchSpecifications": {
            "OnDemandSpecification": {
                "AllocationStrategy": "lowest-price"
            }
        },
        "InstanceTypeConfigs": [
            {
                "WeightedCapacity": 1,
                "BidPriceAsPercentageOfOnDemandPrice": 100,
                "InstanceType": "m5.xlarge"
            },
            {
                "WeightedCapacity": 2,
                "BidPriceAsPercentageOfOnDemandPrice": 100,
                "InstanceType": "m5.2xlarge"
            },
            {
                "WeightedCapacity": 4,
                "BidPriceAsPercentageOfOnDemandPrice": 100,
                "InstanceType": "m5.4xlarge"
            }
        ],
        "Name": "Core - 2"
    }
]' \
 --ec2-attributes '{"InstanceProfile":"EMR_EC2_DefaultRole","SubnetIds":["subnet-22XXXX01", "subnet-22XXXX02"]}' \
--service-role EMR_DefaultRole \
--applications Name=Hadoop Name=Spark
Custom AMI, instance groups
exemplo Exemplo: executar um cluster de grupo de instâncias do Amazon EMR com vários nós primários usando uma AMI personalizada
aws emr create-cluster \
--name "custom-ami-ha-cluster" \
--release-label emr-6.15.0 \
--instance-groups InstanceGroupType=MASTER,InstanceCount=3,InstanceType=m5.xlarge InstanceGroupType=CORE,InstanceCount=4,InstanceType=m5.xlarge \
--ec2-attributes KeyName=ec2_key_pair_name,InstanceProfile=EMR_EC2_DefaultRole,SubnetId=subnet-22XXXX01 \
--service-role EMR_DefaultRole \
--applications Name=Hadoop Name=Spark \
--custom-ami-id ami-MyAmiID
Custom AMI, instance fleets
exemplo Exemplo: executar um cluster de frota de instâncias do Amazon EMR com vários nós primários usando uma AMI personalizada
aws emr create-cluster \
--name "ha-cluster" \
--release-label emr-6.15.0 \
--instance-fleets '[
    {
        "InstanceFleetType": "MASTER",
        "TargetOnDemandCapacity": 3,
        "TargetSpotCapacity": 0,
        "LaunchSpecifications": {
            "OnDemandSpecification": {
                "AllocationStrategy": "lowest-price"
            }
        },
        "InstanceTypeConfigs": [
            {
                "WeightedCapacity": 1,
                "BidPriceAsPercentageOfOnDemandPrice": 100,
                "InstanceType": "m5.xlarge"
            },
            {
                "WeightedCapacity": 1,
                "BidPriceAsPercentageOfOnDemandPrice": 100,
                "InstanceType": "m5.2xlarge"
            },
            {
                "WeightedCapacity": 1,
                "BidPriceAsPercentageOfOnDemandPrice": 100,
                "InstanceType": "m5.4xlarge"
            }
        ],
        "Name": "Master - 1"
    },
    {
        "InstanceFleetType": "CORE",
        "TargetOnDemandCapacity": 5,
        "TargetSpotCapacity": 0,
        "LaunchSpecifications": {
            "OnDemandSpecification": {
                "AllocationStrategy": "lowest-price"
            }
        },
        "InstanceTypeConfigs": [
            {
                "WeightedCapacity": 1,
                "BidPriceAsPercentageOfOnDemandPrice": 100,
                "InstanceType": "m5.xlarge"
            },
            {
                "WeightedCapacity": 2,
                "BidPriceAsPercentageOfOnDemandPrice": 100,
                "InstanceType": "m5.2xlarge"
            },
            {
                "WeightedCapacity": 4,
                "BidPriceAsPercentageOfOnDemandPrice": 100,
                "InstanceType": "m5.4xlarge"
            }
        ],
        "Name": "Core - 2"
    }
]' \
--ec2-attributes '{"InstanceProfile":"EMR_EC2_DefaultRole","SubnetIds":["subnet-22XXXX01", "subnet-22XXXX02"]}' \
--service-role EMR_DefaultRole \
--applications Name=Hadoop Name=Spark \
--custom-ami-id ami-MyAmiID

Terminar um cluster do Amazon EMR com múltiplos nós primários

Para terminar um cluster do Amazon EMR com múltiplos nós primários, é preciso desabilitar a proteção contra término o antes de finalizar o cluster, como mostra o exemplo a seguir. Substitua j-3KVTXXXXXX7UG pelo ID do seu cluster.

aws emr modify-cluster-attributes --cluster-id j-3KVTXXXXXX7UG --no-termination-protected
aws emr terminate-clusters --cluster-id j-3KVTXXXXXX7UG