As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Use o AMS SSP para provisionar o Amazon EMR em sua conta AMS
Use o modo AMS Self-Service Provisioning (SSP) para acessar os recursos do Amazon EMR diretamente em sua conta gerenciada pelo AMS. O Amazon EMR é a plataforma de big data na nuvem líder do setor para processar grandes quantidades de dados usando ferramentas de código aberto, como Apache Spark, Apache Hive, Apache, Apache Flink, Apache Hudi e HBase Presto. Com o Amazon EMR, você pode executar análises em escala de petabytes por menos da metade do custo das soluções locais tradicionais e mais de 3 vezes mais rápido do que o Apache Spark padrão. Para trabalhos de curta duração, você pode ativar e desativar clusters e pagar por segundo pelas instâncias usadas. Para cargas de trabalho de longa duração, você pode criar clusters altamente disponíveis que se escalam automaticamente para atender à demanda.
Você pode criar uma ou mais instâncias dos clusters do Amazon EMR em contas AMS com várias contas de landing zone ou em contas de landing zone de conta única para suportar clusters transitórios e persistentes do Amazon EMR. Você também pode habilitar a autenticação Kerberos para habilitar a autenticação de usuários do domínio local do Active Directory.
Você pode aproveitar vários armazenamentos de dados com os clusters do Amazon EMR para oferecer suporte a ferramentas e bibliotecas Hadoop específicas para cada caso de uso. Os clusters do Amazon EMR podem ser criados usando OnDemand ou instâncias spot e configurar o escalonamento automático para gerenciar a capacidade e reduzir o custo.
Os arquivos de log do cluster podem ser arquivados em um bucket do Amazon S3 para registro e depuração. Você também pode acessar as interfaces web hospedadas no cluster do Amazon EMR para atender aos requisitos de administração do hadoop ou às experiências de cadernos de notas dos clientes.
Para saber mais, consulte Amazon EMR
Perguntas frequentes sobre o Amazon EMR no AWS Managed Services
P: Como solicito acesso ao Amazon EMR na minha conta do AMS?
Solicite acesso enviando um Gerenciamento | AWS serviço | Serviço autoprovisionado | Adicionar (revisão obrigatória) (ct-3qe6io8t6jtny) tipo de alteração. Essa RFC provisiona as seguintes funções do IAM para sua conta:
customer_emr_cluster_instance_profilecustomer_emr_cluster_autoscaling_rolecustomer_emr_console_rolecustomer_emr_cluster_service_role
Depois de provisionado em sua conta, você deve integrar o customer_emr_console_role em sua solução de federação.
P: Quais são as restrições ao uso do Amazon EMR na minha conta AMS?
Ao criar o Amazon EMR em um EC2 cluster a partir do console da AWS, recomendamos que você use a opção Create Cluster — Advanced. Os clusters do Amazon EMR devem ser criados adicionando a tag com a chave "for-use-with-amazon-emr-managed-policies" com o valor “true”. Selecione as seguintes configurações nas opções de Segurança:
Selecione funções personalizadas para seu cluster:
Função do EMR: customer_emr_cluster_service_role
EC2 Perfil da instância: customer_emr_cluster_instance_profile
Função de Auto Scaling: customer_emr_cluster_autoscaling_role
EC2 Grupos de segurança:
Mestre: ams-emr-master-security -group
Núcleo e tarefa: ams-emr-worker-security -grupo
Acesso ao serviço: ams-emr-serviceaccess-security -group
P: Quais são os pré-requisitos ou dependências para usar o Amazon EMR na minha conta AMS?
O AMS cria grupos de segurança padrão para os nós mestre, trabalhador e serviços do Amazon EMR.
Os modelos de lançamento e os grupos de segurança a serem usados com os clusters do Amazon EMR devem ter a chave de tag "for-use-with-amazon-emr-managed-policies" com o valor “true”.
O perfil padrão da instância de cluster do Amazon EMR permite o acesso aos recursos, como buckets s3 e tabelas dynamodb, com seus nomes contendo “emr”. Você pode solicitar políticas adicionais do IAM para usar quaisquer recursos adicionais a serem usados com o Amazon EMR. Os seguintes ARNs de recursos podem ser usados com trabalhos do Amazon EMR usando o customer_emr_cluster_instance_profile:
arn:aws:dynamodb: *:*:table/*emr*
arn:aws:kinesis: *:*:stream/*emr*
arn:aws:sns: *:*: *emr*arn:aws:sqs: *:*: *emr*
arn:aws:sqs: *:*: *emr*
arn:aws:sqs: *:*:AWS- -* ElasticMapReduce
arn:aws:sdb: *:*:domínio: *emr*
arn:aws:3: ::*emr*
Se a autenticação kerberos for necessária para o cluster do Amazon EMR:
Forneça o nome do território a ser usado para cada cluster kerberizado do Amazon EMR e os endereços IP locais do Active Directory.
Requisitos de infraestrutura:
Multi-Account Landing Zone (MALZ): envie uma RFC para criar uma nova conta de aplicativo gerenciado ou uma nova VPC em uma conta de aplicativo existente.
Zona de destino de conta única (SALZ): envie uma RFC para criar uma nova sub-rede em sua VPC.
Configure a confiança de entrada para o território do cluster no Active Directory local.
Envie um RFC para configurar zonas DNS para o território no AD gerenciado.
Configuração do reino:
MALZ: Envie um RFC de gerenciamento | Outro | Outro | Atualize (ct-0xdawir96cy7k) para atualizar o conjunto de opções DHCP da VPC para usar o nome do território como sufixo do nome de domínio.
SALZ: Envie um RFC de gerenciamento | Outro | Outro | Atualize (ct-0xdawir96cy7k) para gerar uma nova AMI do Amazon EMR para usar a região específica para o sufixo do nome de domínio.
Para implantar o Amazon EMR Studio, a função customer_emr_cluster_service_role tem um pré-requisito para um bucket do Amazon Simple Storage Service. Para criar o bucket, use a CT automatizada ct-1a68ck03fn98r (Implantação | Componentes avançados de pilha | Armazenamento S3 | Criar). Quando você usa essa CT automatizada para criar um bucket do Amazon S3 para o Amazon EMR, o nome do bucket deve começar com o prefixo. customer-emr-* Além disso, você deve criar o bucket na mesma AWS região do cluster do Amazon EMR.
