Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Utilisez AMS SSP pour approvisionner Amazon EMR sur votre compte AMS
Utilisez le mode AMS Self-Service Provisioning (SSP) pour accéder aux fonctionnalités d'Amazon EMR directement depuis votre compte géré par AMS. Amazon EMR est la plateforme cloud de pointe pour le traitement de grandes quantités de données à l'aide d'outils open source tels qu'Apache Spark, Apache Hive, Apache, Apache Flink HBase, Apache Hudi et Presto. Avec Amazon EMR, vous pouvez exécuter des analyses à l'échelle du pétaoctet pour moins de la moitié du coût des solutions sur site traditionnelles et plus de 3 fois plus rapidement qu'Apache Spark standard. Pour les tâches de courte durée, vous pouvez faire tourner des clusters vers le haut ou vers le bas et payer à la seconde pour les instances utilisées. Pour les charges de travail de longue durée, vous pouvez créer des clusters hautement disponibles qui s'adaptent automatiquement à la demande.
Vous pouvez créer une ou plusieurs instances des clusters Amazon EMR dans des comptes de zone d'atterrissage multi-comptes AMS ou dans des comptes de zone d'atterrissage à compte unique pour prendre en charge les clusters Amazon EMR transitoires et persistants. Vous pouvez également activer l'authentification Kerberos pour authentifier les utilisateurs à partir du domaine Active Directory local.
Vous pouvez tirer parti de plusieurs magasins de données avec les clusters Amazon EMR pour prendre en charge les outils et bibliothèques Hadoop spécifiques à des cas d'utilisation. Les clusters Amazon EMR peuvent être créés à l'aide d'instances OnDemand ou Spot et configurer le dimensionnement automatique pour gérer la capacité et réduire les coûts.
Les fichiers journaux du cluster peuvent être archivés dans un compartiment Amazon S3 à des fins de journalisation et de débogage. Vous pouvez également accéder aux interfaces Web hébergées dans le cluster Amazon EMR afin de répondre aux exigences d'administration Hadoop ou de créer des carnets de notes pour les clients.
Pour en savoir plus, consultez Amazon EMR
FAQ sur Amazon EMR dans AWS Managed Services
Q : Comment puis-je demander l'accès à Amazon EMR depuis mon compte AMS ?
Demandez l'accès en soumettant un type de modification Gestion | AWS service | Service auto-approvisionné | Ajouter (révision requise) (ct-3qe6io8t6jtny). Cette RFC attribue les rôles IAM suivants à votre compte :
customer_emr_cluster_instance_profilecustomer_emr_cluster_autoscaling_rolecustomer_emr_console_rolecustomer_emr_cluster_service_role
Une fois qu'il est configuré dans votre compte, vous devez intégrer le customer_emr_console_role dans votre solution de fédération.
Q : Quelles sont les restrictions relatives à l'utilisation d'Amazon EMR sur mon compte AMS ?
Lorsque vous créez Amazon EMR sur un EC2 cluster depuis la console AWS, nous vous conseillons d'utiliser l'option Create Cluster — Advanced. Les clusters Amazon EMR doivent être créés en ajoutant la balise avec la clé « for-use-with-amazon - » avec la valeur « true emr-managed-policies ». Sélectionnez les configurations suivantes dans les options de sécurité :
Sélectionnez des rôles personnalisés pour votre cluster :
Rôle EMR : customer_emr_cluster_service_role
EC2 Profil d'instance : customer_emr_cluster_instance_profile
Rôle Auto Scaling : customer_emr_cluster_autoscaling_role
EC2 Groupes de sécurité :
Master : ams-emr-master-security -group
Noyau et tâche : ams-emr-worker-security -group
Accès au service : ams-emr-serviceaccess-security -group
Q : Quels sont les prérequis ou les dépendances pour utiliser Amazon EMR dans mon compte AMS ?
AMS crée des groupes de sécurité par défaut pour les nœuds Amazon EMR master, worker et services.
Les modèles de lancement et les groupes de sécurité à utiliser avec les clusters Amazon EMR doivent avoir la clé de balise « for-use-with-amazon- emr-managed-policies » avec la valeur « true ».
Le profil d'instance de cluster Amazon EMR par défaut permet d'accéder aux ressources telles que les compartiments s3 et les tables Dynamodb dont le nom contient « emr ». Vous pouvez demander des politiques IAM supplémentaires pour utiliser les ressources supplémentaires à utiliser avec Amazon EMR. Les ARN de ressources suivants peuvent être utilisés avec les tâches Amazon EMR à l'aide du customer_emr_cluster_instance_profile :
arn:aws:dynamodb : *:*:table/*emr*
arn:aws:kinesis : *:*:stream/*emr*
arn:aws:sns : *:* : *emr*arn:aws:sqs : *:* : *emr*
arn:aws:sqs : *:* : *emr*
arn:aws:sqs :*:*:AWS- -* ElasticMapReduce
arn:aws:sdb : *:*:domain : *emr*
arn:aws:s3 : ::*emr*
Si l'authentification Kerberos est requise pour le cluster Amazon EMR :
Indiquez le nom de domaine à utiliser pour chaque cluster Amazon EMR kerberisé et les adresses IP Active Directory sur site.
Exigences en matière d'infrastructure :
Zone d'accueil multi-comptes (MALZ) : soumettez une RFC pour créer un nouveau compte d'application géré ou un nouveau VPC dans un compte d'application existant.
Zone d'atterrissage à compte unique (SALZ) : soumettez une RFC pour créer un nouveau sous-réseau dans votre VPC.
Configurez la confiance entrante pour le domaine du cluster sur l'Active Directory sur site.
Soumettez une RFC pour configurer les zones DNS pour le domaine dans Managed AD.
Configuration du domaine :
MALZ : Soumettez une RFC de gestion | Autre | Autre | Mise à jour (ct-0xdawir96cy7k) pour mettre à jour l'option DHCP du VPC définie pour utiliser le nom de domaine comme suffixe de nom de domaine.
SALZ : Soumettez une RFC de gestion | Autre | Autre | Mise à jour (ct-0xdawir96cy7k) pour générer une nouvelle AMI Amazon EMR afin d'utiliser le domaine spécifique pour le suffixe du nom de domaine.
Pour déployer Amazon EMR studio, le rôle customer_emr_cluster_service_role doit obligatoirement disposer d'un bucket Amazon Simple Storage Service. Pour créer le bucket, utilisez le CT automatisé ct-1a68ck03fn98r (Déploiement | Composants de pile avancés | Stockage S3 | Création). Lorsque vous utilisez ce CT automatisé pour créer un compartiment Amazon S3 pour Amazon EMR, le nom du compartiment doit commencer par le préfixe. customer-emr-* Vous devez également créer le compartiment dans la même AWS région que le cluster Amazon EMR.
