Considérations relatives à l'utilisation d'Amazon EMR avec Apache Ranger - Amazon EMR
Applications prises en charge pour Amazon EMR avec Apache RangerLimites d'applicationLimites de plug-in

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Considérations relatives à l'utilisation d'Amazon EMR avec Apache Ranger

Applications prises en charge pour Amazon EMR avec Apache Ranger

L'intégration entre Amazon EMR et Apache Ranger dans laquelle EMR installe les plug-ins Ranger prend actuellement en charge les applications suivantes :

  • Apache Spark (disponible avec EMR 5.32+ et EMR 6.3+)

  • Apache Hive (disponible avec EMR 5.32+ et EMR 6.3+)

  • S3 Access via EMRFS (disponible avec EMR 5.32+ et EMR 6.3+)

Les applications suivantes peuvent être installées sur un cluster EMR et devront peut-être être configurées pour répondre à vos besoins en matière de sécurité :

  • Apache Hadoop (disponible avec EMR 5.32+ et EMR 6.3+, y compris YARN et HDFS)

  • Apache Livy (disponible avec EMR 5.32+ et EMR 6.3+)

  • Apache Zeppelin (disponible avec EMR 5.32+ et EMR 6.3+)

  • Apache Hue (disponible avec EMR 5.32+ et EMR 6.3+)

  • Ganglia (disponible avec EMR 5.32+ et EMR 6.3+)

  • HCatalog (Disponible avec EMR 5.32+ et EMR 6.3+)

  • Mahout (disponible avec EMR 5.32+ et EMR 6.3+)

  • MXNet (Disponible avec EMR 5.32+ et EMR 6.3+)

  • TensorFlow (Disponible avec EMR 5.32+ et EMR 6.3+)

  • Tez (disponible avec EMR 5.32+ et EMR 6.3+)

  • Trino (disponible avec EMR 6.7+)

  • ZooKeeper (Disponible avec EMR 5.32+ et EMR 6.3+)

Important

Les applications répertoriées ci-dessus sont les seules actuellement prises en charge. Pour garantir la sécurité du cluster, vous êtes autorisé à créer un cluster EMR avec uniquement les applications de la liste ci-dessus lorsque Apache Ranger est activé.

Les autres applications ne sont actuellement pas prises en charge. Pour garantir la sécurité de votre cluster, toute tentative d'installation d'autres applications entraînera le rejet de votre cluster.

AWS Les formats Glue Data Catalog et Open Table tels qu'Apache Hudi, Delta Lake et Apache Iceberg ne sont pas pris en charge.

Fonctionnalités Amazon EMR prises en charge avec Apache Ranger

Les fonctionnalités Amazon EMR suivantes sont prises en charge lorsque vous utilisez Amazon EMR avec Apache Ranger :

  • Chiffrement au repos et en transit

  • Authentification Kerberos (obligatoire)

  • Groupes d'instances, parcs d'instances et instances Spot

  • Reconfiguration des applications sur un cluster en cours d'exécution

  • chiffrement côté serveur (SSE) EMRFS

Note

Les paramètres de chiffrement d'Amazon EMR régissent le SSE. Pour plus d'informations, consultez Options de chiffrement.

Limites d'application

Il y a plusieurs limites à prendre en compte lorsque vous intégrez Amazon EMR et Apache Ranger :

  • Vous ne pouvez actuellement pas utiliser la console pour créer une configuration de sécurité spécifiant l'option d'intégration de AWS Ranger dans le AWS GovCloud (US) Region. La configuration de la sécurité peut être effectuée à l'aide de la CLI.

  • Kerberos doit être installé sur votre cluster.

  • Les applications UIs (interfaces utilisateur) telles que l'interface utilisateur YARN Resource Manager, l'interface utilisateur HDFS et l' NameNode interface utilisateur Livy ne sont pas configurées avec l'authentification par défaut.

  • Les autorisations par défaut du HDFS umask sont configurées de telle sorte que les objets créés sont définis sur world wide readable par défaut.

  • Amazon EMR ne prend pas en charge le mode haute disponibilité (principal multiple) avec Apache Ranger.

  • Pour connaître les limites supplémentaires, consultez les limites de chaque application.

Note

Les paramètres de chiffrement d'Amazon EMR régissent le SSE. Pour plus d'informations, consultez Options de chiffrement.

Limites de plug-in

Chaque plug-in possède des limites spécifiques. Pour connaître les limites du plug-in Apache Hive, consultez la section Limitations du plug-in Apache Hive. Pour connaître les limites du plug-in Apache Spark, consultez la section Limitations du plug-in Apache Spark. Pour connaître les limites du plug-in EMRFS S3, consultez Limitations du plug-in EMRFS S3.