Composants Amazon EMR à utiliser avec Apache Ranger

Amazon EMR permet un contrôle d'accès précis avec Apache Ranger par le biais des composants suivants. Consultez le schéma d'architecture pour une représentation visuelle de ces composants Amazon EMR avec les plug-ins Apache Ranger.

Agent secret – L'agent secret stocke les secrets en toute sécurité et les distribue à d'autres composants ou applications Amazon EMR. Les secrets peuvent inclure des informations d'identification utilisateur temporaires, des clés de chiffrement ou des tickets Kerberos. L'agent secret s'exécute sur chaque nœud du cluster et intercepte les appels au service de métadonnées d'instance. Pour les demandes adressées aux informations d'identification du rôle du profil d'instance, l'agent secret transmet les informations d'identification en fonction de l'utilisateur demandeur et des ressources demandées après avoir autorisé la demande avec le plug-in EMRFS S3 Ranger. L'agent secret s'exécute en tant qu'emrsecretagentutilisateur et écrit des journaux dans le emr/secretagent/log répertoire/. Le processus s'appuie sur un ensemble spécifique de règles iptables pour fonctionner. Il est important de veiller à ce que iptables soit pas désactivé. Si vous personnalisez la configuration iptables, les règles de la table NAT doivent être préservées et laissées inchangées.

Serveur d'enregistrement EMR – Le serveur d'enregistrement reçoit des demandes d'accès aux données de la part de Spark. Il autorise ensuite les demandes en transférant les ressources demandées au plug-in Spark Ranger pour Amazon EMR. Le serveur d'enregistrement lit les données d'Amazon S3 et renvoie des données filtrées auxquelles l'utilisateur est autorisé à accéder conformément à la politique de Ranger. Le serveur d'enregistrement s'exécute sur chaque nœud du cluster en tant qu'utilisateur emr_record_server et écrit les journaux dans le répertoire/-record-server. var/log/emr