Comment Amazon EMR sur EKS fonctionne avec Lake Formation AWS - Amazon EMR

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Comment Amazon EMR sur EKS fonctionne avec Lake Formation AWS

L'utilisation d'Amazon EMR sur EKS avec Lake Formation vous permet d'appliquer une couche d'autorisations à chaque tâche Spark afin d'appliquer le contrôle des autorisations de Lake Formation lorsqu'Amazon EMR sur EKS exécute des tâches. Amazon EMR sur EKS utilise les profils de ressources Spark pour créer deux profils afin d'exécuter efficacement les tâches. Le profil utilisateur exécute le code fourni par l'utilisateur, tandis que le profil système applique les politiques de Lake Formation. Chaque Job activé par Lake Formation utilise deux pilotes Spark, l'un pour le profil utilisateur et l'autre pour le profil système. Pour plus d'informations, voir Qu'est-ce que la AWS Lake Formation ?

Vous trouverez ci-dessous une présentation détaillée de la manière dont Amazon EMR on EKS accède aux données protégées par les politiques de sécurité de Lake Formation.

La sécurité de l'emploi grâce à Lake Formation

Les étapes suivantes décrivent ce processus :

  1. Un utilisateur soumet un Spark Job à un cluster AWS virtuel Amazon EMR on EKS compatible avec Lake Formation.

  2. Le service Amazon EMR on EKS configure le pilote utilisateur et exécute la tâche dans le profil utilisateur. Le pilote utilisateur exécute une version allégée de Spark qui n'est pas en mesure de lancer des tâches, des exécuteurs de requêtes, d'accéder à Amazon S3 ou au catalogue de données Glue. Il ne fait que créer un plan Job.

  3. Le service Amazon EMR on EKS configure un deuxième pilote appelé pilote système et l'exécute dans le profil système (avec une identité privilégiée). Amazon EKS configure un canal TLS crypté entre les deux pilotes pour la communication. Le pilote utilisateur utilise le canal pour envoyer les plans de travail au pilote système. Le pilote système n'exécute pas le code envoyé par l'utilisateur. Il exécute Spark dans son intégralité et communique avec Amazon S3 et le catalogue de données pour accéder aux données. Il demande des exécuteurs et compile le Job Plan en une séquence d'étapes d'exécution.

  4. Le service Amazon EMR on EKS exécute ensuite les étapes sur les exécuteurs. À n'importe quel stade, le code utilisateur est exécuté exclusivement sur les exécuteurs de profil utilisateur.

  5. Les étapes qui lisent les données des tables du catalogue de données protégées par Lake Formation ou celles qui appliquent des filtres de sécurité sont déléguées aux exécuteurs du système.