Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Utilisation de AWS Glue with AWS Lake Formation pour un accès complet à la table

Présentation de l'accès complet aux tables

AWS Glue La version 5.0 prend en charge le contrôle de l'accès complet aux tables (FTA) dans Apache Spark en fonction de vos politiques définies dans AWS Lake Formation. Cette fonctionnalité permet d'effectuer des opérations de lecture et d'écriture à partir de vos tâches AWS Glue Spark sur des tables AWS Lake Formation enregistrées lorsque le rôle de tâche dispose d'un accès complet aux tables. FTA est idéal pour les cas d'utilisation qui doivent se conformer aux réglementations de sécurité au niveau des tables et prend en charge les fonctionnalités de Spark, notamment les ensembles de données distribués résilients (RDDs), les bibliothèques personnalisées et les fonctions définies par l'utilisateur (UDFs) avec des AWS Lake Formation tables.

Lorsqu'une tâche AWS Glue Spark est configurée pour un accès complet aux tables (FTA), les AWS Lake Formation informations d'identification sont utilisées pour accéder aux données read/write Amazon S3 relatives aux tables AWS Lake Formation enregistrées, tandis que les informations d'identification du rôle d'exécution de la tâche sont utilisées pour read/write les tables non enregistrées auprès AWS Lake Formation de celles-ci. Cette fonctionnalité active les opérations DML (Data Manipulation Language), notamment les instructions CREATE, ALTER, DELETE, UPDATE et MERGE INTO sur les tables Apache Hive et Iceberg.

Comment fonctionne Full-Table Access (FTA) sur AWS Glue

AWS Lake Formation propose deux approches pour le contrôle d'accès aux données : le contrôle d'accès détaillé (FGAC) et l'accès complet aux tables (FTA). Le FGAC fournit une sécurité renforcée grâce à un filtrage au niveau des colonnes, des lignes et des cellules, idéal pour les scénarios nécessitant des autorisations granulaires. FTA est idéal pour les scénarios de contrôle d'accès simples où vous avez besoin d'autorisations au niveau de la table. Il simplifie la mise en œuvre en éliminant le besoin d'activer le mode d'accès détaillé, améliore les performances et réduit les coûts en évitant le pilote système et les exécuteurs du système, et prend en charge les opérations de lecture et d'écriture (y compris les commandes CREATE, ALTER, DELETE, UPDATE et MERGE INTO).

Dans la AWS Glue version 4.0, l'accès aux données AWS Lake Formation basé sur la GlueContext classe s'effectuait par le biais de la classe utilitaire fournie par AWS Glue. Dans la AWS Glue version 5.0, l'accès aux données AWS Lake Formation basé est disponible via Spark SQL natif, Spark DataFrames, et continue d'être pris en charge par le biais GlueContext de classes.

Mise en œuvre de l'accès complet aux tables

Étape 1 : activer l'accès complet à la table dans AWS Lake Formation

Pour utiliser le mode Full Table Access (FTA), vous devez autoriser les moteurs de requêtes tiers à accéder aux données sans que la balise de session IAM ne soit validée. AWS Lake Formation Pour l'activer, suivez les étapes de la section Intégration des applications pour un accès complet aux tables.

Étape 2 : Configuration des autorisations IAM pour le rôle d'exécution des tâches

Pour accéder en lecture ou en écriture aux données sous-jacentes, en plus des AWS Lake Formation autorisations, un rôle d'exécution de tâche nécessite l'autorisation lakeformation:GetDataAccess IAM. Avec cette autorisation, AWS Lake Formation accorde la demande d'informations d'identification temporaires pour accéder aux données.

Voici un exemple de politique expliquant comment fournir les autorisations IAM pour accéder à un script dans Amazon S3, le téléchargement de journaux sur Amazon S3, les autorisations d' AWS Glue API et les autorisations d'accès. AWS Lake Formation

JSON

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "ScriptAccess",
      "Effect": "Allow",
      "Action": [
        "s3:GetObject"
      ],
      "Resource": [
        "arn:aws:s3:::amzn-s3-demo-bucket/scripts/*"
      ]
    },
    {
      "Sid": "LoggingAccess",
      "Effect": "Allow",
      "Action": [
        "s3:PutObject"
      ],
      "Resource": [
        "arn:aws:s3:::amzn-s3-demo-bucket/logs/*"
      ]
    },
    {
      "Sid": "GlueCatalogAccess",
      "Effect": "Allow",
      "Action": [
        "glue:GetDatabase",
        "glue:GetDatabases",
        "glue:GetTable",
        "glue:GetTables",
        "glue:GetPartition",
        "glue:GetPartitions",
        "glue:CreateTable",
        "glue:UpdateTable"
      ],
      "Resource": [
        "arn:aws:glue:us-east-1:111122223333:catalog",
        "arn:aws:glue:us-east-1:111122223333:database/default",
        "arn:aws:glue:us-east-1:111122223333:table/default/*"
      ]
    },
    {
      "Sid": "LakeFormationAccess",
      "Effect": "Allow",
      "Action": [
        "lakeformation:GetDataAccess"
      ],
      "Resource": "*"
    }
  ]
}

Étape 2.1 Configuration AWS Lake Formation des autorisations

AWS Glue Les tâches Spark qui lisent des données depuis Amazon S3 nécessitent l'autorisation AWS Lake Formation SELECT.

AWS Glue Spark Jobs pour write/delete lesquels les données d'Amazon S3 nécessitent AWS Lake Formation TOUTES les autorisations.

AWS Glue Les tâches Spark qui interagissent avec le catalogue de AWS Glue données nécessitent les autorisations DESCRIBE, ALTER, DROP, selon le cas.

Étape 3 : Initialisation d'une session Spark pour un accès complet à la table à l'aide de AWS Lake Formation

Pour accéder aux tables enregistrées auprès de Spark AWS Lake Formation, les configurations suivantes doivent être définies lors de l'initialisation de Spark afin que Spark utilise les AWS Lake Formation informations d'identification.

Pour accéder aux tables enregistrées auprès de vous AWS Lake Formation, vous devez configurer explicitement votre session Spark pour utiliser les AWS Lake Formation informations d'identification. Ajoutez les configurations suivantes lors de l'initialisation de votre session Spark :

from pyspark.sql import SparkSession
        
# Initialize Spark session with Lake Formation configurations
spark = SparkSession.builder \
    .appName("Lake Formation Full Table Access") \
    .config("spark.sql.catalog.glue_catalog", "org.apache.spark.sql.catalog.hive.GlueCatalog") \
    .config("spark.sql.catalog.glue_catalog.glue.lakeformation-enabled", "true") \
    .config("spark.sql.defaultCatalog", "glue_catalog") \
    .getOrCreate()

Configurations principales :

Hive

‐‐conf spark.hadoop.fs.s3.credentialsResolverClass=com.amazonaws.AWS Glue.accesscontrol.AWSLakeFormationCredentialResolver
--conf spark.hadoop.fs.s3.useDirectoryHeaderAsFolderObject=true 
--conf spark.hadoop.fs.s3.folderObject.autoAction.disabled=true
--conf spark.sql.catalog.skipLocationValidationOnCreateTable.enabled=true
--conf spark.sql.catalog.createDirectoryAfterTable.enabled=true
--conf spark.sql.catalog.dropDirectoryBeforeTable.enabled=true
        

Iceberg

--conf spark.hadoop.fs.s3.credentialsResolverClass=com.amazonaws.AWS Glue.accesscontrol.AWSLakeFormationCredentialResolver
--conf spark.hadoop.fs.s3.useDirectoryHeaderAsFolderObject=true 
--conf spark.hadoop.fs.s3.folderObject.autoAction.disabled=true
--conf spark.sql.catalog.skipLocationValidationOnCreateTable.enabled=true
--conf spark.sql.catalog.createDirectoryAfterTable.enabled=true
--conf spark.sql.catalog.dropDirectoryBeforeTable.enabled=true
--conf spark.sql.catalog.<catalog>.AWS Glue.lakeformation-enabled=true
        

Schémas d'utilisation

Utiliser FTA avec DataFrames

Pour les utilisateurs habitués à Spark, il DataFrames peut être utilisé avec AWS Lake Formation Full Table Access.

AWS Glue La version 5.0 ajoute le support natif de Spark pour l'accès complet aux tables de Lake Formation, simplifiant ainsi la façon dont vous travaillez avec les tables protégées. Cette fonctionnalité permet aux tâches AWS Glue Spark AWS Glue 5.0 de lire et d'écrire directement des données lorsque l'accès complet à la table est accordé, supprimant ainsi les limitations qui limitaient auparavant certaines opérations d'extraction, de transformation et de chargement (ETL). Vous pouvez désormais tirer parti des fonctionnalités avancées de Spark, notamment des ensembles de données distribués résilients (RDDs), des bibliothèques personnalisées et des fonctions définies par l'utilisateur (UDFs) avec des AWS Lake Formation tables.

Native Spark FTA en version 5.0 AWS Glue

AWS Glue La version 5.0 prend en charge le contrôle d'accès aux tables complètes (FTA) dans Apache Spark en fonction de vos politiques définies dans. AWS Lake Formation Ce niveau de contrôle est idéal pour les cas d'utilisation qui doivent être conformes aux réglementations de sécurité au niveau de la table.

Exemple de table Apache Iceberg

from pyspark.sql import SparkSession

catalog_name = "spark_catalog"
aws_region = "us-east-1"
aws_account_id = "123456789012"
warehouse_path = "s3://amzn-s3-demo-bucket/warehouse/"

spark = SparkSession.builder \
    .config("spark.sql.extensions","org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions") \
    .config(f"spark.sql.catalog.{catalog_name}", "org.apache.iceberg.spark.SparkSessionCatalog") \
    .config(f"spark.sql.catalog.{catalog_name}.warehouse", f"{warehouse_path}") \
    .config(f"spark.sql.catalog.{catalog_name}.client.region",f"{aws_region}") \
    .config(f"spark.sql.catalog.{catalog_name}.glue.account-id",f"{aws_account_id}") \
    .config(f"spark.sql.catalog.{catalog_name}.glue.lakeformation-enabled","true") \
    .config(f"spark.sql.catalog.dropDirectoryBeforeTable.enabled", "true") \
    .config(f"spark.sql.catalog.{catalog_name}.catalog-impl", "org.apache.iceberg.aws.glue.GlueCatalog") \
    .config(f"spark.sql.catalog.{catalog_name}.io-impl", "org.apache.iceberg.aws.s3.S3FileIO") \
    .config("spark.sql.defaultCatalog", catalog_name) \  # Add this line
    .getOrCreate()

database_name = "your_database"
table_name = "your_table"

df = spark.sql(f"select * from {database_name}.{table_name}")
df.show()

Autorisations IAM nécessaires

Votre rôle AWS Glue d'exécution de tâches doit comporter les éléments suivants :

{
    "Action": "lakeformation:GetDataAccess",
    "Resource": "*",
    "Effect": "Allow"
}

Sans oublier les autorisations d'accès S3 appropriées pour l'emplacement de vos données.

Configuration de la formation du lac

Avant d'utiliser Spark FTA natif dans la AWS Glue version 5.0 :

Utiliser FTA avec DynamicFrames

AWS Glue DynamicFrames peut être utilisé avec AWS Lake Formation Full Table Access pour des opérations ETL optimisées. L'accès complet aux tables (FTA) fournit un modèle de sécurité qui accorde des autorisations au niveau de la table, ce qui permet un traitement des données plus rapide que le contrôle d'accès détaillé (FGAC), car il permet d'éviter les surcharges liées aux vérifications d'autorisation au niveau des lignes et des colonnes. Cette approche est utile lorsque vous devez traiter des tables entières et que les autorisations au niveau des tables répondent à vos exigences de sécurité.

Dans la AWS Glue version 4.0, DynamicFrames FTA nécessitait une GlueContext configuration spécifique. Alors que le DynamicFrame code AWS Glue 4.0 existant avec FTA continuera de fonctionner dans la version AWS Glue 5.0, la nouvelle version offre également un support natif de Spark FTA avec une plus grande flexibilité. Pour les nouveaux développements, pensez à utiliser l'approche native de Spark décrite dans la DataFrames section, en particulier si vous avez besoin de fonctionnalités supplémentaires telles que des ensembles de données distribués résilients (RDDs), des bibliothèques personnalisées et des fonctions définies par l'utilisateur (UDFs) avec des AWS Lake Formation tables.

Autorisations nécessaires

Le rôle IAM exécutant votre tâche Glue doit avoir :

Exemple de DynamicFrame mise en œuvre dans la AWS Glue version 5.0

from awsglue.context import GlueContext
from pyspark.context import SparkContext

# Initialize Glue context
sc = SparkContext()
glueContext = GlueContext(sc)

# Configure catalog for Iceberg tables
catalog_name = "glue_catalog"
aws_region = "us-east-1"
aws_account_id = "123456789012"
warehouse_path = "s3://amzn-s3-demo-bucket/warehouse/"

spark = glueContext.spark_session
spark.conf.set(f"spark.sql.catalog.{catalog_name}", "org.apache.iceberg.spark.SparkCatalog")
spark.conf.set(f"spark.sql.catalog.{catalog_name}.warehouse", f"{warehouse_path}")
spark.conf.set(f"spark.sql.catalog.{catalog_name}.catalog-impl", "org.apache.iceberg.aws.glue.GlueCatalog")
spark.conf.set(f"spark.sql.catalog.{catalog_name}.io-impl", "org.apache.iceberg.aws.s3.S3FileIO")
spark.conf.set(f"spark.sql.catalog.{catalog_name}.glue.lakeformation-enabled","true")
spark.conf.set(f"spark.sql.catalog.{catalog_name}.client.region",f"{aws_region}")
spark.conf.set(f"spark.sql.catalog.{catalog_name}.glue.id", f"{aws_account_id}")

# Read Lake Formation-protected table with DynamicFrame
df = glueContext.create_data_frame.from_catalog(
    database="your_database",
    table_name="your_table"
)

Configuration supplémentaire

Configurer le mode d'accès complet aux tables dans les AWS Glue Studio blocs-notes

Pour accéder aux tables AWS Lake Formation enregistrées à partir de sessions Spark interactives dans des AWS Glue Studio blocs-notes, vous devez utiliser le mode d'autorisation de compatibilité. Utilisez la commande %%configure magique pour configurer votre configuration Spark avant de démarrer votre session interactive. Cette configuration doit être la première commande de votre bloc-notes, car elle ne peut pas être appliquée une fois la session démarrée. Choisissez la configuration en fonction de votre type de table :

Pour les tables Hive

%%configure
--conf spark.hadoop.fs.s3.credentialsResolverClass=com.amazonaws.glue.accesscontrol.AWSLakeFormationCredentialResolver
--conf spark.hadoop.fs.s3.useDirectoryHeaderAsFolderObject=true
--conf spark.hadoop.fs.s3.folderObject.autoAction.disabled=true
--conf spark.sql.catalog.skipLocationValidationOnCreateTable.enabled=true
--conf spark.sql.catalog.createDirectoryAfterTable.enabled=true
--conf spark.sql.catalog.dropDirectoryBeforeTable.enabled=true

Pour les tables Iceberg

%%configure
--conf spark.hadoop.fs.s3.credentialsResolverClass=com.amazonaws.glue.accesscontrol.AWSLakeFormationCredentialResolver
--conf spark.hadoop.fs.s3.useDirectoryHeaderAsFolderObject=true
--conf spark.hadoop.fs.s3.folderObject.autoAction.disabled=true
--conf spark.sql.catalog.skipLocationValidationOnCreateTable.enabled=true
--conf spark.sql.catalog.createDirectoryAfterTable.enabled=true
--conf spark.sql.catalog.dropDirectoryBeforeTable.enabled=true
--conf spark.sql.catalog.glue_catalog.glue.lakeformation-enabled=true
--conf spark.sql.catalog.glue_catalog.warehouse=s3://example-s3-bucket_DATA_LOCATION
--conf spark.sql.catalog.glue_catalog.catalog-impl=org.apache.iceberg.aws.glue.GlueCatalog
--conf spark.sql.catalog.glue_catalog.io-impl=org.apache.iceberg.aws.s3.S3FileIO
--conf spark.sql.catalog.glue_catalog.glue.account-id=ACCOUNT_ID
--conf spark.sql.catalog.glue_catalog.glue.region=REGION

Remplacez les espaces réservés :

Opérations prises en charge

Ces opérations utiliseront des AWS Lake Formation informations d'identification pour accéder aux données de la table.

Migration de la AWS Glue version 4.0 à la version AWS Glue 5.0 FTA

Lors de la migration de la AWS Glue version 4.0 GlueContext FTA vers la AWS Glue version 5.0 native de Spark FTA :

Considérations et restrictions