Utilizzo di AWS Glue con AWS Lake Formation per l'accesso completo alla tabella

Introduzione all'accesso completo alla tabella

AWS Glue 5.0 supporta l'accesso completo alla tabella (FTA) in Apache Spark in base alle policy definite in AWS Lake Formation. Questa funzionalità consente le operazioni di lettura e scrittura dei processi AWS Glue Spark su tabelle AWS Lake Formation registrate quando il ruolo del processo ha accesso completo alla tabella. FTA è ideale per i casi d'uso che devono rispettare le normative di sicurezza a livello di tabella e supporta le funzionalità di Spark, tra cui Resilient Distributed Dataset (RDD), librerie personalizzate e UDF (funzioni definite dall'utente) con tabelle. AWS Lake Formation

Quando un processo AWS Glue Spark è configurato per l'accesso completo alla tabella (FTA), le credenziali AWS Lake Formation vengono utilizzate per leggere/scrivere i dati di Amazon S3 per le tabelle AWS Lake Formation registrate, mentre le credenziali del ruolo di runtime del processo verranno utilizzate per leggere/scrivere tabelle non registrate con AWS Lake Formation. Questa funzionalità abilita le operazioni di linguaggio di manipolazione dei dati (DML) tra cui le istruzioni CREATE, ALTER, DELETE, UPDATE e MERGE INTO sulle tabelle Apache Hive e Iceberg.

Come funziona l'accesso completo alla tabella (FTA) su AWS Glue

AWS Lake Formation offre due approcci per il controllo dell'accesso ai dati: il controllo granulare degli accessi (FGAC) e l'accesso completo alla tabella (FTA). FGAC offre una sicurezza avanzata attraverso il filtraggio a livello di colonna, riga e cella, ideale per scenari che richiedono autorizzazioni granulari. FTA è ideale per scenari di controllo degli accessi semplici in cui sono necessarie autorizzazioni a livello di tabella. Semplifica l'implementazione eliminando la necessità di abilitare una modalità di accesso dettagliata, migliora le prestazioni e riduce i costi evitando il driver di sistema e gli esecutori di sistema e supporta operazioni di lettura e scrittura (inclusi i comandi CREATE, ALTER, DELETE, UPDATE e MERGE INTO).

In AWS Glue 4.0, l'accesso basato sui dati AWS Lake Formation funzionava tramite la classe GlueContext, la classe di utilità fornita da AWS Glue. In AWS Glue 5.0, l'accesso basato sui dati AWS Lake Formation è disponibile tramite Spark SQL nativo, Spark DataFrames e continua a essere supportato tramite la classe GlueContext.

Implementazione dell'accesso completo alla tabella

Fase 1: Abilitare dell'accesso completo alla tabella in AWS Lake Formation

Per utilizzare la modalità di accesso completo alla tabella (FTA), è necessario consentire ai motori di query di terze parti di accedere ai dati senza la convalida dei tag di sessione IAM in AWS Lake Formation. Per abilitarli, seguire i passaggi descritti in Integrazione delle applicazioni per l'accesso completo alla tabella.

Fase 2: Configurazione delle autorizzazioni IAM per il ruolo di runtime dei processi

Per l'accesso in lettura o scrittura ai dati sottostanti, oltre alle autorizzazioni AWS Lake Formation, un ruolo di runtime dei processi richiede l'autorizzazione IAM lakeformation:GetDataAccess. Con questa autorizzazione, AWS Lake Formation concede la richiesta di credenziali temporanee per accedere ai dati.

Di seguito è riportato una policy esemplificativa su come fornire le autorizzazioni IAM per accedere a uno script in Amazon S3, caricare i log su Amazon S3, le autorizzazioni dell'API AWS Glue e l'autorizzazione per accedere a AWS Lake Formation.

JSON

{
  "Version":"2012-10-17",		 	 	 
  "Statement": [
    {
      "Sid": "ScriptAccess",
      "Effect": "Allow",
      "Action": [
        "s3:GetObject"
      ],
      "Resource": [
        "arn:aws:s3:::amzn-s3-demo-bucket/scripts/*"
      ]
    },
    {
      "Sid": "LoggingAccess",
      "Effect": "Allow",
      "Action": [
        "s3:PutObject"
      ],
      "Resource": [
        "arn:aws:s3:::amzn-s3-demo-bucket/logs/*"
      ]
    },
    {
      "Sid": "GlueCatalogAccess",
      "Effect": "Allow",
      "Action": [
        "glue:GetDatabase",
        "glue:GetDatabases",
        "glue:GetTable",
        "glue:GetTables",
        "glue:GetPartition",
        "glue:GetPartitions",
        "glue:CreateTable",
        "glue:UpdateTable"
      ],
      "Resource": [
        "arn:aws:glue:us-east-1:111122223333:catalog",
        "arn:aws:glue:us-east-1:111122223333:database/default",
        "arn:aws:glue:us-east-1:111122223333:table/default/*"
      ]
    },
    {
      "Sid": "LakeFormationAccess",
      "Effect": "Allow",
      "Action": [
        "lakeformation:GetDataAccess"
      ],
      "Resource": "*"
    }
  ]
}

Fase 2.1: Configurazione delle autorizzazioni AWS Lake Formation

I processi AWS Glue Spark che leggono dati da Amazon S3 richiedono l'autorizzazione AWS Lake Formation SELECT.

I processi AWS Glue Spark che scrivono/eliminano dati in Amazon S3 richiedono l'autorizzazione AWS Lake Formation ALL.

I processi AWS Glue Spark che interagiscono con il catalogo dati AWS Glue richiedono le autorizzazioni DESCRIBE, ALTER, DROP, a seconda dei casi.

Fase 3: Inizializzazione di una sessione Spark per l'accesso completo alla tabella utilizzando AWS Lake Formation

Per accedere alle tabelle registrate con AWS Lake Formation, è necessario impostare le seguenti configurazioni durante l'inizializzazione di Spark per configurare Spark per l'utilizzo delle credenziali AWS Lake Formation.

Per accedere alle tabelle registrate con AWS Lake Formation, è necessario configurare in modo esplicito la sessione Spark per utilizzare le credenziali AWS Lake Formation. Aggiungere le seguenti configurazioni durante l'inizializzazione della sessione Spark:

from pyspark.sql import SparkSession
        
# Initialize Spark session with Lake Formation configurations
spark = SparkSession.builder \
    .appName("Lake Formation Full Table Access") \
    .config("spark.sql.catalog.glue_catalog", "org.apache.spark.sql.catalog.hive.GlueCatalog") \
    .config("spark.sql.catalog.glue_catalog.glue.lakeformation-enabled", "true") \
    .config("spark.sql.defaultCatalog", "glue_catalog") \
    .getOrCreate()

Configurazioni principali:

Hive

‐‐conf spark.hadoop.fs.s3.credentialsResolverClass=com.amazonaws.AWS Glue.accesscontrol.AWSLakeFormationCredentialResolver
--conf spark.hadoop.fs.s3.useDirectoryHeaderAsFolderObject=true 
--conf spark.hadoop.fs.s3.folderObject.autoAction.disabled=true
--conf spark.sql.catalog.skipLocationValidationOnCreateTable.enabled=true
--conf spark.sql.catalog.createDirectoryAfterTable.enabled=true
--conf spark.sql.catalog.dropDirectoryBeforeTable.enabled=true
        

Iceberg

--conf spark.hadoop.fs.s3.credentialsResolverClass=com.amazonaws.AWS Glue.accesscontrol.AWSLakeFormationCredentialResolver
--conf spark.hadoop.fs.s3.useDirectoryHeaderAsFolderObject=true 
--conf spark.hadoop.fs.s3.folderObject.autoAction.disabled=true
--conf spark.sql.catalog.skipLocationValidationOnCreateTable.enabled=true
--conf spark.sql.catalog.createDirectoryAfterTable.enabled=true
--conf spark.sql.catalog.dropDirectoryBeforeTable.enabled=true
--conf spark.sql.catalog.<catalog>.AWS Glue.lakeformation-enabled=true
        

Modelli di utilizzo

Utilizzo di FTA con DataFrames

Per gli utenti che hanno dimestichezza con Spark, DataFrames può essere utilizzato l'accesso completo alla tabella AWS Lake Formation.

AWS Glue 5.0 aggiunge il supporto Spark nativo per l'accesso completo alla tabella su Lake Formation, semplificando la modalità di lavoro con le tabelle protette. Questa funzionalità consente ai processi Spark AWS Glue di AWS Glue 5.0 di leggere e scrivere direttamente i dati quando viene concesso l'accesso completo alla tabella, eliminando le restrizioni che in precedenza limitavano determinate operazioni di estrazione, trasformazione e caricamento (ETL). Ora è possibile sfruttare le funzionalità avanzate di Spark, tra cui Resilient Distributed Dataset (RDD), librerie personalizzate e UDF (funzioni definite dall'utente) con tabelle AWS Lake Formation.

FTA nativo su Spark in AWS Glue 5.0

AWS Glue 5.0 supporta l'accesso completo alla tabella (FTA) in Apache Spark in base alle policy definite in AWS Lake Formation. Questo livello di controllo è ideale per i casi d'uso che devono rispettare le norme di sicurezza a livello di tabella.

Esempio di tabella di Apache Iceberg

from pyspark.sql import SparkSession

catalog_name = "spark_catalog"
aws_region = "us-east-1"
aws_account_id = "123456789012"
warehouse_path = "s3://amzn-s3-demo-bucket/warehouse/"

spark = SparkSession.builder \
    .config("spark.sql.extensions","org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions") \
    .config(f"spark.sql.catalog.{catalog_name}", "org.apache.iceberg.spark.SparkSessionCatalog") \
    .config(f"spark.sql.catalog.{catalog_name}.warehouse", f"{warehouse_path}") \
    .config(f"spark.sql.catalog.{catalog_name}.client.region",f"{aws_region}") \
    .config(f"spark.sql.catalog.{catalog_name}.glue.account-id",f"{aws_account_id}") \
    .config(f"spark.sql.catalog.{catalog_name}.glue.lakeformation-enabled","true") \
    .config(f"spark.sql.catalog.dropDirectoryBeforeTable.enabled", "true") \
    .config(f"spark.sql.catalog.{catalog_name}.catalog-impl", "org.apache.iceberg.aws.glue.GlueCatalog") \
    .config(f"spark.sql.catalog.{catalog_name}.io-impl", "org.apache.iceberg.aws.s3.S3FileIO") \
    .config("spark.sql.defaultCatalog", catalog_name) \  # Add this line
    .getOrCreate()

database_name = "your_database"
table_name = "your_table"

df = spark.sql(f"select * from {database_name}.{table_name}")
df.show()

Autorizzazioni IAM richieste

Il ruolo di esecuzione del processo AWS Glue deve avere:

{
    "Action": "lakeformation:GetDataAccess",
    "Resource": "*",
    "Effect": "Allow"
}

Autorizzazioni di accesso S3 appropriate per le posizioni dei dati.

Configurazione di Lake Formation

Prima di utilizzare Spark FTA nativo in AWS Glue 5.0:

Utilizzo di FTA con DynamicFrames

DynamicFrames nativo di AWS Glue può essere utilizzato con l'accesso completo alla tabella di AWS Lake Formation per operazioni ETL ottimizzate. L'accesso completo alla tabella (FTA) fornisce un modello di sicurezza che concede autorizzazioni a livello di tabella, consentendo un'elaborazione dei dati più rapida rispetto al controllo granulare degli accessi (FGAC) poiché aggira il sovraccarico dei controlli delle autorizzazioni a livello di riga e colonna. Questo approccio è utile quando è necessario elaborare intere tabelle e le autorizzazioni a livello di tabella soddisfano i requisiti di sicurezza.

In AWS Glue 4.0, DynamicFrames con FTA richiedeva una configurazione GlueContext specifica. Sebbene il codice DynamicFrame esistente di AWS Glue 4.0 con FTA continuerà a funzionare in AWS Glue versione 5.0, anche la versione più recente offre il supporto nativo Spark FTA con maggiore flessibilità. Per un nuovo sviluppo, prendere in considerazione l'utilizzo dell'approccio Spark nativo descritto nella sezione DataFrames, soprattutto se sono necessarie funzionalità aggiuntive come Resilient Distributed Datasets (RDD), librerie personalizzate e funzioni definite dall'utente (UDF) con tabelle AWS Lake Formation.

Autorizzazioni richieste

Il ruolo IAM che esegue il processo Glue deve avere:

Esempio di implementazione di DynamicFrame in AWS Glue 5.0

from awsglue.context import GlueContext
from pyspark.context import SparkContext

# Initialize Glue context
sc = SparkContext()
glueContext = GlueContext(sc)

# Configure catalog for Iceberg tables
catalog_name = "glue_catalog"
aws_region = "us-east-1"
aws_account_id = "123456789012"
warehouse_path = "s3://amzn-s3-demo-bucket/warehouse/"

spark = glueContext.spark_session
spark.conf.set(f"spark.sql.catalog.{catalog_name}", "org.apache.iceberg.spark.SparkCatalog")
spark.conf.set(f"spark.sql.catalog.{catalog_name}.warehouse", f"{warehouse_path}")
spark.conf.set(f"spark.sql.catalog.{catalog_name}.catalog-impl", "org.apache.iceberg.aws.glue.GlueCatalog")
spark.conf.set(f"spark.sql.catalog.{catalog_name}.io-impl", "org.apache.iceberg.aws.s3.S3FileIO")
spark.conf.set(f"spark.sql.catalog.{catalog_name}.glue.lakeformation-enabled","true")
spark.conf.set(f"spark.sql.catalog.{catalog_name}.client.region",f"{aws_region}")
spark.conf.set(f"spark.sql.catalog.{catalog_name}.glue.id", f"{aws_account_id}")

# Read Lake Formation-protected table with DynamicFrame
df = glueContext.create_data_frame.from_catalog(
    database="your_database",
    table_name="your_table"
)

Configurazione aggiuntiva

Configurare la modalità di accesso completo alla tabella nei notebook AWS Glue Studio

Per accedere alle tabelle registrate AWS Lake Formation dalle sessioni interattive di Spark nei notebook AWS Glue Studio, è necessario utilizzare la modalità di autorizzazione alla compatibilità. Usare il comando %%configure magic per impostare la configurazione di Spark prima di iniziare la sessione interattiva. Questa configurazione deve essere il primo comando del notebook, in quanto non può essere applicata dopo l'inizio della sessione. Scegliere la configurazione in base al tipo di tabella:

Per le tabelle Hive

%%configure
--conf spark.hadoop.fs.s3.credentialsResolverClass=com.amazonaws.glue.accesscontrol.AWSLakeFormationCredentialResolver
--conf spark.hadoop.fs.s3.useDirectoryHeaderAsFolderObject=true
--conf spark.hadoop.fs.s3.folderObject.autoAction.disabled=true
--conf spark.sql.catalog.skipLocationValidationOnCreateTable.enabled=true
--conf spark.sql.catalog.createDirectoryAfterTable.enabled=true
--conf spark.sql.catalog.dropDirectoryBeforeTable.enabled=true

Per le tabelle Iceberg

%%configure
--conf spark.hadoop.fs.s3.credentialsResolverClass=com.amazonaws.glue.accesscontrol.AWSLakeFormationCredentialResolver
--conf spark.hadoop.fs.s3.useDirectoryHeaderAsFolderObject=true
--conf spark.hadoop.fs.s3.folderObject.autoAction.disabled=true
--conf spark.sql.catalog.skipLocationValidationOnCreateTable.enabled=true
--conf spark.sql.catalog.createDirectoryAfterTable.enabled=true
--conf spark.sql.catalog.dropDirectoryBeforeTable.enabled=true
--conf spark.sql.catalog.glue_catalog.glue.lakeformation-enabled=true
--conf spark.sql.catalog.glue_catalog.warehouse=s3://example-s3-bucket_DATA_LOCATION
--conf spark.sql.catalog.glue_catalog.catalog-impl=org.apache.iceberg.aws.glue.GlueCatalog
--conf spark.sql.catalog.glue_catalog.io-impl=org.apache.iceberg.aws.s3.S3FileIO
--conf spark.sql.catalog.glue_catalog.glue.account-id=ACCOUNT_ID
--conf spark.sql.catalog.glue_catalog.glue.region=REGION

Sostituire i segnaposto:

Operazioni supportate

Queste operazioni utilizzeranno le credenziali AWS Lake Formation per accedere ai dati della tabella.

Migrazione da FTA AWS Glue 4.0 a AWS Glue 5.0

Durante la migrazione da AWS Glue 4.0 GlueContext FTA a Spark FTA AWS Glue 5.0 nativo:

Considerazioni e limitazioni