Utilizzo di AWS Glue con AWS Lake Formation per il controllo granulare degli accessi

Panoramica

Con AWS Glue versione 5.0 e successive, è possibile sfruttare AWS Lake Formation per applicare controlli di accesso granulari alle tabelle del catalogo dati supportate da S3. Questa capacità consente di configurare i controlli di accesso a livello di tabella, riga, colonna e cella per read query all'interno dei processi di AWS Glue per Apache Spark. Consultare le seguenti sezioni per ottenere maggiori informazioni su Lake Formation e su come usarlo con AWS Glue.

Il controllo degli accessi a livello di tabella basato su GlueContext con autorizzazioni AWS Lake Formation supportate in Glue 4.0 o versioni precedenti non è supportato in Glue 5.0. Usare il nuovo controllo granulare degli accessi (FGAC) nativo di Spark in Glue 5.0. Si notino i seguenti dettagli:

L'utilizzo di AWS Glue con AWS Lake Formation comporta costi aggiuntivi.

Funzionamento di AWS Glue con AWS Lake Formation

L'utilizzo di AWS Glue con Lake Formation consente di applicare un livello di autorizzazioni su ogni processo Spark per applicare il controllo delle autorizzazioni di Lake Formation quando AWS Glue esegue i processi. AWS Glue utilizza i profili di risorse Spark per creare due profili per eseguire i processi in modo efficace. Il profilo utente esegue il codice fornito dall'utente, mentre il profilo di sistema applica le policy di Lake Formation. Per ulteriori informazioni, consultare Cos'è AWS Lake Formation e Considerazioni e limitazioni.

Di seguito è riportata una panoramica generale sul modo in cui AWS Glue ottiene l'accesso ai dati protetti dalle policy di sicurezza Lake Formation.

Requisito minimo dei worker

Un processo abilitato da Lake Formation in AWS Glue richiede un minimo di 4 worker: un driver utente, un driver di sistema, un esecutore di sistema e un esecutore utente in standby. Ciò rappresenta un aumento rispetto al minimo di 2 worker richiesti per i processi standard di AWS Glue.

Un processo abilitato per Lake Formation in AWS Glue utilizza due driver Spark, uno per il profilo di sistema e l'altro per il profilo utente. Analogamente, anche gli esecutori sono divisi in due profili:

Poiché i processi Spark sono di natura pigra, AWS Glue riserva il 10% del totale dei worker (minimo 1), dopo aver tolto i due driver, per gli esecutori utente.

Tutti i processi abilitati da Lake Formation hanno il dimensionamento automatico abilitato, il che significa che gli esecutori utente verranno avviati solo quando necessario.

Per un esempio di configurazione, consultare Considerazioni e limitazioni.

Autorizzazioni IAM per il ruolo di runtime del processo

Le autorizzazioni di Lake Formation controllano l'accesso alle risorse di AWS Glue Data Catalog, alle posizioni Amazon S3 e ai dati sottostanti in tali sedi. Le autorizzazioni IAM controllano l'accesso alle API e alle risorse di Lake Formation e AWS Glue. Anche se disponi dell'autorizzazione di Lake Formation per accedere a una tabella nel Data Catalog (SELECT), l'operazione fallisce se non disponi dell'autorizzazione IAM per il funzionamento dell'API glue:Get*.

Di seguito è riportato un esempio di policy su come fornire le autorizzazioni IAM per accedere a uno script in S3, caricare i log su S3, le autorizzazioni dell'API AWS Glue e l'autorizzazione per accedere a Lake Formation.

JSON

{
  "Version":"2012-10-17",		 	 	 
  "Statement": [
    {
      "Sid": "ScriptAccess",
      "Effect": "Allow",
      "Action": [
        "s3:GetObject",
        "s3:ListBucket"
      ],
      "Resource": [
        "arn:aws:s3:::*.amzn-s3-demo-bucket/scripts",
        "arn:aws:s3:::*.amzn-s3-demo-bucket/*"
      ]
    },
    {
      "Sid": "LoggingAccess",
      "Effect": "Allow",
      "Action": [
        "s3:PutObject"
      ],
      "Resource": [
        "arn:aws:s3:::amzn-s3-demo-bucket/logs/*"
      ]
    },
    {
      "Sid": "GlueCatalogAccess",
      "Effect": "Allow",
      "Action": [
        "glue:Get*",
        "glue:Create*",
        "glue:Update*"
      ],
      "Resource": [
        "*"
      ]
    },
    {
      "Sid": "LakeFormationAccess",
      "Effect": "Allow",
      "Action": [
        "lakeformation:GetDataAccess"
      ],
      "Resource": [
        "*"
      ]
    }
  ]
}

Configurazione delle autorizzazioni di Lake Formation per il ruolo di runtime del processo

Innanzitutto, registrare la posizione della tabella Hive con Lake Formation. Poi, creare le autorizzazioni per il ruolo di runtime del processo nella tabella desiderata. Per ulteriori dettagli su Lake Formation, consultare Che cos'è AWS Lake Formation? nella Guida per gli sviluppatori di AWS Lake Formation.

Dopo aver impostato le autorizzazioni di Lake Formation, è possibile inviare processi Spark su AWS Glue.

Invio di un'esecuzione di processo

Dopo aver completato l'impostazione delle concessioni di Lake Formation, è possibile inviare processi Spark su AWS Glue. Per eseguire i processi Iceberg, è necessario fornire le seguenti configurazioni Spark. Per eseguire la configurazione tramite i parametri del processo Glue, inserire il seguente parametro:

Utilizzo di una sessione interattiva

Dopo aver completato l'impostazione delle concessioni di AWS Lake Formation, è possibile utilizzare le sessioni interattive su AWS Glue. È necessario fornire le seguenti configurazioni di Spark tramite il comando magic %%configure prima di eseguire il codice.

%%configure
{
    "--enable-lakeformation-fine-grained-access": "true",
    "--conf": "spark.sql.catalog.spark_catalog=org.apache.iceberg.spark.SparkSessionCatalog --conf spark.sql.catalog.spark_catalog.warehouse=<S3_DATA_LOCATION> --conf spark.sql.catalog.spark_catalog.catalog-impl=org.apache.iceberg.aws.glue.GlueCatalog --conf spark.sql.catalog.spark_catalog.io-impl=org.apache.iceberg.aws.s3.S3FileIO --conf spark.sql.extensions=org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions --conf spark.sql.catalog.spark_catalog.client.region=<REGION> --conf spark.sql.catalog.spark_catalog.glue.account-id=<ACCOUNT_ID> --conf spark.sql.catalog.spark_catalog.glue.endpoint=https://glue.<REGION>.amazonaws.com"
}

FGAC per il notebook AWS Glue 5.0 o sessioni interattive

Per abilitare il controllo granulare degli accessi (FGAC) in AWS Glue, occorre specificare le configurazioni Spark richieste per Lake Formation come parte del comando %%configure magic prima di creare la prima cella.

Specificarlo in un secondo momento utilizzando le chiamate SparkSession.builder().conf("").get() o SparkSession.builder().conf("").create() non sarà sufficiente. Questa è una modifica rispetto al comportamento di AWS Glue 4.0.

Supporto per il formato a tabella aperta

La versione 5.0 di AWS Glue o successive include il supporto per il controllo granulare degli accessi basato su Lake Formation. AWS Glue supporta i tipi di tabelle Hive e Iceberg. Nella tabella seguente sono descritte tutte le operazioni supportate.