Verwendung von AWS Glue mit AWS Lake Formation für Full Table Access

Einführung in Full Table Access

AWS Glue 5.0 unterstützt die Steuerung des Full Table Access (FTA) in Apache Spark basierend auf Ihren in AWS Lake Formation definierten Richtlinien. Dieses Feature ermöglicht Lese- und Schreibvorgänge von Ihren Spark-Aufträgen von AWS Glue auf in AWS Lake Formation registrierten Tabellen, wenn die Auftragsrolle über vollständigen Tabellenzugriff verfügt. FTA eignet sich ideal für Anwendungsfälle, die Sicherheitsbestimmungen auf Tabellenebene einhalten müssen, und unterstützt Spark-Funktionen wie Resilient Distributed Datasets (RDDs), benutzerdefinierte Bibliotheken und User Defined Functions (UDFs) mit AWS Lake Formation-Tabellen.

Wenn ein Spark-Auftrag von AWS Glue für Full Table Access (FTA) konfiguriert ist, werden die Anmeldeinformationen für AWS Lake Formation zum Lesen/Schreiben von Amazon-S3-Daten für in AWS Lake Formation registrierte Tabellen verwendet, während die Anmeldeinformationen der Laufzeitrolle des Auftrags zum Lesen/Schreiben von Tabellen verwendet werden, die nicht in AWS Lake Formation registriert sind. Diese Funktion ermöglicht DML-Operationen (Data Manipulation Language) wie CREATE-, ALTER-, DELETE-, UPDATE- und MERGE INTO-Anweisungen in Apache-Hive- und Iceberg-Tabellen.

So funktioniert Full Table Access (FTA) in AWS Glue

AWS Lake Formation bietet zwei Ansätze für die Datenzugriffskontrolle: Fine-Grained Access Control (FGAC) und Full Table Access (FTA). FGAC bietet verbesserte Sicherheit durch Filterung auf Spalten-, Zeilen- und Zellenebene, ideal für Szenarien, die präzise Berechtigungen erfordern. FTA ist ideal für einfache Zugriffskontrollszenarien, in denen Sie Berechtigungen auf Tabellenebene benötigen. Es vereinfacht die Implementierung, da kein differenzierter Zugriffsmodus erforderlich ist, verbessert die Leistung und senkt die Kosten, da Systemtreiber und Systemausführungen vermieden werden, und unterstützt sowohl Lese- als auch Schreibvorgänge (einschließlich der Befehle CREATE, ALTER, DELETE, UPDATE und MERGE INTO).

In AWS Glue 4.0 erfolgte der auf AWS Lake Formation basierende Datenzugriff über die GlueContext-Klasse, eine von AWS Glue bereitgestellte Dienstprogramm-Klasse. In AWS Glue 5.0 ist der auf AWS Lake Formation basierende Datenzugriff über natives Spark SQL und Spark DataFrames möglich und wird weiterhin über die GlueContext-Klasse unterstützt.

Implementierung von Full Table Access

Schritt 1: Aktivieren von Full Table Access in AWS Lake Formation

Um den Modus Full Table Access (FTA) zu verwenden, müssen Sie Abfrage-Engines von Drittanbietern den Zugriff auf Daten ermöglichen, ohne dass die IAM-Sitzungstag-Validierung in AWS Lake Formation aktiviert ist. Folgen Sie zur Aktivierung den Schritten unter Application integration for full table access.

Schritt 2: Einrichten der IAM-Berechtigungen für die Auftrag-Laufzeitrolle

Für den Lese- oder Schreibzugriff auf die zugrunde liegenden Daten benötigt eine Auftrag-Laufzeitrolle zusätzlich zu den Berechtigungen für AWS Lake Formation die lakeformation:GetDataAccess-IAM-Berechtigung. Mit dieser Berechtigung gewährt AWS Lake Formation die Anforderung von temporären Anmeldeinformationen für den Zugriff auf die Daten.

Die folgende Beispielrichtlinie beschreibt, wie Sie IAM-Berechtigungen für den Zugriff auf ein Skript in Amazon S3, das Hochladen von Protokollen in Amazon S3, API-Berechtigungen für AWS Glue und die Berechtigung für den Zugriff auf AWS Lake Formation erteilen.

JSON

{
  "Version":"2012-10-17",		 	 	 
  "Statement": [
    {
      "Sid": "ScriptAccess",
      "Effect": "Allow",
      "Action": [
        "s3:GetObject"
      ],
      "Resource": [
        "arn:aws:s3:::amzn-s3-demo-bucket/scripts/*"
      ]
    },
    {
      "Sid": "LoggingAccess",
      "Effect": "Allow",
      "Action": [
        "s3:PutObject"
      ],
      "Resource": [
        "arn:aws:s3:::amzn-s3-demo-bucket/logs/*"
      ]
    },
    {
      "Sid": "GlueCatalogAccess",
      "Effect": "Allow",
      "Action": [
        "glue:GetDatabase",
        "glue:GetDatabases",
        "glue:GetTable",
        "glue:GetTables",
        "glue:GetPartition",
        "glue:GetPartitions",
        "glue:CreateTable",
        "glue:UpdateTable"
      ],
      "Resource": [
        "arn:aws:glue:us-east-1:111122223333:catalog",
        "arn:aws:glue:us-east-1:111122223333:database/default",
        "arn:aws:glue:us-east-1:111122223333:table/default/*"
      ]
    },
    {
      "Sid": "LakeFormationAccess",
      "Effect": "Allow",
      "Action": [
        "lakeformation:GetDataAccess"
      ],
      "Resource": "*"
    }
  ]
}

Schritt 2.1: Konfigurieren von Berechtigungen für AWS Lake Formation

Spark-Aufträge von AWS Glue, die Daten aus Amazon S3 lesen, benötigen die SELECT-Berechtigung für AWS Lake Formation.

Spark-Aufträge von AWS Glue, die Daten in Amazon S3 schreiben/löschen, erfordern die ALL-Berechtigung für AWS Lake Formation.

Spark-Aufträge von AWS Glue, die mit dem Datenkatalog von AWS Glue interagieren, benötigen je nach Bedarf die Berechtigungen DESCRIBE, ALTER oder DROP.

Schritt 3: Initialisieren einer Spark-Sitzung für Full Table Access mit AWS Lake Formation

Um auf Tabellen zuzugreifen, die mit AWS Lake Formation registriert sind, müssen während der Spark-Initialisierung die folgenden Konfigurationen vorgenommen werden, damit Spark die Anmeldeinformationen für AWS Lake Formation verwenden kann.

Um auf Tabellen zuzugreifen, die mit AWS Lake Formation registriert sind, müssen Sie Ihre Spark-Sitzung explizit so konfigurieren, dass sie Anmeldeinformationen für AWS Lake Formation verwendet. Fügen Sie bei der Initialisierung Ihrer Spark-Sitzung die folgenden Konfigurationen hinzu:

from pyspark.sql import SparkSession
        
# Initialize Spark session with Lake Formation configurations
spark = SparkSession.builder \
    .appName("Lake Formation Full Table Access") \
    .config("spark.sql.catalog.glue_catalog", "org.apache.spark.sql.catalog.hive.GlueCatalog") \
    .config("spark.sql.catalog.glue_catalog.glue.lakeformation-enabled", "true") \
    .config("spark.sql.defaultCatalog", "glue_catalog") \
    .getOrCreate()

Wichtige Konfigurationen:

Hive

‐‐conf spark.hadoop.fs.s3.credentialsResolverClass=com.amazonaws.AWS Glue.accesscontrol.AWSLakeFormationCredentialResolver
--conf spark.hadoop.fs.s3.useDirectoryHeaderAsFolderObject=true 
--conf spark.hadoop.fs.s3.folderObject.autoAction.disabled=true
--conf spark.sql.catalog.skipLocationValidationOnCreateTable.enabled=true
--conf spark.sql.catalog.createDirectoryAfterTable.enabled=true
--conf spark.sql.catalog.dropDirectoryBeforeTable.enabled=true
        

Iceberg

--conf spark.hadoop.fs.s3.credentialsResolverClass=com.amazonaws.AWS Glue.accesscontrol.AWSLakeFormationCredentialResolver
--conf spark.hadoop.fs.s3.useDirectoryHeaderAsFolderObject=true 
--conf spark.hadoop.fs.s3.folderObject.autoAction.disabled=true
--conf spark.sql.catalog.skipLocationValidationOnCreateTable.enabled=true
--conf spark.sql.catalog.createDirectoryAfterTable.enabled=true
--conf spark.sql.catalog.dropDirectoryBeforeTable.enabled=true
--conf spark.sql.catalog.<catalog>.AWS Glue.lakeformation-enabled=true
        

Nutzungsmuster

Verwendung von FTA mit DataFrames

Für Benutzer, die mit Spark vertraut sind, kann DataFrames mit Full Table Access von AWS Lake Formation verwendet werden.

AWS Glue 5.0 bietet native Spark-Unterstützung für Lake Formation Full Table Access und vereinfacht so die Arbeit mit geschützten Tabellen. Dieses Feature ermöglicht es AWS Glue-Spark-Aufträgen von AWS Glue 5.0, Daten direkt zu lesen und zu schreiben, wenn vollständiger Tabellenzugriff gewährt wird, wodurch Einschränkungen aufgehoben werden, die zuvor bestimmte ETL-Operationen (Extract, Transform, Load) einschränkten. Sie können jetzt erweiterte Spark-Funktionen wie Resilient Distributed Datasets (RDDs), benutzerdefinierte Bibliotheken und User Defined Functions (UDFs) mit Tabellen von AWS Lake Formation nutzen.

Natives Spark-FTA in AWS Glue 5.0

AWS Glue 5.0 unterstützt die Steuerung des Full Table Access (FTA) in Apache Spark basierend auf Ihren in AWS Lake Formation definierten Richtlinien. Diese Kontrollebene ist ideal für Anwendungsfälle, bei denen Sicherheitsvorschriften auf Tabellenebene eingehalten werden müssen.

Beispiel für Apache-Iceberg-Tabellen

from pyspark.sql import SparkSession

catalog_name = "spark_catalog"
aws_region = "us-east-1"
aws_account_id = "123456789012"
warehouse_path = "s3://amzn-s3-demo-bucket/warehouse/"

spark = SparkSession.builder \
    .config("spark.sql.extensions","org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions") \
    .config(f"spark.sql.catalog.{catalog_name}", "org.apache.iceberg.spark.SparkSessionCatalog") \
    .config(f"spark.sql.catalog.{catalog_name}.warehouse", f"{warehouse_path}") \
    .config(f"spark.sql.catalog.{catalog_name}.client.region",f"{aws_region}") \
    .config(f"spark.sql.catalog.{catalog_name}.glue.account-id",f"{aws_account_id}") \
    .config(f"spark.sql.catalog.{catalog_name}.glue.lakeformation-enabled","true") \
    .config(f"spark.sql.catalog.dropDirectoryBeforeTable.enabled", "true") \
    .config(f"spark.sql.catalog.{catalog_name}.catalog-impl", "org.apache.iceberg.aws.glue.GlueCatalog") \
    .config(f"spark.sql.catalog.{catalog_name}.io-impl", "org.apache.iceberg.aws.s3.S3FileIO") \
    .config("spark.sql.defaultCatalog", catalog_name) \  # Add this line
    .getOrCreate()

database_name = "your_database"
table_name = "your_table"

df = spark.sql(f"select * from {database_name}.{table_name}")
df.show()

Erforderliche IAM-Berechtigungen

Ihre Auftragausführungsrolle von AWS Glue muss Folgendes haben:

{
    "Action": "lakeformation:GetDataAccess",
    "Resource": "*",
    "Effect": "Allow"
}

Außerdem die entsprechenden S3-Zugriffsberechtigungen für Ihre Datenspeicherorte.

Lake-Formation-Konfiguration

Vor der Verwendung von nativem Spark-FTA in AWS Glue 5.0:

Verwendung von FTA mit DynamicFrames

Die nativen DynamicFrames von AWS Glue können mit AWS Lake Formation Full Table Access für optimierte ETL-Operationen verwendet werden. Full Table Access (FTA) bietet ein Sicherheitsmodell, das Berechtigungen auf Tabellenebene gewährt. Das ermöglicht im Vergleich zu Fine-Grained Access Control (FGAC) eine schnellere Datenverarbeitung, da der Aufwand für Berechtigungsprüfungen auf Zeilen- und Spaltenebene umgangen wird. Dieser Ansatz ist nützlich, wenn Sie ganze Tabellen verarbeiten müssen und Berechtigungen auf Tabellenebene Ihren Sicherheitsanforderungen entsprechen.

In AWS Glue 4.0 erforderten DynamicFrames mit FTA eine spezielle GlueContext-Konfiguration. Bestehender DynamicFrame-Code von AWS Glue 4.0 mit FTA wird zwar auch in AWS Glue 5.0 funktionieren, aber die neuere Version bietet auch native Spark-FTA-Unterstützung mit größerer Flexibilität. Für neue Entwicklungen sollten Sie erwägen, den im Abschnitt „DataFrames“ beschriebenen systemeigenen Spark-Ansatz zu verwenden, insbesondere wenn Sie zusätzliche Funktionen wie Resilient Distributed Datasets (RDDs), benutzerdefinierte Bibliotheken und User Defined Functions (UDFs) mit Tabellen von AWS Lake Formation benötigen.

Erforderliche Berechtigungen

Die IAM-Rolle, die Ihren Glue-Auftrag ausführt, muss Folgendes haben:

Beispiel für eine DynamicFrame-Implementierung in AWS Glue 5.0

from awsglue.context import GlueContext
from pyspark.context import SparkContext

# Initialize Glue context
sc = SparkContext()
glueContext = GlueContext(sc)

# Configure catalog for Iceberg tables
catalog_name = "glue_catalog"
aws_region = "us-east-1"
aws_account_id = "123456789012"
warehouse_path = "s3://amzn-s3-demo-bucket/warehouse/"

spark = glueContext.spark_session
spark.conf.set(f"spark.sql.catalog.{catalog_name}", "org.apache.iceberg.spark.SparkCatalog")
spark.conf.set(f"spark.sql.catalog.{catalog_name}.warehouse", f"{warehouse_path}")
spark.conf.set(f"spark.sql.catalog.{catalog_name}.catalog-impl", "org.apache.iceberg.aws.glue.GlueCatalog")
spark.conf.set(f"spark.sql.catalog.{catalog_name}.io-impl", "org.apache.iceberg.aws.s3.S3FileIO")
spark.conf.set(f"spark.sql.catalog.{catalog_name}.glue.lakeformation-enabled","true")
spark.conf.set(f"spark.sql.catalog.{catalog_name}.client.region",f"{aws_region}")
spark.conf.set(f"spark.sql.catalog.{catalog_name}.glue.id", f"{aws_account_id}")

# Read Lake Formation-protected table with DynamicFrame
df = glueContext.create_data_frame.from_catalog(
    database="your_database",
    table_name="your_table"
)

Zusätzliche Konfiguration

Konfigurieren des vollständigen Tabellenzugriffsmodus in AWS Glue Studio-Notebooks

Um aus interaktiven Spark-Sitzungen in AWS Glue Studio-Notebooks auf in AWS Lake Formation registrierte Tabellen zuzugreifen, müssen Sie den Kompatibilitätsberechtigungsmodus verwenden. Verwenden Sie den %%configure-Magic-Befehl, um Ihre Spark-Konfiguration einzurichten, bevor Sie Ihre interaktive Sitzung starten. Diese Konfiguration muss der erste Befehl in Ihrem Notebook sein, da sie nach dem Start der Sitzung nicht mehr angewendet werden kann. Wählen Sie die Konfiguration basierend auf Ihrem Tabellentyp aus:

Für Hive-Tabellen

%%configure
--conf spark.hadoop.fs.s3.credentialsResolverClass=com.amazonaws.glue.accesscontrol.AWSLakeFormationCredentialResolver
--conf spark.hadoop.fs.s3.useDirectoryHeaderAsFolderObject=true
--conf spark.hadoop.fs.s3.folderObject.autoAction.disabled=true
--conf spark.sql.catalog.skipLocationValidationOnCreateTable.enabled=true
--conf spark.sql.catalog.createDirectoryAfterTable.enabled=true
--conf spark.sql.catalog.dropDirectoryBeforeTable.enabled=true

Für Iceberg-Tabellen

%%configure
--conf spark.hadoop.fs.s3.credentialsResolverClass=com.amazonaws.glue.accesscontrol.AWSLakeFormationCredentialResolver
--conf spark.hadoop.fs.s3.useDirectoryHeaderAsFolderObject=true
--conf spark.hadoop.fs.s3.folderObject.autoAction.disabled=true
--conf spark.sql.catalog.skipLocationValidationOnCreateTable.enabled=true
--conf spark.sql.catalog.createDirectoryAfterTable.enabled=true
--conf spark.sql.catalog.dropDirectoryBeforeTable.enabled=true
--conf spark.sql.catalog.glue_catalog.glue.lakeformation-enabled=true
--conf spark.sql.catalog.glue_catalog.warehouse=s3://example-s3-bucket_DATA_LOCATION
--conf spark.sql.catalog.glue_catalog.catalog-impl=org.apache.iceberg.aws.glue.GlueCatalog
--conf spark.sql.catalog.glue_catalog.io-impl=org.apache.iceberg.aws.s3.S3FileIO
--conf spark.sql.catalog.glue_catalog.glue.account-id=ACCOUNT_ID
--conf spark.sql.catalog.glue_catalog.glue.region=REGION

Ersetzen Sie die Platzhalter:

Unterstützte Vorgänge

Bei diesen Vorgängen werden Anmeldeinformationen für AWS Lake Formation für den Zugriff auf die Tabellendaten verwendet.

Migration von AWS Glue 4.0 auf AWS Glue 5.0 FTA

Bei der Migration von AWS Glue 4.0 GlueContext FTA auf native Spark-FTA von AWS Glue 5.0:

Überlegungen und Einschränkungen