Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Verwenden des Iceberg-Frameworks in AWS Glue

AWS Glue 3.0 und höher unterstützt das Apache-Iceberg-Framework für Data Lakes. Iceberg bietet ein leistungsstarkes Tabellenformat, das genauso wie eine SQL-Tabelle funktioniert. Dieses Thema behandelt verfügbare Features zur Verwendung Ihrer Daten in AWS Glue, wenn Sie Ihre Daten in einer Iceberg-Tabelle transportieren oder speichern. Weitere Informationen zu Iceberg finden Sie in der offiziellen Apache-Iceberg-Dokumentation.

Sie können AWS Glue verwenden, um Lese- und Schreibvorgänge in Iceberg-Tabellen in Amazon S3 durchzuführen oder mit Iceberg-Tabellen unter Verwendung des AWS Glue Data Catalog zu arbeiten. Zusätzliche Vorgänge wie Einfügen/Aktualisieren und alle Spark-Abfragen und Spark-Schreibvorgänge werden ebenfalls unterstützt. Aktualisieren wird für Iceberg-Tabellen nicht unterstützt.

Die folgende Tabelle listet die Version von Iceberg auf, die in jeder AWS-Glue-Version enthalten ist.

Weitere Informationen zu den von AWS-Glue unterstützten Data-Lake-Frameworks finden Sie unter Verwendung von Data-Lake-Frameworks mit AWS Glue-ETL-Aufträgen.

Aktivierung des Iceberg-Frameworks

Führen Sie die folgenden Aufgaben aus, um Iceberg for AWS Glue zu aktivieren:

Verwendung einer anderen Iceberg-Version

Um eine Version von Iceberg zu verwenden, die AWS Glue nicht unterstützt, geben Sie Ihre eigenen Iceberg-JAR-Dateien mit dem --extra-jars-Auftragsparameter an. Schließen Sie iceberg nicht als Wert für den Auftragsparameter --datalake-formats ein. Wenn Sie AWS Glue 5.0 verwenden, müssen Sie den Auftragsparameter --user-jars-first true festlegen.

Aktivierung der Verschlüsselung für Iceberg-Tabellen

Um die serverseitige Verschlüsselung für Iceberg-Tabellen zu aktivieren, lesen Sie die Anleitung in der Iceberg-Dokumentation.

Spark-Konfiguration für Iceberg regionsübergreifend hinzufügen

Führen Sie die folgenden Schritte aus, um eine zusätzliche Spark-Konfiguration für den regionsübergreifenden Iceberg-Tabellenzugriff mit dem AWS-Glue-Datenkatalog und AWS Lake Formation hinzuzufügen:

Beispiel: Schreiben einer Iceberg-Tabelle in Amazon S3 und deren Registrierung im AWS Glue Data Catalog

Dieses Beispielskript zeigt, wie eine Iceberg-Tabelle in Amazon S3 geschrieben wird. Das Beispiel verwendet Iceberg-AWS-Integrationen, um die Tabelle im AWS Glue Data Catalog zu registrieren.

Python

# Example: Create an Iceberg table from a DataFrame 
# and register the table to Glue Data Catalog

dataFrame.createOrReplaceTempView("tmp_<your_table_name>")

query = f"""
CREATE TABLE glue_catalog.<your_database_name>.<your_table_name>
USING iceberg
TBLPROPERTIES ("format-version"="2")
AS SELECT * FROM tmp_<your_table_name>
"""
spark.sql(query)

Scala

// Example: Example: Create an Iceberg table from a DataFrame
// and register the table to Glue Data Catalog

dataFrame.createOrReplaceTempView("tmp_<your_table_name>")

val query = """CREATE TABLE glue_catalog.<your_database_name>.<your_table_name>
USING iceberg
TBLPROPERTIES ("format-version"="2")
AS SELECT * FROM tmp_<your_table_name>
"""
spark.sql(query)

Alternativ können Sie mithilfe von Spark-Methoden eine Iceberg-Tabelle in Amazon S3 und den Data Catalog schreiben.

Voraussetzungen: Sie müssen einen Katalog für die Nutzung durch die Iceberg-Bibliothek bereitstellen. Bei Verwendung des AWS Glue Data Catalog macht AWS Glue dies ganz einfach. Der AWS Glue Data Catalog ist für die Verwendung durch die Spark-Bibliotheken als glue_catalog vorkonfiguriert. Data-Catalog-Tabellen werden durch einen databaseName und einen tableName identifiziert. Weitere Informationen zum AWS Glue Data Catalog finden Sie unter Datenerkennung und Katalogisierung in AWS Glue.

Wenn Sie den AWS Glue Data Catalog nicht verwenden, müssen Sie über die Spark-APIs einen Katalog bereitstellen. Weitere Informationen finden Sie unter Spark-Konfiguration in der Iceberg-Dokumentation.

In diesem Beispiel wird mithilfe von Spark eine Iceberg-Tabelle in Amazon S3 und den Data Catalog geschrieben.

Python

# Example: Write an Iceberg table to S3 on the Glue Data Catalog

# Create (equivalent to CREATE TABLE AS SELECT)
dataFrame.writeTo("glue_catalog.databaseName.tableName") \
    .tableProperty("format-version", "2") \
    .create()

# Append (equivalent to INSERT INTO)
dataFrame.writeTo("glue_catalog.databaseName.tableName") \
    .tableProperty("format-version", "2") \
    .append()

Scala

// Example: Write an Iceberg table to S3 on the Glue Data Catalog

// Create (equivalent to CREATE TABLE AS SELECT)
dataFrame.writeTo("glue_catalog.databaseName.tableName")
    .tableProperty("format-version", "2")
    .create()

// Append (equivalent to INSERT INTO)
dataFrame.writeTo("glue_catalog.databaseName.tableName")
    .tableProperty("format-version", "2")
    .append()

Beispiel: Lesen einer Iceberg-Tabelle aus Amazon S3 mit dem AWS Glue Data Catalog

In diesem Beispiel wird die Iceberg-Tabelle gelesen, die Sie in Beispiel: Schreiben einer Iceberg-Tabelle in Amazon S3 und deren Registrierung im AWS Glue Data Catalog erstellt haben.

Python

Verwenden Sie für dieses Beispiel die GlueContext.create_data_frame.from_catalog()-Methode.

# Example: Read an Iceberg table from Glue Data Catalog

from awsglue.context import GlueContext
from pyspark.context import SparkContext

sc = SparkContext()
glueContext = GlueContext(sc)

df = glueContext.create_data_frame.from_catalog(
    database="<your_database_name>",
    table_name="<your_table_name>",
    additional_options=additional_options
)

Scala

Verwenden Sie für dieses Beispiel die getCatalogSource-Methode.

// Example: Read an Iceberg table from Glue Data Catalog

import com.amazonaws.services.glue.GlueContext
import org.apacke.spark.SparkContext

object GlueApp {
  def main(sysArgs: Array[String]): Unit = {
    val spark: SparkContext = new SparkContext()
    val glueContext: GlueContext = new GlueContext(spark)
    val df = glueContext.getCatalogSource("<your_database_name>", "<your_table_name>",
      additionalOptions = additionalOptions)
      .getDataFrame()
  }
}

Beispiel: Einfügen eines DataFrame in eine Iceberg-Tabelle in Amazon S3 mit dem AWS Glue Data Catalog

In diesem Beispiel werden Daten in die Iceberg-Tabelle eingefügt, die Sie in Beispiel: Schreiben einer Iceberg-Tabelle in Amazon S3 und deren Registrierung im AWS Glue Data Catalog erstellt haben.

Python

Verwenden Sie für dieses Beispiel die GlueContext.write_data_frame.from_catalog()-Methode.

# Example: Insert into an Iceberg table from Glue Data Catalog

from awsglue.context import GlueContext
from pyspark.context import SparkContext

sc = SparkContext()
glueContext = GlueContext(sc)

glueContext.write_data_frame.from_catalog(
    frame=dataFrame,
    database="<your_database_name>",
    table_name="<your_table_name>",
    additional_options=additional_options
)

Scala

Verwenden Sie für dieses Beispiel die getCatalogSink-Methode.

// Example: Insert into an Iceberg table from Glue Data Catalog

import com.amazonaws.services.glue.GlueContext
import org.apacke.spark.SparkContext

object GlueApp {
  def main(sysArgs: Array[String]): Unit = {
    val spark: SparkContext = new SparkContext()
    val glueContext: GlueContext = new GlueContext(spark)
    glueContext.getCatalogSink("<your_database_name>", "<your_table_name>",
      additionalOptions = additionalOptions)
      .writeDataFrame(dataFrame, glueContext)
  }
}

Beispiel: Lesen einer Iceberg-Tabelle aus Amazon S3 mit Spark

Voraussetzungen: Sie müssen einen Katalog für die Nutzung durch die Iceberg-Bibliothek bereitstellen. Bei Verwendung des AWS Glue Data Catalog macht AWS Glue dies ganz einfach. Der AWS Glue Data Catalog ist für die Verwendung durch die Spark-Bibliotheken als glue_catalog vorkonfiguriert. Data-Catalog-Tabellen werden durch einen databaseName und einen tableName identifiziert. Weitere Informationen zum AWS Glue Data Catalog finden Sie unter Datenerkennung und Katalogisierung in AWS Glue.

Wenn Sie den AWS Glue Data Catalog nicht verwenden, müssen Sie über die Spark-APIs einen Katalog bereitstellen. Weitere Informationen finden Sie unter Spark-Konfiguration in der Iceberg-Dokumentation.

In diesem Beispiel wird mithilfe von Spark eine Iceberg-Tabelle in Amazon S3 aus dem Data Catalog gelesen.

Python

# Example: Read an Iceberg table on S3 as a DataFrame from the Glue Data Catalog

dataFrame = spark.read.format("iceberg").load("glue_catalog.databaseName.tableName")

Scala

// Example: Read an Iceberg table on S3 as a DataFrame from the Glue Data Catalog

val dataFrame = spark.read.format("iceberg").load("glue_catalog.databaseName.tableName")

Beispiel: Lesen und Schreiben einer Iceberg-Tabelle mit Lake-Formation-Berechtigungskontrolle

In diesem Beispiel wird mit Lake-Formation-Berechtigungen in einer Iceberg-Tabelle gelesen und geschrieben.