Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Menggunakan kerangka Iceberg di AWS Lem

AWS Glue 3.0 dan yang lebih baru mendukung kerangka Apache Iceberg untuk data lake. Iceberg menyediakan format tabel kinerja tinggi yang berfungsi seperti tabel SQL. Topik ini mencakup fitur yang tersedia untuk menggunakan data Anda di AWS Glue saat Anda mengangkut atau menyimpan data Anda dalam tabel Iceberg. Untuk mempelajari lebih lanjut tentang Iceberg, lihat dokumentasi Apache Iceberg resmi.

Anda dapat menggunakan AWS Glue untuk melakukan operasi baca dan tulis pada tabel Iceberg di Amazon S3, atau bekerja dengan tabel Iceberg menggunakan Katalog Data AWS Glue. Operasi tambahan termasuk menyisipkan dan semua Spark Queries Spark Write juga didukung. Pembaruan tidak didukung untuk tabel Iceberg.

Tabel berikut mencantumkan versi Iceberg yang disertakan dalam setiap versi AWS Glue.

Untuk mempelajari lebih lanjut tentang kerangka kerja danau data yang AWS didukung Glue, lihatMenggunakan kerangka kerja data lake dengan pekerjaan AWS Glue ETL.

Mengaktifkan kerangka Iceberg

Untuk mengaktifkan Iceberg for AWS Glue, selesaikan tugas berikut:

Menggunakan versi Iceberg yang berbeda

Untuk menggunakan versi Iceberg yang tidak didukung AWS Glue, tentukan file JAR Iceberg Anda sendiri menggunakan parameter --extra-jars pekerjaan. Jangan sertakan iceberg sebagai nilai untuk --datalake-formats parameter. Jika Anda menggunakan AWS Glue 5.0 atau lebih tinggi, Anda harus mengatur parameter --user-jars-first true pekerjaan.

Mengaktifkan enkripsi untuk tabel Iceberg

Untuk mengaktifkan enkripsi sisi server pada tabel Iceberg, tinjau panduan dari dokumentasi Iceberg. https://iceberg.apache.org/docs/latest/aws/#s3-server-side-encryption

Tambahkan konfigurasi Spark untuk wilayah lintas gunung es

Untuk menambahkan konfigurasi percikan tambahan untuk akses tabel lintas wilayah Iceberg dengan Katalog Data AWS Glue dan AWS Lake Formation, ikuti langkah-langkah di bawah ini:

Menentukan versi format tabel Iceberg

AWS Glue 6.0 mendukung format Iceberg tabel versi 2 dan 3. Secara default, AWS Glue membuat tabel Iceberg v2. Icebergv3 memperkenalkan kemampuan tambahan, seperti tipe data VARIANT, stempel waktu presisi nanodetik, dan tipe data geospasial.

Untuk membuat tabel v3, Anda dapat memilih ikut menggunakan salah satu metode berikut:

Untuk memutakhirkan tabel v2 yang ada ke v3, atur properti tabel dengan menggunakan ALTER TABLE. Ini adalah perubahan metadata di tempat dan tidak menulis ulang file data Anda.

ALTER TABLE glue_catalog.your_database.your_table
SET TBLPROPERTIES ('format-version'='3')

Contoh: Tulis tabel Iceberg ke Amazon S3 dan daftarkan ke AWS Katalog Data Lem

Skrip contoh ini menunjukkan cara menulis tabel Iceberg ke Amazon S3. Contoh menggunakan Iceberg AWS Integrations untuk mendaftarkan tabel ke Katalog Data AWS Glue.

Python

# Example: Create an Iceberg table from a DataFrame 
# and register the table to Glue Data Catalog

dataFrame.createOrReplaceTempView("tmp_<your_table_name>")

query = f"""
CREATE TABLE glue_catalog.<your_database_name>.<your_table_name>
USING iceberg
TBLPROPERTIES ("format-version"="2")
AS SELECT * FROM tmp_<your_table_name>
"""
spark.sql(query)

Scala

// Example: Example: Create an Iceberg table from a DataFrame
// and register the table to Glue Data Catalog

dataFrame.createOrReplaceTempView("tmp_<your_table_name>")

val query = """CREATE TABLE glue_catalog.<your_database_name>.<your_table_name>
USING iceberg
TBLPROPERTIES ("format-version"="2")
AS SELECT * FROM tmp_<your_table_name>
"""
spark.sql(query)

Atau, Anda dapat menulis tabel Iceberg ke Amazon S3 dan Katalog Data menggunakan metode Spark.

Prasyarat: Anda perlu menyediakan katalog untuk perpustakaan Iceberg untuk digunakan. Saat menggunakan Katalog Data AWS Lem, AWS Glue membuatnya mudah. Katalog Data AWS Glue telah dikonfigurasi sebelumnya untuk digunakan oleh pustaka Spark sebagaiglue_catalog. Tabel Katalog Data diidentifikasi oleh a databaseName dan atableName. Untuk informasi selengkapnya tentang AWS Katalog Data Lem, lihatPenemuan dan katalogisasi data di AWS Glue.

Jika Anda tidak menggunakan Katalog Data AWS Glue, Anda harus menyediakan katalog melalui API Spark. Untuk informasi selengkapnya, lihat Konfigurasi Spark di dokumentasi Iceberg.

Contoh ini menulis tabel Iceberg ke Amazon S3 dan Katalog Data menggunakan Spark.

Python

# Example: Write an Iceberg table to S3 on the Glue Data Catalog

# Create (equivalent to CREATE TABLE AS SELECT)
dataFrame.writeTo("glue_catalog.databaseName.tableName") \
    .tableProperty("format-version", "2") \
    .create()

# Append (equivalent to INSERT INTO)
dataFrame.writeTo("glue_catalog.databaseName.tableName") \
    .tableProperty("format-version", "2") \
    .append()

Scala

// Example: Write an Iceberg table to S3 on the Glue Data Catalog

// Create (equivalent to CREATE TABLE AS SELECT)
dataFrame.writeTo("glue_catalog.databaseName.tableName")
    .tableProperty("format-version", "2")
    .create()

// Append (equivalent to INSERT INTO)
dataFrame.writeTo("glue_catalog.databaseName.tableName")
    .tableProperty("format-version", "2")
    .append()

Contoh: Membaca tabel Iceberg dari Amazon S3 menggunakan AWS Katalog Data Lem

Contoh ini membaca tabel Iceberg yang Anda buat. Contoh: Tulis tabel Iceberg ke Amazon S3 dan daftarkan ke AWS Katalog Data Lem

Python

Untuk contoh ini, gunakan GlueContext.create_data_frame.from_catalog() metode.

# Example: Read an Iceberg table from Glue Data Catalog

from awsglue.context import GlueContext
from pyspark.context import SparkContext

sc = SparkContext()
glueContext = GlueContext(sc)

df = glueContext.create_data_frame.from_catalog(
    database="<your_database_name>",
    table_name="<your_table_name>",
    additional_options=additional_options
)

Scala

Untuk contoh ini, gunakan CatalogSource metode get.

// Example: Read an Iceberg table from Glue Data Catalog

import com.amazonaws.services.glue.GlueContext
import org.apacke.spark.SparkContext

object GlueApp {
  def main(sysArgs: Array[String]): Unit = {
    val spark: SparkContext = new SparkContext()
    val glueContext: GlueContext = new GlueContext(spark)
    val df = glueContext.getCatalogSource("<your_database_name>", "<your_table_name>",
      additionalOptions = additionalOptions)
      .getDataFrame()
  }
}

Contoh: Menyisip DataFrame kan a ke dalam tabel Iceberg di Amazon S3 menggunakan AWS Katalog Data Lem

Contoh ini menyisipkan data ke dalam tabel Iceberg yang Anda buat. Contoh: Tulis tabel Iceberg ke Amazon S3 dan daftarkan ke AWS Katalog Data Lem

Python

Untuk contoh ini, gunakan GlueContext.write_data_frame.from_catalog() metode.

# Example: Insert into an Iceberg table from Glue Data Catalog

from awsglue.context import GlueContext
from pyspark.context import SparkContext

sc = SparkContext()
glueContext = GlueContext(sc)

glueContext.write_data_frame.from_catalog(
    frame=dataFrame,
    database="<your_database_name>",
    table_name="<your_table_name>",
    additional_options=additional_options
)

Scala

Untuk contoh ini, gunakan CatalogSink metode get.

// Example: Insert into an Iceberg table from Glue Data Catalog

import com.amazonaws.services.glue.GlueContext
import org.apacke.spark.SparkContext

object GlueApp {
  def main(sysArgs: Array[String]): Unit = {
    val spark: SparkContext = new SparkContext()
    val glueContext: GlueContext = new GlueContext(spark)
    glueContext.getCatalogSink("<your_database_name>", "<your_table_name>",
      additionalOptions = additionalOptions)
      .writeDataFrame(dataFrame, glueContext)
  }
}

Contoh: Membaca tabel Iceberg dari Amazon S3 menggunakan Spark

Prasyarat: Anda perlu menyediakan katalog untuk perpustakaan Iceberg untuk digunakan. Saat menggunakan Katalog Data AWS Lem, AWS Glue membuatnya mudah. Katalog Data AWS Glue telah dikonfigurasi sebelumnya untuk digunakan oleh pustaka Spark sebagaiglue_catalog. Tabel Katalog Data diidentifikasi oleh a databaseName dan atableName. Untuk informasi selengkapnya tentang AWS Katalog Data Lem, lihatPenemuan dan katalogisasi data di AWS Glue.

Jika Anda tidak menggunakan Katalog Data AWS Glue, Anda harus menyediakan katalog melalui API Spark. Untuk informasi selengkapnya, lihat Konfigurasi Spark di dokumentasi Iceberg.

Contoh ini membaca tabel Iceberg di Amazon S3 dari Katalog Data menggunakan Spark.

Python

# Example: Read an Iceberg table on S3 as a DataFrame from the Glue Data Catalog

dataFrame = spark.read.format("iceberg").load("glue_catalog.databaseName.tableName")

Scala

// Example: Read an Iceberg table on S3 as a DataFrame from the Glue Data Catalog

val dataFrame = spark.read.format("iceberg").load("glue_catalog.databaseName.tableName")

Contoh: Baca dan tulis tabel Gunung Es dengan kontrol izin Formasi Danau

Contoh ini membaca dan menulis tabel Gunung Es dengan kontrol izin Formasi Danau.