Migrating AWS Glue untuk pekerjaan Spark ke AWS Glue versi 6.0

Upgrade Apache Spark dari 3.5.6 di AWS Glue 5.1 ke 4.1.1 di AWS Glue 6.0.

Upgrade Scala dari 2.12.18 ke 2.13.17.

Pembaruan Python dari 3.11 ke 3.13.

Open Table Formats (OTF) diperbarui ke Hudi 1.1.1, Iceberg 1.11.0, dan Delta Lake 4.2.0.

Format gunung es versi 3 - Memperluas tipe data dan struktur metadata yang ada untuk menambahkan kemampuan baru termasuk:

Spark Declarative Pipelines (SDP) — Kerangka kerja deklaratif baru untuk mendefinisikan pipeline data end-to-end menggunakan SQL atau DataFrame API, dengan dukungan untuk tabel streaming dan tampilan yang terwujud. Untuk informasi selengkapnya, lihat Saluran Pipa Deklaratif Spark.

Spark Connect untuk Sesi Interaktif — Memungkinkan konektivitas klien tipis ke Sesi AWS Glue Interaktif melalui protokol Spark Connect, mendukung alur kerja pengembangan jarak jauh.

Arrow-native Python UDFs/UDTFs - Peningkatan kinerja untuk fungsi yang ditentukan pengguna Python menggunakan format kolom Apache Arrow secara asli.

Customer-managed atau lingkungan virtual Python yang dihasilkan layanan (--python-virtual-env) - Anda dapat membangun dan menyediakan venv Python Anda sendiri yang melekat pada driver dan pel AWS Glue aksana Spark saat runtime, memberikan kontrol penuh atas manajemen ketergantungan. Ketika pekerjaan yang ada dimigrasikan ke AWS Glue 6.0, AWS Glue secara otomatis menghasilkan lingkungan virtual ini jika diperlukan.

Peningkatan streaming — Real-time mode untuk streaming stateless dengan latensi tingkat milidetik. Untuk informasi selengkapnya, lihat Mengaktifkan mode real-time untuk pekerjaan streaming.

Peningkatan konektor - Diperbarui Amazon Redshift, MongoDB, Snowflake, dan konektor lainnya. Lihat Lampiran C: Peningkatan konektor untuk detail versi lengkap.

Mode ANSI diaktifkan secara default di Spark 4.1. Operasi yang sebelumnya mengembalikan NULL pada overflow (misalnya, aritmatika integer, operasi cast) sekarang memberikan pengecualian. Set spark.sql.ansi.enabled=false el untuk mengembalikan perilaku sebelumnya.

Spark Declarative Pipelines (SDP) adalah fitur baru dengan dukungan terbatas untuk konstruksi SQL tertentu. Lihat Saluran Pipa Deklaratif Spark dokumentasi untuk batasan saat ini.

Tabel Iceberg v3 yang dibuat di AWS Glue 6.0 tidak dapat dibaca oleh Athena SQL (kesalahan:Cannot read unsupported version 3). Gunakan Iceberg v2 untuk kompatibilitas lintas mesin dengan Athena.

Python 3.13 menghapus beberapa modul yang tidak digunakan lagi dan mengubah perilaku untuk beberapa fungsi perpustakaan standar. Tinjau panduan migrasi Python 3.13 untuk kompatibilitas.

AWS SDK untuk kompatibilitas Java 2.x dengan --user-jars-first - AWS Glue 6.0 termasuk AWS SDK untuk Java 2.x versi 2.44.6. Jika Anda menggunakan parameter --user-jars-first pekerjaan dengan JAR kustom yang menggabungkan versi lama AWS SDK untuk Java 2.x, pekerjaan Anda mungkin gagal dengan kesalahan java.lang.NoSuchFieldError atau kesalahan serupa. Kegagalan ini terjadi ketika SDK yang dibundel dalam JAR kustom Anda tidak memiliki kelas, bidang, atau metode yang AWS Glue bergantung pada runtime. Untuk menghindari masalah ini, pastikan bahwa JAR khusus yang Anda berikan --user-jars-first menggunakan AWS SDK untuk Java 2.x versi 2.44.6 atau yang lebih baru.

EMRFS telah dihapus. S3A adalah satu-satunya sistem file S3 di AWS Glue 6.0. com.amazon.ws.emr.hadoop.fs.EmrFileSystemKelas tidak lagi tersedia. Pekerjaan menggunakan s3:// jalur menggunakan S3A secara otomatis. Jika sebelumnya Anda mengatur EMRFS-specific konfigurasi (misalnya,fs.s3.consistent.*), hapus.

AWS SDK untuk Java v1 telah dihapus. Hanya AWS SDK v2 (2.44.6) yang tersedia. Pekerjaan yang mengimpor com.amazonaws.services.* paket harus bermigrasi kesoftware.amazon.awssdk.services.*.

Scala ditingkatkan dari 2.12 menjadi 2.13. JAR khusus yang dikompilasi terhadap Scala 2.12 tidak berfungsi. Kompilasi ulang terhadap Scala 2.13.17. Perubahan utama: JavaConversions dihapus (gunakanCollectionConverters), MutableList dihapus (gunakanListBuffer), koleksi paralel memerlukan impor terpisah.

Perubahan API Spark 4.1:

CreateSession Validasi API — Validasi tambahan pada parameter sesi untuk Sesi Interaktif. Konfigurasi yang tidak valid yang sebelumnya diterima secara diam-diam sekarang mungkin mengembalikan kesalahan.

getResolvedOptionsperubahan perilaku — Pencocokan awalan argumen dinonaktifkan secara default (allow_abbrev=False). Gunakan nama argumen lengkap, atau pass getResolvedOptions() to allow_abbrev=True untuk mengembalikan perilaku lama.

Di AWS Glue Studio, pilih Glue 6.0 - Supports Spark 4.1.1, Scala 2, Python 3 masukGlue version.

Di API, pilih GlueVersion parameter 6.0 dalam operasi UpdateJob API.

Di konsol, pilih Spark 4.1.1, Python 3 (Glue Version 6.0) or Spark 4.1.1, Scala 2 (Glue Version 6.0) masukGlue version.

Di AWS Glue Studio, pilih Glue 6.0 - Supports Spark 4.1.1, Scala 2, Python 3 masukGlue version.

Di API, pilih GlueVersion parameter 6.0 dalam operasi CreateJob API.

[Scala] Kompilasi ulang JAR khusus terhadap Scala 2.13.17. Ganti JavaConversions denganCollectionConverters.

[Python] Perbarui kode untuk kompatibilitas Python 3.13. Hapus penggunaan modul yang tidak digunakan lagi (misalnya,, impcgi,cgitb).

[Python] Perbarui referensi boto3 dari 1.40 menjadi 1.42.

[Spark SQL] Tinjau kueri untuk dampak mode ANSI. Tambahkan spark.sql.ansi.enabled=false jika perlu.

[SDK] Ganti impor AWS SDK v1 apa pun (com.amazonaws.*) dengan SDK v2 (software.amazon.awssdk.*).

[S3] Hapus EMRFS-specific konfigurasi. S3A sekarang menjadi konektor S3 default dan satu-satunya.

[Dependensi] Perbarui --extra-jars ke versi yang dikompilasi untuk Scala 2.13 dan Spark 4.1.

Sistem file S3: EMRFS tidak lagi tersedia. S3A adalah satu-satunya konektor S3. Jika sebelumnya Anda mengaturspark.hadoop.fs.s3a.endpoint.region, lanjutkan menggunakannya. Jika tidak disetel, pastikan titik akhir VPC atau konfigurasi jaringan memungkinkan S3A menyelesaikan wilayah yang benar.

Kompatibilitas biner Scala: AWS Glue 6.0 menggunakan Scala 2.13. Apa pun --extra-jars yang dikompilasi dengan Scala 2.12 gagal dengan NoSuchMethodError atau. ClassNotFoundException Kompilasi ulang semua JAR khusus Scala/Java .

Perubahan perilaku Spark SQL:

Versi Python: Python 3.13 adalah runtime. --additional-python-modulesFitur ini terus berfungsi tetapi tidak digunakan lagi. Pertimbangkan untuk bermigrasi ke --python-virtual-env untuk kontrol ketergantungan penuh.

AWS SDK: Hanya SDK v2 yang tersedia. Jika skrip Anda menggunakan boto3 (Python), tidak ada perubahan yang diperlukan - boto3 terus bekerja. Untuk Scala/Java pekerjaan yang menggunakan AWS SDK secara langsung, bermigrasi ke API v2.

Panduan Migrasi: Spark Core di situs web Apache Spark

Panduan Migrasi: SQL, Kumpulan Data dan DataFrame di situs web Apache Spark

Panduan Migrasi: Streaming Terstruktur di situs web Apache Spark

Upgrade PySpark di situs web Apache Spark

Untuk langkah-langkah migrasi yang terkait dengan AWS Glue 5.0 hingga AWS Glue 5.1, lihatMigrasi dari AWS Glue 5.0 hingga AWS Glue 5.1.

Untuk langkah-langkah migrasi yang terkait dengan AWS Glue 4.0 hingga AWS Glue 5.0, lihatMigrasi dari AWS Glue 4.0 ke AWS Glue 5.0.

Untuk langkah-langkah migrasi yang terkait dengan AWS Glue 3.0 ke AWS Glue 5.0, lihatMigrasi dari AWS Glue 3.0 ke AWS Glue 5.0.

Untuk langkah-langkah migrasi yang terkait dengan AWS Glue 2.0 hingga AWS Glue 5.0, lihatMigrasi dari AWS Glue 2.0 ke AWS Glue 5.0.

Setelah menyelesaikan langkah-langkah di atas, selesaikan migrasi ke AWS Glue 6.0 dengan mengikutiMigrasi dari AWS Glue 5.1 untuk AWS Glue 6.0.

Lampiran B: Peningkatan driver JDBC

Lampiran C: Peningkatan konektor

Lampiran D: Buka peningkatan format tabel

Iceberg ditingkatkan ke 1.11.0 dengan dukungan penuh untuk spesifikasi Apache Iceberg versi 3.

Jenis data VARIANT dengan penghancuran varian untuk kueri data semi-terstruktur yang dioptimalkan.

Nanosecond-precision stempel waktu.

Jenis data geospasial (Geometri dan Geografi).

Hudi ditingkatkan ke 1.1.1.

Dukungan berkelanjutan untuk akses baca dan tulis FTA pada tabel AWS Lake Formation terdaftar.

Danau Delta ditingkatkan menjadi 4.2.0.

Dukungan berkelanjutan untuk akses baca dan tulis FTA pada tabel AWS Lake Formation terdaftar.

Kunci enkripsi tabel asli Iceberg tidak didukung.

Transformasi multi-argumen Iceberg tidak didukung.

Tipe data Iceberg v3 baru hanya didukung dengan Spark DataFrames. Fitur-fitur ini tidak akan berfungsi dengan DynamicFrames.

Visual ETL di AWS Glue Studio tidak mendukung tipe data Iceberg v3 baru. Jika Anda ingin menggunakan fitur-fitur baru ini dengan Visual ETL, sebaiknya migrasikan pekerjaan ETL Anda ke Amazon SageMaker Unified Studio.

Fine-grained kontrol akses (FGAC) tidak didukung dengan kolom VARIANT.

Tabel gunung es yang dibuat dengan 'format-version'='3' tidak dapat dibaca oleh Athena SQL (kesalahan:Cannot read unsupported version 3). Gunakan Iceberg v2 untuk kompatibilitas lintas mesin dengan Athena.