Migrasi AWS Glue untuk pekerjaan Spark ke versi 5.0 AWS Glue

Pembaruan Apache Spark dari 3.3.0 di AWS Glue 4.0 ke 3.5.4 di 5.0. AWS Glue Lihat Peningkatan utama dari Spark 3.3.0 ke Spark 3.5.4.

Kontrol akses berbutir halus asli percikan (FGAC) menggunakan Lake Formation. Ini termasuk FGAC untuk tabel Iceberg, Delta dan Hudi. Untuk informasi selengkapnya, lihat Menggunakan AWS Glue dengan AWS Lake Formation untuk kontrol akses berbutir halus.

Perhatikan pertimbangan atau batasan berikut untuk FGAC asli SPARK:

Untuk daftar lengkap batasan dan pertimbangan saat menggunakan SPARK-native FGAC, lihat. Pertimbangan dan batasan

Support untuk Amazon S3 Access Grants sebagai solusi kontrol akses yang dapat diskalakan untuk data Amazon S3 Anda. AWS Glue Untuk informasi selengkapnya, lihat Menggunakan Hibah Akses Amazon S3 dengan AWS Glue.

Format Tabel Terbuka (OTF) diperbarui ke Hudi 0.15.0, Iceberg 1.7.1, dan Delta Lake 3.3.0

Dukungan Amazon SageMaker Unified Studio.

Amazon SageMaker Lakehouse dan integrasi abstraksi data. Untuk informasi selengkapnya, lihat Meminta katalog data metastore dari ETL AWS Glue.

Support untuk menginstal pustaka Python tambahan menggunakan. requirements.txt Untuk informasi selengkapnya, lihat Menginstal pustaka Python tambahan di AWS Glue 5.0 menggunakan requirements.txt.

AWS Glue 5.0 mendukung garis keturunan data di Amazon. DataZone Anda dapat mengonfigurasi AWS Glue untuk mengumpulkan informasi silsilah secara otomatis selama pekerjaan Spark berjalan dan mengirim peristiwa silsilah untuk divisualisasikan di Amazon. DataZone Untuk informasi selengkapnya, lihat Silsilah data di Amazon. DataZone

Untuk mengonfigurasinya di AWS Glue konsol, aktifkan Hasilkan peristiwa garis keturunan, dan masukkan ID DataZone domain Amazon Anda di tab Detail pekerjaan.

Atau, Anda dapat memberikan parameter pekerjaan berikut (berikan ID DataZone domain Anda):

Pembaruan driver konektor dan JDBC. Untuk informasi selengkapnya, lihat Lampiran B: Peningkatan driver JDBC dan Lampiran C: Peningkatan konektor.

Pembaruan Java dari 8 hingga 17.

Peningkatan penyimpanan untuk AWS Glue G.1X dan G.2X pekerja dengan ruang disk meningkat menjadi 94GB dan 138GB masing-masing. Untuk informasi selengkapnya, lihat Tugas

Support untuk AWS SDK for Java, versi 2 AWS Glue - 5.0 pekerjaan dapat menggunakan untuk Java versi 1.12.569 atau 2.28.8 jika pekerjaan mendukung v2. AWS SDK for Java 2.x adalah penulisan ulang utama dari basis kode versi 1.x. Ini dibangun di atas Java 8+ dan menambahkan beberapa fitur yang sering diminta. Ini termasuk dukungan untuk I/O non-pemblokiran, dan kemampuan untuk mencolokkan implementasi HTTP yang berbeda saat runtime. Untuk informasi selengkapnya, termasuk Panduan Migrasi dari SDK for Java v1 ke v2, lihat AWS panduan SDK for Java, versi 2.

Di AWS Glue 5.0, saat menggunakan sistem file S3A dan jika `fs.s3a.endpoint` dan `fs.s3a.endpoint.region` tidak disetel, wilayah default yang digunakan oleh S3A adalah `us-east-2`. Hal ini dapat menyebabkan masalah, seperti kesalahan batas waktu unggah S3, terutama untuk pekerjaan VPC. Untuk mengurangi masalah yang disebabkan oleh perubahan ini, setel konfigurasi Spark `fs.s3a.endpoint.region` saat menggunakan sistem file S3A di 5.0. AWS Glue

Kontrol Akses Berbutir Halus Formasi Danau (FGAC)

Akses Meja Lengkap Lake Formation (FTA)

Pembaca CSV SIMD tervektor tidak didukung.

Pencatatan terus menerus ke grup log keluaran tidak didukung. Gunakan grup error log sebagai gantinya.

Wawasan AWS Glue pekerjaan yang dijalankan job-insights-rule-driver sudah tidak digunakan lagi. Aliran job-insights-rca-driver log sekarang terletak di grup log kesalahan.

custom/marketplace Konektor berbasis Athena tidak didukung.

Adobe Marketo Engage, Iklan Facebook, Google Ads, Google Analytics 4, Google Sheets, Hubspot, Iklan Instagram, Interkom, Jira Cloud, Oracle, Salesforce, Salesforce Marketing Cloud NetSuite, Keterlibatan Akun Cloud Pemasaran Salesforce, SAP,, Slack, Iklan Snapchat, Stripe, Zendesk dan OData Zoho ServiceNow CRM konektor tidak didukung.

Properti log4j kustom tidak didukung di AWS Glue 5.0.

Klien Python untuk Spark Connect (SPARK-39375).

Menerapkan dukungan untuk nilai DEFAULT untuk kolom dalam tabel (SPARK-38334).

Dukungan “Referensi Alias Kolom Lateral” (SPARK-27561).

Harden penggunaan SQLSTATE untuk kelas kesalahan (SPARK-41994).

Aktifkan filter Bloom Bergabung secara default (SPARK-38841).

Skalabilitas Spark UI yang lebih baik dan stabilitas driver untuk aplikasi besar (SPARK-41053).

Pelacakan Kemajuan Async dalam Streaming Terstruktur (SPARK-39591).

Pemrosesan stateful arbitrer Python dalam streaming terstruktur (SPARK-40434).

Peningkatan cakupan API Pandas (SPARK-42882) dan dukungan NumPy input di (SPARK-39405). PySpark

Menyediakan profiler memori untuk fungsi yang PySpark ditentukan pengguna (SPARK-40281).

Melaksanakan PyTorch distributor (SPARK-41589).

Publikasikan artefak SBOM (SPARK-41893).

Support IPv6 -only environment (SPARK-39457).

Penjadwal K8s yang disesuaikan (Apache YuniKorn dan Volcano) GA (SPARK-42802).

Dukungan klien Scala dan Go di Spark Connect (SPARK-42554) dan (SPARK-43351).

PyTorchDukungan ML terdistribusi berbasis untuk Spark Connect (SPARK-42471).

Dukungan streaming terstruktur untuk Spark Connect dengan Python dan Scala (SPARK-42938).

Dukungan API Pandas untuk Klien Python Spark Connect (SPARK-42497).

Perkenalkan Panah Python UDFs (SPARK-40307).

Mendukung fungsi tabel yang ditentukan pengguna Python (SPARK-43798).

Migrasikan PySpark kesalahan ke kelas kesalahan (SPARK-42986).

PySpark kerangka uji (SPARK-44042).

Tambahkan dukungan untuk Datasketches HllSketch (SPARK-16484).

Peningkatan fungsi SQL bawaan (SPARK-41231).

Klausul pengidentifikasi (SPARK-43205).

Tambahkan fungsi SQL ke dalam Scala, Python dan R API (SPARK-43907).

Tambahkan dukungan argumen bernama untuk fungsi SQL (SPARK-43922).

Hindari tugas yang tidak perlu dijalankan kembali pada eksekutor yang dinonaktifkan hilang jika data acak dimigrasi (SPARK-41469).

Terdistribusi ML<> spark connect (SPARK-42471).

DeepSpeed distributor (SPARK-44264).

Terapkan checkpointing changelog untuk penyimpanan status RocksDB (SPARK-43421).

Perkenalkan propagasi tanda air di antara operator (SPARK-42376).

Perkenalkan dropDuplicatesWithin Tanda Air (SPARK-42931).

Peningkatan manajemen memori penyedia penyimpanan status RocksDB (SPARK-43311).

Di AWS Glue Studio, pilih Glue 5.0 - Supports Spark 3.5.4, Scala 2, Python 3 diGlue version.

Di API, pilih GlueVersion parameter 5.0 dalam operasi UpdateJobAPI.

Di konsol, pilih Spark 3.5.4, Python 3 (Glue Version 5.0) or Spark 3.5.4, Scala 2 (Glue Version 5.0) diGlue version.

Di AWS Glue Studio, pilih Glue 5.0 - Supports Spark 3.5.4, Scala 2, Python 3 diGlue version.

Di API, pilih GlueVersion parameter 5.0 dalam operasi CreateJobAPI.

Pembaruan Java 17

[Scala] Tingkatkan panggilan AWS SDK dari v1 ke v2

Migrasi Python 3.10 hingga 3.11

[Python] Perbarui referensi boto dari 1,26 ke 1,34

Katalog — Wadah logis yang menyimpan objek dari penyimpanan data, seperti skema atau tabel.

Database - Mengatur objek data seperti tabel dan tampilan dalam katalog.

Tabel dan tampilan — Objek data dalam database yang menyediakan lapisan abstraksi dengan skema yang dapat dimengerti. Mereka memudahkan untuk mengakses data yang mendasarinya, yang bisa dalam berbagai format dan di berbagai lokasi.

--enable-lakeformation-fine-grained-access: Mengaktifkan fitur kontrol akses berbutir halus (FGAC) di tabel Lake Formation. AWS

Panduan Migrasi: Spark Core

Panduan Migrasi: SQL, Datasets dan DataFrame

Panduan Migrasi: Streaming Terstruktur

Meningkatkan PySpark

Semua parameter pekerjaan yang ada dan fitur utama yang ada di AWS Glue 2.0 akan ada di AWS Glue 5.0, kecuali transformasi pembelajaran mesin.

Beberapa perubahan Spark saja mungkin memerlukan revisi skrip Anda untuk memastikan fitur yang dihapus tidak direferensikan. Misalnya, Spark 3.1.1 dan yang lebih baru tidak mengaktifkan SCALA-untyped UDFs tetapi Spark 2.4 mengizinkannya.

Python 2.7 tidak didukung.

Setiap stoples tambahan yang disediakan dalam pekerjaan AWS Glue 2.0 yang ada dapat membawa dependensi yang bertentangan karena ada peningkatan di beberapa dependensi. Anda dapat menghindari konflik classpath dengan parameter --user-jars-first pekerjaan.

Perubahan perilaku stempel waktu file from/to parket. loading/saving Untuk detail selengkapnya, lihat Memutakhirkan dari Spark SQL 3.0 ke 3.1.

Paralelisme tugas Spark yang berbeda untuk konfigurasi. driver/executor Anda dapat menyesuaikan paralelisme tugas dengan meneruskan argumen --executor-cores pekerjaan.

Semua log (log sistem, log daemon Spark, log pengguna, dan log Glue Logger) sekarang ditulis ke grup /aws-glue/jobs/error log secara default.

Grup /aws-glue/jobs/logs-v2 log yang digunakan untuk pencatatan berkelanjutan di versi sebelumnya tidak lagi digunakan.

Anda tidak dapat lagi mengganti nama atau menyesuaikan grup log atau nama aliran log menggunakan argumen logging berkelanjutan yang dihapus. Sebagai gantinya, lihat argumen pekerjaan baru di AWS Glue 5.0.

––custom-logGroup-prefix: Memungkinkan Anda menentukan awalan khusus untuk grup /aws-glue/jobs/error dan /aws-glue/jobs/output log.

––custom-logStream-prefix: Memungkinkan Anda menentukan awalan khusus untuk nama aliran log dalam grup log.

Aturan validasi dan batasan untuk awalan kustom meliputi:

––enable-continuous-cloudwatch-log

––continuous-log-logGroup

––continuous-log-logStreamPrefix

––continuous-log-conversionPattern

––enable-continuous-log-filter

Lampiran B: Peningkatan driver JDBC

Lampiran C: Peningkatan konektor

Lampiran D: Buka peningkatan format tabel

Menambahkan dukungan untuk nama tabel tiga bagian untuk memungkinkan konektor menanyakan tabel berbagi data Redshift.

Mengoreksi pemetaan Spark ShortType untuk menggunakan Redshift SMALLINT alih-alih lebih cocok dengan ukuran data yang INTEGER diharapkan.

Menambahkan dukungan untuk Nama Cluster Kustom (CNAME) untuk Amazon Redshift Tanpa Server.

Support indeks tingkat catatan.

Support auto generasi kunci rekam. Sekarang Anda tidak perlu menentukan bidang kunci rekam.

Support kontrol akses berbutir halus dengan. AWS Lake Formation

Support percabangan dan penandaan yang diberi nama referensi ke snapshot dengan siklus hidup independennya sendiri.

Menambahkan prosedur tampilan changelog yang menghasilkan tampilan yang berisi perubahan yang dibuat pada tabel selama periode tertentu atau antara snapshot tertentu.

Support Delta Universal Format (UniForm) yang memungkinkan akses tanpa batas melalui Apache Iceberg dan Apache Hudi.

Support Deletion Vectors yang mengimplementasikan paradigma. Merge-on-Read

Menambahkan dukungan kunci partisi hierarkis.

Ditambahkan pilihan untuk menggunakan Skema kustom dengan StringType (json mentah) untuk properti bersarang.

Menambahkan opsi konfigurasi spark.cosmos.auth.aad.clientCertPemBase64 untuk memungkinkan menggunakan otentikasi SPN (ServicePrincipal nama) dengan sertifikat alih-alih rahasia klien.

Enkripsi TLS diaktifkan secara default.

Ketika enkripsi = false tetapi server memerlukan enkripsi, sertifikat divalidasi berdasarkan pengaturan trustServerCertificate koneksi.

aadSecurePrincipalIddan tidak aadSecurePrincipalSecret digunakan lagi.

getAADSecretPrincipalIdAPI dihapus.

Ditambahkan resolusi CNAME ketika ranah ditentukan.

Support untuk mode micro-batch dengan Spark Structured Streaming.

Support untuk tipe data BSON.

Ditambahkan dukungan untuk membaca beberapa koleksi saat menggunakan micro-batch atau mode streaming kontinu.

Memperkenalkan trim_space parameter baru yang dapat Anda gunakan untuk memangkas nilai StringType kolom secara otomatis saat menyimpan ke tabel Snowflake. Default: false.

Menonaktifkan abort_detached_query parameter pada tingkat sesi secara default.

Menghapus persyaratan SFUSER parameter saat menggunakan OAUTH.

Menghapus fitur Advanced Query Pushdown. Alternatif untuk fitur ini tersedia. Misalnya, alih-alih memuat data dari tabel Snowflake, pengguna dapat langsung memuat data dari kueri Snowflake SQL.