Mengonfigurasi properti pekerjaan untuk pekerjaan Spark di AWS Glue

Berikan UTF-8 string dengan panjang maksimum 255 karakter.

Berikan deskripsi opsional hingga 2048 karakter.

Tentukan IAM role yang digunakan untuk otorisasi ke sumber daya yang digunakan untuk menjalankan tugas dan mengakses penyimpanan data. Untuk informasi selengkapnya tentang izin untuk menjalankan pekerjaan di AWS Glue, lihatManajemen identitas dan akses untuk AWS Glue.

Jenis pekerjaan ETL. Ini diatur secara otomatis berdasarkan jenis sumber data yang Anda pilih.

AWS Glue versi menentukan versi Apache Spark dan Python yang tersedia untuk pekerjaan, seperti yang ditentukan dalam tabel berikut.

Pekerjaan yang dibuat tanpa menentukan AWS Glue versi default ke AWS Glue 5.1.

Kode dalam skrip ETL mendefinisikan logika tugas Anda. Skrip dapat dikodekan dengan Python atau Scala. Anda dapat memilih apakah skrip yang dijalankan pekerjaan dihasilkan oleh AWS Glue atau disediakan oleh Anda. Anda menyediakan nama skrip dan lokasi di Amazon Simple Storage Service (Amazon S3). Konfirmasi bahwa tidak ada file dengan nama yang sama sebagai direktori skrip pada path. Untuk mem-pelajari selengkapnya tentang menulis skrip, lihat AWS Glue panduan pemrograman.

Jenis-jenis pekerja berikut tersedia:

Sumber daya yang tersedia pada AWS Glue pekerja diukur dalam DPU. DPU adalah ukuran relatif daya pemrosesan yang terdiri dari 4 vCPU kapasitas komputasi dan 16 GB memori.

Spesifikasi Jenis Pekerja

Tabel berikut memberikan spesifikasi terperinci untuk semua jenis pekerja G yang tersedia:

Penting: G.12X dan G.16X tipe pekerja, serta semua tipe pekerja R (R.1X melalui R.8X), memiliki latensi startup yang lebih tinggi.

Anda akan dikenakan tarif per jam berdasarkan jumlah DPU yang digunakan untuk menjalankan tugas ETL Anda. Untuk informasi lebih lanjut, lihat halaman harga AWS Glue.

Untuk pekerjaan AWS Glue versi 1.0 atau sebelumnya, saat Anda mengonfigurasi pekerjaan menggunakan konsol dan menentukan jenis Pek erja Standar, kapasitas maksimum ditetapkan dan Jumlah pekerja menjadi nilai Kapasitas maksimum - 1. Jika Anda menggunakan AWS Command Line Interface (AWS CLI) atau AWS SDK, Anda dapat menentukan parameter kapasitas maksimum, atau Anda dapat menentukan jenis Pek erja dan Jumlah pekerja.

Untuk pekerjaan AWS Glue versi 2.0 atau yang lebih baru, Anda tidak dapat menentukan kapasitas maksimum. Sebaliknya, Anda harus menentukan Jenis pekerja dan Jumlah pekerja.

G.4Xdan tipe G.8X pekerja hanya tersedia untuk pekerjaan Spark ETL AWS Glue versi 3.0 atau yang lebih baru di Wil AWS ayah berikut: AS Timur (Ohio), AS Timur (Virginia Utara), AS Barat (California Utara), AS Barat (Oregon), Asia Pasifik (Mumbai), Asia Pasifik (Seoul), Asia Pasifik (Singapura), Asia Pasifik (Sydney), Asia Pasifik (Tokyo), Kanada (Tengah), Eropa (Frankfurt), Eropa (Irlandia), Eropa (London), Eropa (Spanyol), Eropa (Stockholm), dan Amerika Selatan (São Paulo).

G.12X,G.16X, dan tipe R.8X pekerja R.1X melalui hanya tersedia untuk pekerjaan Spark ETL AWS Glue versi 4.0 atau yang lebih baru di Wil AWS ayah berikut: AS Timur (Virginia Utara), AS Barat (Oregon), AS Timur (Ohio), Eropa (Irlandia), Eropa (Frankfurt), Eropa (Spanyol), Asia Pasifik (Tokyo), dan Amerika Selatan (São Paulo). Wilayah tambahan akan didukung dalam rilis mendatang.

Untuk sebagian besar jenis pekerja, Anda harus menentukan jumlah pekerja yang dialokasikan saat pekerjaan berjalan.

Tentukan bagaimana AWS Glue proses menyatakan informasi saat pekerjaan berjalan. Anda dapat membuatnya mengingat data yang diproses sebelumnya, memperbarui informasi status, atau mengabaikan informasi status. Untuk informasi selengkapnya, lihat Melacak data yang diproses menggunakan bookmark pekerjaan.

Menentukan apakah pekerjaan diantrean secara otomatis ketika pekerjaan tidak dapat langsung dijalankan karena kuota layanan atau kendala sumber daya. Saat diaktifkan, pekerjaan berjalan menunggu dalam antrian dan dimulai secara otomatis saat sumber daya tersedia, alih-alih segera gagal.

Saat dicentang, antrian jalankan pekerjaan diaktifkan untuk semua proses pekerjaan ini. Jika tidak dicentang, proses pekerjaan akan segera gagal ketika sumber daya tidak tersedia.

Antrian menjalankan pekerjaan direkomendasikan untuk:

Jika pengaturan tingkat pekerjaan ini berbeda dari setelan tingkat proses pekerjaan yang ditentukan saat memulai menjalankan pekerjaan, setelan tingkat proses pekerjaan diutamakan.

Saat Anda mengonfigurasi pekerjaan menggunakan AWS Studio atau API, Anda dapat menentukan kelas eksekusi tugas standar atau fleksibel. Pekerjaan Anda mungkin memiliki tingkat prioritas dan sensitivitas waktu yang bervariasi. Kelas eksekusi standar sangat ideal untuk beban kerja yang sensitif terhadap waktu yang memerlukan startup pekerjaan yang cepat dan sumber daya khusus.

Kelas eksekusi fleksibel sesuai untuk pekerjaan yang tidak mendesak seperti pekerjaan pra-produksi, pengujian, dan pemuatan data satu kali. Pengoperasian pekerjaan yang fleksibel didukung untuk pekerjaan yang menggunakan AWS Glue versi 3.0 atau yang lebih baru dan G.1X atau G.2X tipe pekerja. Jenis pekerja baru (G.12X,G.16X, dan R.1X melaluiR.8X) tidak mendukung eksekusi yang fleksibel.

Jalankan pekerjaan fleksibel ditagih berdasarkan jumlah pekerja yang berjalan pada suatu titik waktu. Jumlah pekerja dapat ditambahkan atau dihapus untuk menjalankan pekerjaan fleksibel yang berjalan. Alih-alih menagih sebagai perhitungan sederhana dari Max Capacity *Execution Time, setiap pekerja akan berkontribusi untuk waktu yang dijalankannya selama pekerjaan dijalankan. Tagihan adalah jumlah dari (Number of DPUs per worker*time each worker ran).

Untuk informasi selengkapnya, lihat panel bantuan di AWS Studio, atau Lowongan Kerja danTugas berjalan.

Tentukan berapa kali, dari 0 hingga 10, yang AWS Glue akan secara otomatis memulai ulang pekerjaan jika gagal. Tugas yang mencapai batas habis waktu tidak dimulai ulang.

Atur waktu eksekusi maksimal dalam satuan menit. Maksimal adalah 7 hari atau 10.080 menit. Jika tidak, pekerjaan akan menimbulkan pengecualian.

Ketika nilai dibiarkan kosong, batas waktu secara default ditetapkan menjadi 2,880 menit untuk Glue versi 4.0 dan sebelumnya, atau 480 menit untuk Glue versi 5.0 dan yang lebih baru.

Setiap AWS Glue pekerjaan yang ada yang memiliki nilai batas waktu lebih dari 7 hari akan default menjadi 7 hari. Misalnya jika Anda menentukan batas waktu 20 hari untuk pekerjaan batch, itu akan dihentikan pada hari ke-7.

Pilih konfigurasi VPC untuk mengakses sumber data Amazon S3 yang terletak di cloud pribadi virtual (VPC) Anda. Anda dapat membuat dan mengelola koneksi Jaringan di AWS Glue. Untuk informasi selengkapnya, lihat Menghubungkan ke data.