Lowongan Kerja

• Struktur pekerjaan

• ExecutionProperty struktur

• NotificationProperty struktur

• JobCommand struktur

• ConnectionsList struktur

• JobUpdate struktur

• SourceControlDetails struktur

Bidang

• Name— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Nama yang Anda tetapkan untuk definisi tugas ini.

• JobMode— UTF-8 string (nilai valid: SCRIPT="" | VISUAL="" |NOTEBOOK="").

  Mode yang menggambarkan bagaimana pekerjaan dibuat. Nilai yang valid adalah:

  • SCRIPT- Pekerjaan dibuat menggunakan editor skrip AWS Glue Studio.

  • VISUAL- Pekerjaan dibuat menggunakan editor visual AWS Glue Studio.

  • NOTEBOOK- Pekerjaan dibuat menggunakan buku catatan sesi interaktif.

  Ketika JobMode bidang hilang atau nol, SCRIPT ditetapkan sebagai nilai default.

• JobRunQueuingEnabled – Boolean.

  Menentukan apakah antrian menjalankan pekerjaan diaktifkan untuk pekerjaan yang dijalankan untuk pekerjaan ini.

  Nilai true berarti antrian job run diaktifkan untuk menjalankan pekerjaan. Jika salah atau tidak diisi, pekerjaan yang dijalankan tidak akan dipertimbangkan untuk mengantri.

  Jika bidang ini tidak cocok dengan nilai yang ditetapkan dalam proses pekerjaan, maka nilai dari bidang job run akan digunakan.

• Description — String deskripsi, dengan panjang tidak lebih dari 2048 byte, yang cocok dengan URI address multi-line string pattern.

  Deskripsi tugas tersebut.

• LogUri— UTF-8 tali.

  Bidang ini disimpan untuk penggunaan masa depan.

• Role— UTF-8 tali.

  Nama atau Amazon Resource Name (ARN) dari IAM role yang dikaitkan dengan tugas ini.

• CreatedOn — Stempel waktu.

  Waktu dan tanggal saat definisi tugas ini dibuat.

• LastModifiedOn — Stempel waktu.

  Titik dalam waktu terakhir ketika definisi tugas ini dimodifikasi.

• ExecutionProperty — Sebuah objek ExecutionProperty.

  Sebuah ExecutionProperty yang menentukan jumlah maksimum eksekusi bersamaan yang diperbolehkan untuk tugas ini.

• Command — Sebuah objek JobCommand.

  JobCommand yang menjalankan tugas ini.

• DefaultArguments – Susunan peta pasangan nilai kunci.

  Setiap kunci adalah UTF-8 string.

  Setiap nilai adalah UTF-8 string.

  Argumen default untuk setiap proses pekerjaan ini, ditentukan sebagai pasangan nama-nilai.

  Anda dapat menentukan argumen di sini yang digunakan skrip eksekusi pekerjaan Anda sendiri, serta argumen yang dikonsumsi AWS Glue sendiri.

  Argumen pekerjaan dapat dicatat. Jangan menyampaikan rahasia plaintext sebagai argumen. Ambil rahasia dari Kon AWS Glue eksi, AWS Secrets Manager atau mekanisme manajemen rahasia lainnya jika Anda ingin menyimpannya dalam Pekerjaan.

  Untuk informasi tentang cara menentukan dan menggunakan argumen Tugas Anda sendiri, lihat topik Memanggil API AWS Glue dalam Python dalam panduan developer.

  Untuk informasi tentang argumen yang dapat Anda berikan ke bidang ini saat mengonfigurasi pekerjaan Spark, lihat Param eter Khusus yang Dig AWS Glue unakan berdasarkan topik dalam panduan pengembang.

  Untuk informasi tentang argumen yang dapat Anda berikan ke bidang ini saat mengonfigurasi pekerjaan Ray, lihat Menggunakan parameter pekerjaan di pekerjaan Ray di panduan pengembang.

• NonOverridableArguments – Susunan peta pasangan nilai kunci.

  Setiap kunci adalah UTF-8 string.

  Setiap nilai adalah UTF-8 string.

  Argumen untuk pekerjaan ini yang tidak diganti saat memberikan argumen pekerjaan dalam proses pekerjaan, ditentukan sebagai pasangan nama-nilai.

• Connections — Sebuah objek ConnectionsList.

  Koneksi yang digunakan untuk tugas ini.

• MaxRetries — Nomor (bilangan bulat).

  Jumlah maksimum untuk mencoba kembali pekerjaan ini setelah JobRun gagal.

• AllocatedCapacity — Nomor (bilangan bulat).

  Bidang ini tidak lagi digunakan. Gunakan MaxCapacity sebagai gantinya.

  Jumlah unit pemrosesan AWS Glue data (DPU) yang dialokasikan untuk menjalankan pekerjaan ini. Anda dapat mengalokasikan minimal 2 DPU; defaultnya adalah 10. DPU adalah ukuran relatif daya pemrosesan yang terdiri dari 4 vCPU kapasitas komputasi dan 16 GB memori. Untuk informasi lebih lanjut, lihat halaman harga AWS Glue.

• Timeout — Nomor (bilangan bulat), minimal 1.

  Waktu habis tugas, dalam satuan menit. Ini adalah waktu maksimum yang bisa digunakan oleh eksekusi tugas untuk menggunakan sumber daya sebelum eksekusi dihentikan dan memasuki status TIMEOUT.

  Pekerjaan harus memiliki nilai batas waktu kurang dari 7 hari atau 10080 menit. Jika tidak, pekerjaan akan menimbulkan pengecualian.

  Ketika nilai dibiarkan kosong, batas waktu default menjadi 2,880 menit untuk Glue versi 4.0 dan sebelumnya, atau 480 menit untuk Glue versi 5.0 dan yang lebih baru.

  Setiap AWS Glue pekerjaan yang ada yang memiliki nilai batas waktu lebih dari 7 hari akan default menjadi 7 hari. Misalnya jika Anda telah menentukan batas waktu 20 hari untuk pekerjaan batch, itu akan dihentikan pada hari ke-7.

  Untuk pekerjaan streaming, jika Anda telah menyiapkan jendela pemeliharaan, itu akan dimulai ulang selama jendela pemeliharaan setelah 7 hari.

• MaxCapacity — Nomor (ganda).

  Untuk pekerjaan Glue versi 1.0 atau sebelumnya, menggunakan tipe pekerja standar, jumlah unit pemrosesan AWS Glue data (DPU) yang dapat dialokasikan saat pekerjaan ini berjalan. DPU adalah ukuran relatif daya pemrosesan yang terdiri dari 4 vCPU kapasitas komputasi dan 16 GB memori. Untuk informasi lebih lanjut, lihat halaman harga AWS Glue.

  Untuk pekerjaan Glue versi 2.0 atau yang lebih baru, Anda tidak dapat menentukan aMaximum capacity. Sebaliknya, Anda harus menentukan Worker type dan Number of workers.

  Jangan mengatur MaxCapacity jika Anda menggunakan WorkerType dan NumberOfWorkers.

  Nilai yang dapat dialokasikan untuk MaxCapacity tergantung pada apakah Anda menjalankan tugas shell Python, tugas ETL Apache Spark, atau tugas ETL Apache Spark streaming:

  • Ketika anda menentukan tugas shell Python (JobCommand.Name="pythonshell"), Anda dapat mengalokasikan 0,0625 atau 1 DPU. Default-nya adalah 0,0625 DPU.

  • Bila Anda menentukan tugas ETL Apache Spark (JobCommand.Name="glueetl") atau tugas ETL Apache Spark streaming (JobCommand.Name="gluestreaming"), Anda dapat mengalokasikan dari 2 hingga 100 dPU. Default-nya adalah 10 DPU. Jenis tugas ini tidak dapat memiliki alokasi DPU pecahan.

• WorkerType— UTF-8 string (nilai yang valid: Standard="" G.1X="" | G.2X="" | G.025X="" | G.4X="" | G.8X="" |Z.2X="").

  Jenis pekerja yang telah ditetapkan sebelumnya yang dialokasikan ketika sebuah tugas dieksekusi.

  AWS Glue menyediakan beberapa jenis pekerja untuk mengakomodasi persyaratan beban kerja yang berbeda:

  Jenis Pekerja G (pekerja General-purpose komputasi):

  • G.1X: 1 DPU (4 vCPU, memori 16 GB, disk 94GB)

  • G.2X: 2 DPU (8 vCPU, memori 32 GB, disk 138GB)

  • G.4X: 4 DPU (16 vCPU, memori 64 GB, disk 256GB)

  • G.8X: 8 DPU (32 vCPU, memori 128 GB, disk 512GB)

  • G.12X: 12 DPU (48 vCPU, memori 192 GB, disk 768 GB)

  • G.16X: 16 DPU (64 vCPU, memori 256 GB, disk 1024 GB)

  Tipe Pekerja R (Memory-optimized pekerja):

  • R.1X: 1 M-DPU (4 vCPU, memori 32 GB)

  • R.2X: 2 M-DPU (8 vCPU, memori 64 GB)

  • R.4X: 4 M-DPU (16 vCPU, memori 128 GB)

  • R.8X: 8 M-DPU (32 vCPU, memori 256 GB)

• NumberOfWorkers — Nomor (bilangan bulat).

  Jumlah pekerja dari workerType ditentukan yang dialokasikan ketika sebuah tugas dieksekusi.

• SecurityConfiguration— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Nama struktur SecurityConfiguration yang akan digunakan dengan tugas ini.

• NotificationProperty — Sebuah objek NotificationProperty.

  Menentukan properti konfigurasi dari sebuah notifikasi tugas.

• Running – Boolean.

  Bidang ini disimpan untuk penggunaan masa depan.

• GlueVersion— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganCustom string pattern #45.

  Dalam pekerjaan SparkGlueVersion, tentukan versi Apache Spark dan Python yang AWS Glue tersedia dalam pekerjaan. Versi Python menunjukkan versi yang didukung untuk tugas tipe Spark.

  Pekerjaan Ray harus disetel GlueVersion ke 4.0 atau lebih besar. Namun, versi Ray, Python, dan pustaka tambahan yang tersedia di pekerjaan Ray Anda ditentukan oleh Runtime parameter perintah Job.

  Untuk informasi selengkapnya tentang AWS Glue versi yang tersedia dan versi Spark dan Python yang sesuai, lihat versi Glue di panduan pengembang.

  Pekerjaan yang dibuat tanpa menentukan versi Glue default untuk Glue 5.1.

• CodeGenConfigurationNodes – Susunan peta pasangan nilai kunci.

  Setiap kunci adalah UTF-8 string, cocok denganCustom string pattern #65.

  Setiap nilai adalah sebuah objek CodeGenConfigurationNode A.

  Representasi grafik asiklik terarah yang menjadi dasar komponen visual Glue Studio dan pembuatan kode Glue Studio.

• ExecutionClass— UTF-8 string, tidak lebih dari 16 byte panjang (nilai valid: FLEX="" |STANDARD="").

  Menunjukkan apakah pekerjaan dijalankan dengan kelas eksekusi standar atau fleksibel. Kelas eksekusi standar sangat ideal untuk beban kerja yang sensitif terhadap waktu yang memerlukan startup pekerjaan yang cepat dan sumber daya khusus.

  Kelas eksekusi fleksibel sesuai untuk pekerjaan yang tidak peka waktu yang waktu mulai dan penyelesaiannya dapat bervariasi.

  Hanya pekerjaan dengan AWS Glue versi 3.0 ke atas dan tipe perintah yang glueetl diizinkan untuk disetel ExecutionClass keFLEX. Kelas eksekusi fleksibel tersedia untuk pekerjaan Spark.

• SourceControlDetails — Sebuah objek SourceControlDetails.

  Detail untuk konfigurasi kontrol sumber untuk pekerjaan, memungkinkan sinkronisasi artefak pekerjaan ke atau dari repositori jarak jauh.

• MaintenanceWindow— UTF-8 string, cocok denganCustom string pattern #54.

  Bidang ini menentukan hari dalam seminggu dan jam untuk jendela pemeliharaan untuk pekerjaan streaming. AWS Glue secara berkala melakukan kegiatan pemeliharaan. Selama jendela pemeliharaan ini, AWS Glue perlu memulai ulang pekerjaan streaming Anda.

  AWS Glue akan memulai kembali pekerjaan dalam waktu 3 jam dari jendela pemeliharaan yang ditentukan. Misalnya, jika Anda mengatur jendela pemeliharaan untuk hari Senin pukul 10:00 GMT, pekerjaan Anda akan dimulai kembali antara pukul 10:00 GMT hingga 13:00 GMT.

• ProfileName— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Nama profil AWS Glue penggunaan yang terkait dengan pekerjaan.

Bidang

• MaxConcurrentRuns — Nomor (bilangan bulat).

  Jumlah maksimum berjalan bersamaan yang diizinkan untuk tugas. Default-nya adalah 1. Kesalahan dikembalikan ketika ambang batas ini tercapai. Nilai maksimum yang dapat Anda tentukan dikendalikan oleh batas layanan.

Bidang

• NotifyDelayAfter — Nomor (bilangan bulat), minimal 1.

  Setelah tugas dimulai, jumlah menit untuk menunggu sebelum mengirim notifikasi penundaan tugas.

Bidang

• Name— UTF-8 tali.

  Nama perintah tugas. Untuk tugas Apache Spark ETL, ini harus berupa glueetl. Untuk tugas shell Python, ini harus berupa pythonshell. Untuk tugas ETL Apache Spark streaming, ini harus berupa gluestreaming. Untuk pekerjaan Ray, ini pastiglueray.

• ScriptLocation— UTF-8 string, panjangnya tidak lebih dari 400000 byte.

  Menentukan path Amazon Simple Storage Service (Amazon S3) ke skrip yang menjalankan tugas.

• PythonVersion— UTF-8 string, cocok denganCustom string pattern #46.

  Versi Python yang digunakan untuk menjalankan tugas shell Python. Nilai yang diizinkan adalah 2 atau 3.

• Runtime— UTF-8 string, panjangnya tidak lebih dari 64 byte, cocok denganCustom string pattern #34.

  Dalam pekerjaan Ray, Runtime digunakan untuk menentukan versi Ray, Python dan pustaka tambahan yang tersedia di lingkungan Anda. Bidang ini tidak digunakan dalam jenis pekerjaan lain. Untuk nilai lingkungan runtime yang didukung, lihat Lingkungan runtime Ray yang Di dukung di Panduan AWS Glue Pengembang.

Bidang

• Connections— Sebuah array UTF-8 string, tidak lebih dari 1000 string.

  Daftar koneksi yang digunakan oleh tugas.

Bidang

• JobMode— UTF-8 string (nilai valid: SCRIPT="" | VISUAL="" |NOTEBOOK="").

  Mode yang menggambarkan bagaimana pekerjaan dibuat. Nilai yang valid adalah:

  • SCRIPT- Pekerjaan dibuat menggunakan editor skrip AWS Glue Studio.

  • VISUAL- Pekerjaan dibuat menggunakan editor visual AWS Glue Studio.

  • NOTEBOOK- Pekerjaan dibuat menggunakan buku catatan sesi interaktif.

  Ketika JobMode bidang hilang atau nol, SCRIPT ditetapkan sebagai nilai default.

• JobRunQueuingEnabled – Boolean.

  Menentukan apakah antrian menjalankan pekerjaan diaktifkan untuk pekerjaan yang dijalankan untuk pekerjaan ini.

  Nilai true berarti antrian job run diaktifkan untuk menjalankan pekerjaan. Jika salah atau tidak diisi, pekerjaan yang dijalankan tidak akan dipertimbangkan untuk mengantri.

  Jika bidang ini tidak cocok dengan nilai yang ditetapkan dalam proses pekerjaan, maka nilai dari bidang job run akan digunakan.

• Description — String deskripsi, dengan panjang tidak lebih dari 2048 byte, yang cocok dengan URI address multi-line string pattern.

  Deskripsi tugas yang sedang didefinisikan.

• LogUri— UTF-8 tali.

  Bidang ini disimpan untuk penggunaan masa depan.

• Role— UTF-8 tali.

  Nama atau Amazon Resource Name (ARN) dari IAM role yang dikaitkan dengan tugas ini (wajib).

• ExecutionProperty — Sebuah objek ExecutionProperty.

  Sebuah ExecutionProperty yang menentukan jumlah maksimum eksekusi bersamaan yang diperbolehkan untuk tugas ini.

• Command — Sebuah objek JobCommand.

  JobCommand yang menjalankan tugas ini (wajib).

• DefaultArguments – Susunan peta pasangan nilai kunci.

  Setiap kunci adalah UTF-8 string.

  Setiap nilai adalah UTF-8 string.

  Argumen default untuk setiap proses pekerjaan ini, ditentukan sebagai pasangan nama-nilai.

  Anda dapat menentukan argumen di sini yang digunakan skrip eksekusi pekerjaan Anda sendiri, serta argumen yang dikonsumsi AWS Glue sendiri.

  Argumen pekerjaan dapat dicatat. Jangan menyampaikan rahasia plaintext sebagai argumen. Ambil rahasia dari Kon AWS Glue eksi, AWS Secrets Manager atau mekanisme manajemen rahasia lainnya jika Anda ingin menyimpannya dalam Pekerjaan.

  Untuk informasi tentang cara menentukan dan menggunakan argumen Tugas Anda sendiri, lihat topik Memanggil API AWS Glue dalam Python dalam panduan developer.

  Untuk informasi tentang argumen yang dapat Anda berikan ke bidang ini saat mengonfigurasi pekerjaan Spark, lihat Param eter Khusus yang Dig AWS Glue unakan berdasarkan topik dalam panduan pengembang.

  Untuk informasi tentang argumen yang dapat Anda berikan ke bidang ini saat mengonfigurasi pekerjaan Ray, lihat Menggunakan parameter pekerjaan di pekerjaan Ray di panduan pengembang.

• NonOverridableArguments – Susunan peta pasangan nilai kunci.

  Setiap kunci adalah UTF-8 string.

  Setiap nilai adalah UTF-8 string.

  Argumen untuk pekerjaan ini yang tidak diganti saat memberikan argumen pekerjaan dalam proses pekerjaan, ditentukan sebagai pasangan nama-nilai.

• Connections — Sebuah objek ConnectionsList.

  Koneksi yang digunakan untuk tugas ini.

• MaxRetries — Nomor (bilangan bulat).

  Jumlah waktu maksimum berapa kali percobaan yang bisa dilakukan untuk tugas ini jika gagal.

• AllocatedCapacity — Nomor (bilangan bulat).

  Bidang ini tidak lagi digunakan. Gunakan MaxCapacity sebagai gantinya.

  Jumlah unit pemrosesan AWS Glue data (DPU) yang dialokasikan untuk pekerjaan ini. Anda dapat mengalokasikan minimal 2 DPU; defaultnya adalah 10. DPU adalah ukuran relatif daya pemrosesan yang terdiri dari 4 vCPU kapasitas komputasi dan 16 GB memori. Untuk informasi lebih lanjut, lihat halaman harga AWS Glue.

• Timeout — Nomor (bilangan bulat), minimal 1.

  Waktu habis tugas, dalam satuan menit. Ini adalah waktu maksimum yang bisa digunakan oleh eksekusi tugas untuk menggunakan sumber daya sebelum eksekusi dihentikan dan memasuki status TIMEOUT.

  Pekerjaan harus memiliki nilai batas waktu kurang dari 7 hari atau 10080 menit. Jika tidak, pekerjaan akan menimbulkan pengecualian.

  Ketika nilai dibiarkan kosong, batas waktu secara default ditetapkan menjadi 2,880 menit untuk Glue versi 4.0 dan sebelumnya, atau 480 menit untuk Glue versi 5.0 dan yang lebih baru.

  Setiap AWS Glue pekerjaan yang ada yang memiliki nilai batas waktu lebih dari 7 hari akan default menjadi 7 hari. Misalnya jika Anda telah menentukan batas waktu 20 hari untuk pekerjaan batch, itu akan dihentikan pada hari ke-7.

  Untuk pekerjaan streaming, jika Anda telah menyiapkan jendela pemeliharaan, itu akan dimulai ulang selama jendela pemeliharaan setelah 7 hari.

• MaxCapacity — Nomor (ganda).

  Untuk pekerjaan Glue versi 1.0 atau sebelumnya, menggunakan tipe pekerja standar, jumlah unit pemrosesan AWS Glue data (DPU) yang dapat dialokasikan saat pekerjaan ini berjalan. DPU adalah ukuran relatif daya pemrosesan yang terdiri dari 4 vCPU kapasitas komputasi dan 16 GB memori. Untuk informasi lebih lanjut, lihat halaman harga AWS Glue.

  Untuk pekerjaan Glue versi 2.0+, Anda tidak dapat menentukan aMaximum capacity. Sebaliknya, Anda harus menentukan Worker type dan Number of workers.

  Jangan mengatur MaxCapacity jika Anda menggunakan WorkerType dan NumberOfWorkers.

  Nilai yang dapat dialokasikan untuk MaxCapacity tergantung pada apakah Anda menjalankan tugas shell Python, tugas ETL Apache Spark, atau tugas ETL Apache Spark streaming:

  • Ketika anda menentukan tugas shell Python (JobCommand.Name="pythonshell"), Anda dapat mengalokasikan 0,0625 atau 1 DPU. Default-nya adalah 0,0625 DPU.

  • Bila Anda menentukan tugas ETL Apache Spark (JobCommand.Name="glueetl") atau tugas ETL Apache Spark streaming (JobCommand.Name="gluestreaming"), Anda dapat mengalokasikan dari 2 hingga 100 dPU. Default-nya adalah 10 DPU. Jenis tugas ini tidak dapat memiliki alokasi DPU pecahan.

• WorkerType— UTF-8 string (nilai yang valid: Standard="" G.1X="" | G.2X="" | G.025X="" | G.4X="" | G.8X="" |Z.2X="").

  Jenis pekerja yang telah ditetapkan sebelumnya yang dialokasikan ketika sebuah tugas dieksekusi. Menerima nilai G.1X, G.2X, G.4X, G.8X atau G.025X untuk pekerjaan Spark. Menerima nilai Z.2X untuk pekerjaan Ray. Untuk informasi selengkapnya, lihat Mendefinisikan properti pekerjaan untuk pekerjaan Spark

• NumberOfWorkers — Nomor (bilangan bulat).

  Jumlah pekerja dari workerType ditentukan yang dialokasikan ketika sebuah tugas dieksekusi.

• SecurityConfiguration— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Nama struktur SecurityConfiguration yang akan digunakan dengan tugas ini.

• NotificationProperty — Sebuah objek NotificationProperty.

  Menentukan properti konfigurasi notifikasi tugas.

• GlueVersion— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganCustom string pattern #45.

  Dalam pekerjaan SparkGlueVersion, tentukan versi Apache Spark dan Python yang AWS Glue tersedia dalam pekerjaan. Versi Python menunjukkan versi yang didukung untuk tugas tipe Spark.

  Pekerjaan Ray harus disetel GlueVersion ke 4.0 atau lebih besar. Namun, versi Ray, Python, dan pustaka tambahan yang tersedia di pekerjaan Ray Anda ditentukan oleh Runtime parameter perintah Job.

  Untuk informasi selengkapnya tentang AWS Glue versi yang tersedia dan versi Spark dan Python yang sesuai, lihat versi Glue di panduan pengembang.

  Jika tidak disediakan dalam permintaan pembaruan, versi Glue mempertahankan nilai dari definisi pekerjaan yang ada.

• CodeGenConfigurationNodes – Susunan peta pasangan nilai kunci.

  Setiap kunci adalah UTF-8 string, cocok denganCustom string pattern #65.

  Setiap nilai adalah sebuah objek CodeGenConfigurationNode A.

  Representasi grafik asiklik terarah yang menjadi dasar komponen visual Glue Studio dan pembuatan kode Glue Studio.

• ExecutionClass— UTF-8 string, tidak lebih dari 16 byte panjang (nilai valid: FLEX="" |STANDARD="").

  Menunjukkan apakah pekerjaan dijalankan dengan kelas eksekusi standar atau fleksibel. Kelas eksekusi standar sangat ideal untuk beban kerja yang sensitif terhadap waktu yang memerlukan startup pekerjaan yang cepat dan sumber daya khusus.

  Kelas eksekusi fleksibel sesuai untuk pekerjaan yang tidak peka waktu yang waktu mulai dan penyelesaiannya dapat bervariasi.

  Hanya pekerjaan dengan AWS Glue versi 3.0 ke atas dan tipe perintah yang glueetl diizinkan untuk disetel ExecutionClass keFLEX. Kelas eksekusi fleksibel tersedia untuk pekerjaan Spark.

• SourceControlDetails — Sebuah objek SourceControlDetails.

  Detail untuk konfigurasi kontrol sumber untuk pekerjaan, memungkinkan sinkronisasi artefak pekerjaan ke atau dari repositori jarak jauh.

• MaintenanceWindow— UTF-8 string, cocok denganCustom string pattern #54.

  Bidang ini menentukan hari dalam seminggu dan jam untuk jendela pemeliharaan untuk pekerjaan streaming. AWS Glue secara berkala melakukan kegiatan pemeliharaan. Selama jendela pemeliharaan ini, AWS Glue perlu memulai ulang pekerjaan streaming Anda.

  AWS Glue akan memulai kembali pekerjaan dalam waktu 3 jam dari jendela pemeliharaan yang ditentukan. Misalnya, jika Anda mengatur jendela pemeliharaan untuk hari Senin pukul 10:00 GMT, pekerjaan Anda akan dimulai kembali antara pukul 10:00 GMT hingga 13:00 GMT.

• ProfileName— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Nama profil AWS Glue penggunaan yang terkait dengan pekerjaan.

Bidang

• Provider— UTF-8 string (nilai valid: GITHUB |AWS_CODE_COMMIT).

  Penyedia untuk repositori jarak jauh.

• Repository— UTF-8 string, tidak kurang dari 1 atau lebih dari 512 byte panjangnya.

  Nama repositori jarak jauh yang berisi artefak pekerjaan.

• Owner— UTF-8 string, tidak kurang dari 1 atau lebih dari 512 byte panjangnya.

  Pemilik repositori jarak jauh yang berisi artefak pekerjaan.

• Branch— UTF-8 string, tidak kurang dari 1 atau lebih dari 512 byte panjangnya.

  Cabang opsional di repositori jarak jauh.

• Folder— UTF-8 string, tidak kurang dari 1 atau lebih dari 512 byte panjangnya.

  Folder opsional di repositori jarak jauh.

• LastCommitId— UTF-8 string, tidak kurang dari 1 atau lebih dari 512 byte panjangnya.

  ID komit terakhir untuk komit di repositori jarak jauh.

• LastSyncTimestamp— UTF-8 string, tidak kurang dari 1 atau lebih dari 512 byte panjangnya.

  Tanggal dan waktu sinkronisasi pekerjaan terakhir dilakukan.

• AuthStrategy— UTF-8 string (nilai valid: PERSONAL_ACCESS_TOKEN |AWS_SECRETS_MANAGER).

  Jenis otentikasi, yang dapat berupa token otentikasi yang disimpan di AWS Secrets Manager, atau token akses pribadi.

• AuthToken— UTF-8 string, tidak kurang dari 1 atau lebih dari 512 byte panjangnya.

  Nilai token otorisasi.

• CreateJob tindakan (Python: create_job)

• UpdateJob tindakan (Python: update_job)

• GetJob tindakan (Python: get_job)

• GetJobs tindakan (Python: get_jobs)

• DeleteJob tindakan (Python: delete_job)

• ListJobs tindakan (Python: list_jobs)

• BatchGetJobs tindakan (Python: batch_get_jobs)

Permintaan

• Name- Diperlukan: UTF-8 string, panjang tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Nama yang Anda tetapkan untuk definisi tugas ini. Harus unik dalam akun Anda.

• JobMode— UTF-8 string (nilai valid: SCRIPT="" | VISUAL="" |NOTEBOOK="").

  Mode yang menggambarkan bagaimana pekerjaan dibuat. Nilai yang valid adalah:

  • SCRIPT- Pekerjaan dibuat menggunakan editor skrip AWS Glue Studio.

  • VISUAL- Pekerjaan dibuat menggunakan editor visual AWS Glue Studio.

  • NOTEBOOK- Pekerjaan dibuat menggunakan buku catatan sesi interaktif.

  Ketika JobMode bidang hilang atau nol, SCRIPT ditetapkan sebagai nilai default.

• JobRunQueuingEnabled – Boolean.

  Menentukan apakah antrian menjalankan pekerjaan diaktifkan untuk pekerjaan yang dijalankan untuk pekerjaan ini.

  Nilai true berarti antrian job run diaktifkan untuk menjalankan pekerjaan. Jika salah atau tidak diisi, pekerjaan yang dijalankan tidak akan dipertimbangkan untuk mengantri.

  Jika bidang ini tidak cocok dengan nilai yang ditetapkan dalam proses pekerjaan, maka nilai dari bidang job run akan digunakan.

• Description — String deskripsi, dengan panjang tidak lebih dari 2048 byte, yang cocok dengan URI address multi-line string pattern.

  Deskripsi tugas yang sedang didefinisikan.

• LogUri— UTF-8 tali.

  Bidang ini disimpan untuk penggunaan masa depan.

• Role- Diperlukan: UTF-8 string.

  Nama atau Amazon Resource Name (ARN) dari IAM role yang dikaitkan dengan tugas ini.

• ExecutionProperty — Sebuah objek ExecutionProperty.

  Sebuah ExecutionProperty yang menentukan jumlah maksimum eksekusi bersamaan yang diperbolehkan untuk tugas ini.

• Command — Wajib: Sebuah objek JobCommand.

  JobCommand yang menjalankan tugas ini.

• DefaultArguments – Susunan peta pasangan nilai kunci.

  Setiap kunci adalah UTF-8 string.

  Setiap nilai adalah UTF-8 string.

  Argumen default untuk setiap proses pekerjaan ini, ditentukan sebagai pasangan nama-nilai.

  Anda dapat menentukan argumen di sini yang digunakan skrip eksekusi pekerjaan Anda sendiri, serta argumen yang dikonsumsi AWS Glue sendiri.

  Argumen pekerjaan dapat dicatat. Jangan menyampaikan rahasia plaintext sebagai argumen. Ambil rahasia dari Kon AWS Glue eksi, AWS Secrets Manager atau mekanisme manajemen rahasia lainnya jika Anda ingin menyimpannya dalam Pekerjaan.

  Untuk informasi tentang cara menentukan dan menggunakan argumen Tugas Anda sendiri, lihat topik Memanggil API AWS Glue dalam Python dalam panduan developer.

  Untuk informasi tentang argumen yang dapat Anda berikan ke bidang ini saat mengonfigurasi pekerjaan Spark, lihat Param eter Khusus yang Dig AWS Glue unakan berdasarkan topik dalam panduan pengembang.

  Untuk informasi tentang argumen yang dapat Anda berikan ke bidang ini saat mengonfigurasi pekerjaan Ray, lihat Menggunakan parameter pekerjaan di pekerjaan Ray di panduan pengembang.

• NonOverridableArguments – Susunan peta pasangan nilai kunci.

  Setiap kunci adalah UTF-8 string.

  Setiap nilai adalah UTF-8 string.

  Argumen untuk pekerjaan ini yang tidak diganti saat memberikan argumen pekerjaan dalam proses pekerjaan, ditentukan sebagai pasangan nama-nilai.

• Connections — Sebuah objek ConnectionsList.

  Koneksi yang digunakan untuk tugas ini.

• MaxRetries — Nomor (bilangan bulat).

  Jumlah waktu maksimum berapa kali percobaan yang bisa dilakukan untuk tugas ini jika gagal.

• AllocatedCapacity — Nomor (bilangan bulat).

  Parameter ini tidak lagi digunakan. Gunakan MaxCapacity sebagai gantinya.

  Jumlah unit pemrosesan AWS Glue data (DPU) yang dialokasikan untuk Pekerjaan ini. Anda dapat mengalokasikan minimal 2 DPU; defaultnya adalah 10. DPU adalah ukuran relatif daya pemrosesan yang terdiri dari 4 vCPU kapasitas komputasi dan 16 GB memori. Untuk informasi lebih lanjut, lihat halaman harga AWS Glue.

• Timeout — Nomor (bilangan bulat), minimal 1.

  Waktu habis tugas, dalam satuan menit. Ini adalah waktu maksimum yang bisa digunakan oleh eksekusi tugas untuk menggunakan sumber daya sebelum eksekusi dihentikan dan memasuki status TIMEOUT.

  Pekerjaan harus memiliki nilai batas waktu kurang dari 7 hari atau 10080 menit. Jika tidak, pekerjaan akan menimbulkan pengecualian.

  Ketika nilai dibiarkan kosong, batas waktu secara default ditetapkan menjadi 2,880 menit untuk Glue versi 4.0 dan sebelumnya, atau 480 menit untuk Glue versi 5.0 dan yang lebih baru.

  Setiap AWS Glue pekerjaan yang ada yang memiliki nilai batas waktu lebih dari 7 hari akan default menjadi 7 hari. Misalnya jika Anda telah menentukan batas waktu 20 hari untuk pekerjaan batch, itu akan dihentikan pada hari ke-7.

  Untuk pekerjaan streaming, jika Anda telah menyiapkan jendela pemeliharaan, itu akan dimulai ulang selama jendela pemeliharaan setelah 7 hari.

• MaxCapacity — Nomor (ganda).

  Untuk pekerjaan Glue versi 1.0 atau sebelumnya, menggunakan tipe pekerja standar, jumlah unit pemrosesan AWS Glue data (DPU) yang dapat dialokasikan saat pekerjaan ini berjalan. DPU adalah ukuran relatif daya pemrosesan yang terdiri dari 4 vCPU kapasitas komputasi dan 16 GB memori. Untuk informasi lebih lanjut, lihat halaman harga AWS Glue.

  Untuk pekerjaan Glue versi 2.0+, Anda tidak dapat menentukan aMaximum capacity. Sebaliknya, Anda harus menentukan Worker type dan Number of workers.

  Jangan mengatur MaxCapacity jika Anda menggunakan WorkerType dan NumberOfWorkers.

  Nilai yang dapat dialokasikan untuk MaxCapacity tergantung pada apakah Anda menjalankan tugas shell Python, tugas ETL Apache Spark, atau tugas ETL Apache Spark streaming:

  • Ketika anda menentukan tugas shell Python (JobCommand.Name="pythonshell"), Anda dapat mengalokasikan 0,0625 atau 1 DPU. Default-nya adalah 0,0625 DPU.

  • Bila Anda menentukan tugas ETL Apache Spark (JobCommand.Name="glueetl") atau tugas ETL Apache Spark streaming (JobCommand.Name="gluestreaming"), Anda dapat mengalokasikan dari 2 hingga 100 dPU. Default-nya adalah 10 DPU. Jenis tugas ini tidak dapat memiliki alokasi DPU pecahan.

• SecurityConfiguration— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Nama struktur SecurityConfiguration yang akan digunakan dengan tugas ini.

• Tags — Sebuah rangkaian peta pasangan nilai kunci, tidak lebih dari 50 pasang.

  Setiap kunci adalah UTF-8 string, tidak kurang dari 1 atau lebih dari 128 byte panjangnya.

  Setiap nilai adalah UTF-8 string, panjangnya tidak lebih dari 256 byte.

  Tag yang akan digunakan dengan tugas ini. Anda dapat menggunakan tag untuk membatasi akses ke tugas. Untuk informasi selengkapnya tentang tag di AWS Glue, lihat AWS Tag AWS Glue di dalam panduan pengembang.

• NotificationProperty — Sebuah objek NotificationProperty.

  Menentukan properti konfigurasi dari sebuah notifikasi tugas.

• GlueVersion— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganCustom string pattern #45.

  Dalam pekerjaan SparkGlueVersion, tentukan versi Apache Spark dan Python yang AWS Glue tersedia dalam pekerjaan. Versi Python menunjukkan versi yang didukung untuk tugas tipe Spark.

  Pekerjaan Ray harus disetel GlueVersion ke 4.0 atau lebih besar. Namun, versi Ray, Python, dan pustaka tambahan yang tersedia di pekerjaan Ray Anda ditentukan oleh Runtime parameter perintah Job.

  Untuk informasi selengkapnya tentang AWS Glue versi yang tersedia dan versi Spark dan Python yang sesuai, lihat versi Glue di panduan pengembang.

  Pekerjaan yang dibuat tanpa menentukan versi Glue default untuk Glue 5.1.

• NumberOfWorkers — Nomor (bilangan bulat).

  Jumlah pekerja dari workerType ditentukan yang dialokasikan ketika sebuah tugas dieksekusi.

• WorkerType— UTF-8 string (nilai yang valid: Standard="" G.1X="" | G.2X="" | G.025X="" | G.4X="" | G.8X="" |Z.2X="").

  Jenis pekerja yang telah ditetapkan sebelumnya yang dialokasikan ketika sebuah tugas dieksekusi. Menerima nilai G.1X, G.2X, G.4X, G.8X atau G.025X untuk pekerjaan Spark. Menerima nilai Z.2X untuk pekerjaan Ray.

  • Untuk tipe G.1X pekerja, setiap pekerja memetakan ke 1 DPU (4 vCPU, memori 16 GB) dengan disk 94GB, dan menyediakan 1 eksekutor per pekerja. Kami merekomendasikan jenis pekerja ini untuk beban kerja seperti transformasi data, gabungan, dan kueri, untuk menawarkan cara yang dapat diskalakan dan hemat biaya untuk menjalankan sebagian besar pekerjaan.

  • Untuk tipe G.2X pekerja, setiap pekerja memetakan ke 2 DPU (8 vCPU, memori 32 GB) dengan disk 138GB, dan menyediakan 1 eksekutor per pekerja. Kami merekomendasikan jenis pekerja ini untuk beban kerja seperti transformasi data, gabungan, dan kueri, untuk menawarkan cara yang dapat diskalakan dan hemat biaya untuk menjalankan sebagian besar pekerjaan.

  • Untuk tipe G.4X pekerja, setiap pekerja memetakan ke 4 DPU (16 vCPU, 64 GB memori) dengan disk 256GB, dan menyediakan 1 eksekutor per pekerja. Kami merekomendasikan jenis pekerja ini untuk pekerjaan yang beban kerjanya berisi transformasi, agregasi, gabungan, dan kueri yang paling menuntut. Jenis pekerja ini hanya tersedia untuk pekerjaan Spark ETL AWS Glue versi 3.0 atau yang lebih baru di Wil AWS ayah berikut: AS Timur (Ohio), AS Timur (Virginia Utara), AS Barat (California Utara), AS Barat (Oregon), Asia Pasifik (Mumbai), Asia Pasifik (Seoul), Asia Pasifik (Singapura), Asia Pasifik (Sydney), Asia Pasifik (Tokyo), Kanada (Tengah), Eropa (Frankfurt), Eropa (Irlandia), Eropa (London), Eropa (Spanyol), Eropa (Stockholm), dan Amerika Selatan (São Paulo).

  • Untuk tipe G.8X pekerja, setiap pekerja memetakan ke 8 DPU (32 vCPU, memori 128 GB) dengan disk 512GB, dan menyediakan 1 eksekutor per pekerja. Kami merekomendasikan jenis pekerja ini untuk pekerjaan yang beban kerjanya berisi transformasi, agregasi, gabungan, dan kueri yang paling menuntut. Jenis pekerja ini hanya tersedia untuk pekerjaan Spark ETL AWS Glue versi 3.0 atau yang lebih baru, di Wil AWS ayah yang sama dengan yang didukung untuk jenis G.4X pekerja.

  • Untuk tipe G.025X pekerja, setiap pekerja memetakan ke 0,25 DPU (2 vCPU, memori 4 GB) dengan disk 84GB, dan menyediakan 1 eksekutor per pekerja. Kami merekomendasikan jenis pekerja ini untuk pekerjaan streaming volume rendah. Jenis pekerja ini hanya tersedia untuk pekerjaan streaming AWS Glue versi 3.0 atau yang lebih baru.

  • Untuk tipe Z.2X pekerja, setiap pekerja memetakan ke 2 M-DPU (8vCPU, memori 64 GB) dengan disk 128 GB, dan menyediakan hingga 8 pekerja Ray berdasarkan autoscaler.

• CodeGenConfigurationNodes – Susunan peta pasangan nilai kunci.

  Setiap kunci adalah UTF-8 string, cocok denganCustom string pattern #65.

  Setiap nilai adalah sebuah objek CodeGenConfigurationNode A.

  Representasi grafik asiklik terarah yang menjadi dasar komponen visual Glue Studio dan pembuatan kode Glue Studio.

• ExecutionClass— UTF-8 string, tidak lebih dari 16 byte panjang (nilai valid: FLEX="" |STANDARD="").

  Menunjukkan apakah pekerjaan dijalankan dengan kelas eksekusi standar atau fleksibel. Kelas eksekusi standar sangat ideal untuk beban kerja yang sensitif terhadap waktu yang memerlukan startup pekerjaan yang cepat dan sumber daya khusus.

  Kelas eksekusi fleksibel sesuai untuk pekerjaan yang tidak peka waktu yang waktu mulai dan penyelesaiannya dapat bervariasi.

  Hanya pekerjaan dengan AWS Glue versi 3.0 ke atas dan tipe perintah yang glueetl diizinkan untuk disetel ExecutionClass keFLEX. Kelas eksekusi fleksibel tersedia untuk pekerjaan Spark.

• SourceControlDetails — Sebuah objek SourceControlDetails.

  Detail untuk konfigurasi kontrol sumber untuk pekerjaan, memungkinkan sinkronisasi artefak pekerjaan ke atau dari repositori jarak jauh.

• MaintenanceWindow— UTF-8 string, cocok denganCustom string pattern #54.

  Bidang ini menentukan hari dalam seminggu dan jam untuk jendela pemeliharaan untuk pekerjaan streaming. AWS Glue secara berkala melakukan kegiatan pemeliharaan. Selama jendela pemeliharaan ini, AWS Glue perlu memulai ulang pekerjaan streaming Anda.

  AWS Glue akan memulai kembali pekerjaan dalam waktu 3 jam dari jendela pemeliharaan yang ditentukan. Misalnya, jika Anda mengatur jendela pemeliharaan untuk hari Senin pukul 10:00 GMT, pekerjaan Anda akan dimulai kembali antara pukul 10:00 GMT hingga 13:00 GMT.

• ProfileName— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Nama profil AWS Glue penggunaan yang terkait dengan pekerjaan.

Respons

• Name— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Nama unik yang disediakan untuk definisi tugas ini.

Kesalahan

• InvalidInputException

• IdempotentParameterMismatchException

• AlreadyExistsException

• InternalServiceException

• OperationTimeoutException

• ResourceNumberLimitExceededException

• ConcurrentModificationException

Permintaan

• JobName- Diperlukan: UTF-8 string, panjang tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Nama definisi tugas yang akan diperbarui.

• JobUpdate — Wajib: Sebuah objek JobUpdate.

  Menentukan nilai-nilai yang dapat digunakan untuk memperbarui definisi tugas. Konfigurasi yang tidak ditentukan dihapus atau diatur ulang ke nilai default.

• ProfileName— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Nama profil AWS Glue penggunaan yang terkait dengan pekerjaan.

Respons

• JobName— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Mengembalikan nama definisi tugas diperbarui.

Kesalahan

• InvalidInputException

• EntityNotFoundException

• InternalServiceException

• OperationTimeoutException

• ConcurrentModificationException

Permintaan

• JobName- Diperlukan: UTF-8 string, panjang tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Nama definisi tugas yang akan diambil.

Respons

• Job — Sebuah objek Pekerjaan.

  Definisi tugas yang diminta.

Kesalahan

• InvalidInputException

• EntityNotFoundException

• InternalServiceException

• OperationTimeoutException

Permintaan

• NextToken— UTF-8 tali.

  Sebuah token kelanjutan, jika ini adalah panggilan kelanjutan.

• MaxResults — Nomor (bilangan bulat), tidak kurang dari 1 atau lebih dari 1000.

  Ukuran maksimum respons.

Respons

• Jobs – Susunan objek Pekerjaan.

  Daftar definisi tugas.

• NextToken— UTF-8 tali.

  Sebuah token kelanjutan, jika tidak semua definisi tugas yang belum dikembalikan.

Kesalahan

• InvalidInputException

• EntityNotFoundException

• InternalServiceException

• OperationTimeoutException

Permintaan

• JobName- Diperlukan: UTF-8 string, panjang tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Nama definisi tugas yang akan dihapus.

Respons

• JobName— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Nama definisi tugas yang telah dihapus.

Kesalahan

• InvalidInputException

• InternalServiceException

• OperationTimeoutException

Permintaan

• NextToken— UTF-8 tali.

  Sebuah token kelanjutan, jika ini adalah permintaan kelanjutan.

• MaxResults — Nomor (bilangan bulat), tidak kurang dari 1 atau lebih dari 1000.

  Ukuran maksimum daftar yang akan dikembalikan.

• Tags — Sebuah rangkaian peta pasangan nilai kunci, tidak lebih dari 50 pasang.

  Setiap kunci adalah UTF-8 string, tidak kurang dari 1 atau lebih dari 128 byte panjangnya.

  Setiap nilai adalah UTF-8 string, panjangnya tidak lebih dari 256 byte.

  Menentukan untuk mengembalikan hanya sumber daya ditandai saja.

Respons

• JobNames— Sebuah array UTF-8 string.

  Nama-nama semua tugas dalam akun, atau tugas dengan tag yang ditentukan.

• NextToken— UTF-8 tali.

  Sebuah token kelanjutan, jika daftar yang dikembalikan tidak berisi metrik terakhir yang tersedia.

Kesalahan

• InvalidInputException

• EntityNotFoundException

• InternalServiceException

• OperationTimeoutException

Permintaan

• JobNames- Diperlukan: Array UTF-8 string.

  Daftar nama tugas, mungkin nama yang dikembalikan oleh operasi ListJobs.

Respons

• Jobs – Susunan objek Pekerjaan.

  Daftar definisi tugas.

• JobsNotFound— Sebuah array UTF-8 string.

  Daftar nama tugas yang tidak ditemukan.

Kesalahan

• InternalServiceException

• OperationTimeoutException

• InvalidInputException