Tugas berjalan

• JobRun struktur

• Struktur pendahulunya

• JobBookmarkEntry struktur

• BatchStopJobRunSuccessfulSubmission struktur

• BatchStopJobRunError struktur

• NotificationProperty struktur

Bidang

• Id— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  ID dari eksekusi tugas ini.

• Attempt — Nomor (bilangan bulat).

  Jumlah usaha untuk menjalankan tugas ini.

• PreviousRunId— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  ID dari eksekusi sebelumnya dari tugas ini. Misalnya, JobRunId yang ditentukan dalam tindakan StartJobRun.

• TriggerName— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Nama pemicu yang memulai eksekusi tugas ini.

• JobName— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Nama definisi tugas yang digunakan dalam eksekusi ini.

• JobMode— UTF-8 string (nilai valid: SCRIPT="" | VISUAL="" |NOTEBOOK="").

  Mode yang menggambarkan bagaimana pekerjaan dibuat. Nilai yang valid adalah:

  • SCRIPT- Pekerjaan dibuat menggunakan editor skrip AWS Glue Studio.

  • VISUAL- Pekerjaan dibuat menggunakan editor visual AWS Glue Studio.

  • NOTEBOOK- Pekerjaan dibuat menggunakan buku catatan sesi interaktif.

  Ketika JobMode bidang hilang atau nol, SCRIPT ditetapkan sebagai nilai default.

• JobRunQueuingEnabled – Boolean.

  Menentukan apakah antrian menjalankan pekerjaan diaktifkan untuk menjalankan pekerjaan.

  Nilai true berarti antrian job run diaktifkan untuk menjalankan pekerjaan. Jika salah atau tidak diisi, pekerjaan yang dijalankan tidak akan dipertimbangkan untuk mengantri.

• StartedOn — Stempel waktu.

  Tanggal dan waktu saat eksekusi tugas ini dimulai.

• LastModifiedOn — Stempel waktu.

  Terakhir kali saat eksekusi tugas ini dijalankan.

• CompletedOn — Stempel waktu.

  Tanggal dan waktu saat eksekusi tugas ini selesai.

• JobRunState— UTF-8 string (nilai yang valid: STARTING RUNNING | STOPPING | STOPPED | SUCCEEDED | FAILED | TIMEOUT | ERROR | WAITING |EXPIRED).

  Status eksekusi tugas saat ini. Untuk informasi lebih lanjut tentang status tugas yang telah dihentikan secara tidak normal, lihat Status Eksekusi Tugas AWS Glue.

• Arguments – Susunan peta pasangan nilai kunci.

  Setiap kunci adalah UTF-8 string.

  Setiap nilai adalah UTF-8 string.

  Argumen tugas yang terkait dengan eksekusi ini. Agar tugas ini berjalan, argumen default yang diatur dalam ketentuan tugas itu sendiri diganti.

  Anda dapat menentukan argumen di sini yang digunakan skrip eksekusi pekerjaan Anda sendiri, serta argumen yang dikonsumsi AWS Glue sendiri.

  Argumen pekerjaan dapat dicatat. Jangan menyampaikan rahasia plaintext sebagai argumen. Ambil rahasia dari Kon AWS Glue eksi, AWS Secrets Manager atau mekanisme manajemen rahasia lainnya jika Anda ingin menyimpannya dalam Pekerjaan.

  Untuk informasi tentang cara menentukan dan menggunakan argumen Tugas Anda sendiri, lihat topik Memanggil API AWS Glue dalam Python dalam panduan developer.

  Untuk informasi tentang argumen yang dapat Anda berikan ke bidang ini saat mengonfigurasi pekerjaan Spark, lihat Param eter Khusus yang Dig AWS Glue unakan berdasarkan topik dalam panduan pengembang.

  Untuk informasi tentang argumen yang dapat Anda berikan ke bidang ini saat mengonfigurasi pekerjaan Ray, lihat Menggunakan parameter pekerjaan di pekerjaan Ray di panduan pengembang.

• ErrorMessage— UTF-8 tali.

  Pesan kesalahan yang terkait dengan eksekusi tugas ini.

• PredecessorRuns – Susunan objek Pendahulu.

  Daftar pendahulu untuk eksekusi tugas ini.

• AllocatedCapacity — Nomor (bilangan bulat).

  Bidang ini tidak lagi digunakan. Gunakan MaxCapacity sebagai gantinya.

  Jumlah unit pemrosesan AWS Glue data (DPU) yang dialokasikan untuk ini JobRun. Dapat dialokasikan dari 2 hingga 100 DPU; default-nya adalah 10. DPU adalah ukuran relatif daya pemrosesan yang terdiri dari 4 vCPU kapasitas komputasi dan 16 GB memori. Untuk informasi lebih lanjut, lihat halaman harga AWS Glue.

• ExecutionTime — Nomor (bilangan bulat).

  Jumlah waktu (dalam satuan detik) di mana eksekusi tugas ini menggunakan sumber daya.

• Timeout — Nomor (bilangan bulat), minimal 1.

  Waktu habis JobRun, dalam satuan menit. Ini adalah waktu maksimum yang bisa digunakan oleh eksekusi tugas untuk menggunakan sumber daya sebelum eksekusi dihentikan dan memasuki status TIMEOUT. Nilai ini menggantikan nilai batas waktu yang ditetapkan dalam pekerjaan induk.

  Pekerjaan harus memiliki nilai batas waktu kurang dari 7 hari atau 10080 menit. Jika tidak, pekerjaan akan menimbulkan pengecualian.

  Ketika nilai dibiarkan kosong, batas waktu secara default ditetapkan menjadi 2,880 menit untuk Glue versi 4.0 dan sebelumnya, atau 480 menit untuk Glue versi 5.0 dan yang lebih baru.

  Setiap AWS Glue pekerjaan yang ada yang memiliki nilai batas waktu lebih dari 7 hari akan default menjadi 7 hari. Misalnya jika Anda telah menentukan batas waktu 20 hari untuk pekerjaan batch, itu akan dihentikan pada hari ke-7.

  Untuk pekerjaan streaming, jika Anda telah menyiapkan jendela pemeliharaan, itu akan dimulai ulang selama jendela pemeliharaan setelah 7 hari.

• MaxCapacity — Nomor (ganda).

  Untuk pekerjaan Glue versi 1.0 atau sebelumnya, menggunakan tipe pekerja standar, jumlah unit pemrosesan AWS Glue data (DPU) yang dapat dialokasikan saat pekerjaan ini berjalan. DPU adalah ukuran relatif daya pemrosesan yang terdiri dari 4 vCPU kapasitas komputasi dan 16 GB memori. Untuk informasi lebih lanjut, lihat halaman harga AWS Glue.

  Untuk pekerjaan Glue versi 2.0+, Anda tidak dapat menentukan aMaximum capacity. Sebaliknya, Anda harus menentukan Worker type dan Number of workers.

  Jangan mengatur MaxCapacity jika Anda menggunakan WorkerType dan NumberOfWorkers.

  Nilai yang dapat dialokasikan untuk MaxCapacity tergantung pada apakah Anda menjalankan tugas shell Python, tugas ETL Apache Spark, atau tugas ETL Apache Spark streaming:

  • Ketika anda menentukan tugas shell Python (JobCommand.Name="pythonshell"), Anda dapat mengalokasikan 0,0625 atau 1 DPU. Default-nya adalah 0,0625 DPU.

  • Bila Anda menentukan tugas ETL Apache Spark (JobCommand.Name="glueetl") atau tugas ETL Apache Spark streaming (JobCommand.Name="gluestreaming"), Anda dapat mengalokasikan dari 2 hingga 100 dPU. Default-nya adalah 10 DPU. Jenis tugas ini tidak dapat memiliki alokasi DPU pecahan.

• WorkerType— UTF-8 string (nilai yang valid: Standard="" G.1X="" | G.2X="" | G.025X="" | G.4X="" | G.8X="" |Z.2X="").

  Jenis pekerja yang telah ditetapkan sebelumnya yang dialokasikan ketika sebuah tugas dieksekusi. Menerima nilai G.1X, G.2X, G.4X, G.8X atau G.025X untuk pekerjaan Spark. Menerima nilai Z.2X untuk pekerjaan Ray.

  • Untuk tipe G.1X pekerja, setiap pekerja memetakan ke 1 DPU (4 vCPU, memori 16 GB) dengan disk 94GB, dan menyediakan 1 eksekutor per pekerja. Kami merekomendasikan jenis pekerja ini untuk beban kerja seperti transformasi data, gabungan, dan kueri, untuk menawarkan cara yang dapat diskalakan dan hemat biaya untuk menjalankan sebagian besar pekerjaan.

  • Untuk tipe G.2X pekerja, setiap pekerja memetakan ke 2 DPU (8 vCPU, memori 32 GB) dengan disk 138GB, dan menyediakan 1 eksekutor per pekerja. Kami merekomendasikan jenis pekerja ini untuk beban kerja seperti transformasi data, gabungan, dan kueri, untuk menawarkan cara yang dapat diskalakan dan hemat biaya untuk menjalankan sebagian besar pekerjaan.

  • Untuk tipe G.4X pekerja, setiap pekerja memetakan ke 4 DPU (16 vCPU, 64 GB memori) dengan disk 256GB, dan menyediakan 1 eksekutor per pekerja. Kami merekomendasikan jenis pekerja ini untuk pekerjaan yang beban kerjanya berisi transformasi, agregasi, gabungan, dan kueri yang paling menuntut. Jenis pekerja ini hanya tersedia untuk pekerjaan Spark ETL AWS Glue versi 3.0 atau yang lebih baru di Wil AWS ayah berikut: AS Timur (Ohio), AS Timur (Virginia Utara), AS Barat (Oregon), Asia Pasifik (Singapura), Asia Pasifik (Sydney), Asia Pasifik (Tokyo), Kanada (Tengah), Eropa (Frankfurt), Eropa (Irlandia), dan Eropa (Stockholm).

  • Untuk tipe G.8X pekerja, setiap pekerja memetakan ke 8 DPU (32 vCPU, memori 128 GB) dengan disk 512GB, dan menyediakan 1 eksekutor per pekerja. Kami merekomendasikan jenis pekerja ini untuk pekerjaan yang beban kerjanya berisi transformasi, agregasi, gabungan, dan kueri yang paling menuntut. Jenis pekerja ini hanya tersedia untuk pekerjaan Spark ETL AWS Glue versi 3.0 atau yang lebih baru, di Wil AWS ayah yang sama dengan yang didukung untuk jenis G.4X pekerja.

  • Untuk tipe G.025X pekerja, setiap pekerja memetakan ke 0,25 DPU (2 vCPU, memori 4 GB) dengan disk 84GB, dan menyediakan 1 eksekutor per pekerja. Kami merekomendasikan jenis pekerja ini untuk pekerjaan streaming volume rendah. Jenis pekerja ini hanya tersedia untuk pekerjaan streaming AWS Glue versi 3.0 atau yang lebih baru.

  • Untuk tipe Z.2X pekerja, setiap pekerja memetakan ke 2 M-DPU (8vCPU, memori 64 GB) dengan disk 128 GB, dan menyediakan hingga 8 pekerja Ray berdasarkan autoscaler.

• NumberOfWorkers — Nomor (bilangan bulat).

  Jumlah pekerja dari workerType ditentukan yang dialokasikan ketika sebuah tugas dieksekusi.

• SecurityConfiguration— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Nama struktur SecurityConfiguration yang akan digunakan dengan eksekusi tugas ini.

• LogGroupName— UTF-8 tali.

  Nama grup log untuk pencatatan aman yang dapat dienkripsi sisi server di Amazon CloudWatch menggunakan. AWS KMS Nama ini dapat /aws-glue/jobs/, dalam hal ini enkripsi default-nya adalah NONE. Jika Anda menambahkan nama peran dan nama SecurityConfiguration (dengan kata lain, /aws-glue/jobs-yourRoleName-yourSecurityConfigurationName/), maka konfigurasi keamanan tersebut digunakan untuk mengenkripsi grup log.

• NotificationProperty — Sebuah objek NotificationProperty.

  Menentukan properti konfigurasi dari sebuah notifikasi eksekusi tugas.

• GlueVersion— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganCustom string pattern #45.

  Dalam pekerjaan SparkGlueVersion, tentukan versi Apache Spark dan Python yang AWS Glue tersedia dalam pekerjaan. Versi Python menunjukkan versi yang didukung untuk tugas tipe Spark.

  Pekerjaan Ray harus disetel GlueVersion ke 4.0 atau lebih besar. Namun, versi Ray, Python, dan pustaka tambahan yang tersedia di pekerjaan Ray Anda ditentukan oleh Runtime parameter perintah Job.

  Untuk informasi selengkapnya tentang AWS Glue versi yang tersedia dan versi Spark dan Python yang sesuai, lihat versi Glue di panduan pengembang.

  Pekerjaan yang dibuat tanpa menentukan versi Glue default untuk Glue 5.1.

• DPUSeconds — Nomor (ganda).

  Bidang ini dapat disetel untuk menjalankan tugas dengan kelas eksekusi FLEX atau saat Auto Scaling diaktifkan, dan mewakili total waktu yang dijalankan setiap pelaksana selama siklus proses pekerjaan dalam hitungan detik, dikalikan dengan faktor DPU (1 untukG.1X, 2 untukG.2X, atau 0,25 untuk G.025X pekerja). Nilai ini mungkin berbeda dari executionEngineRuntime * MaxCapacity seperti dalam kasus pekerjaan Auto Scaling, karena jumlah eksekutor yang berjalan pada waktu tertentu mungkin kurang dariMaxCapacity. Oleh karena itu, ada kemungkinan bahwa nil DPUSeconds ainya kurang dari executionEngineRuntime *MaxCapacity.

• ExecutionClass— UTF-8 string, tidak lebih dari 16 byte panjang (nilai valid: FLEX="" |STANDARD="").

  Menunjukkan apakah pekerjaan dijalankan dengan kelas eksekusi standar atau fleksibel. Kelas eksekusi standar sangat ideal untuk beban kerja yang sensitif terhadap waktu yang memerlukan startup pekerjaan yang cepat dan sumber daya khusus.

  Kelas eksekusi fleksibel sesuai untuk pekerjaan yang tidak peka waktu yang waktu mulai dan penyelesaiannya dapat bervariasi.

  Hanya pekerjaan dengan AWS Glue versi 3.0 ke atas dan tipe perintah yang glueetl diizinkan untuk disetel ExecutionClass keFLEX. Kelas eksekusi fleksibel tersedia untuk pekerjaan Spark.

• MaintenanceWindow— UTF-8 string, cocok denganCustom string pattern #54.

  Bidang ini menentukan hari dalam seminggu dan jam untuk jendela pemeliharaan untuk pekerjaan streaming. AWS Glue secara berkala melakukan kegiatan pemeliharaan. Selama jendela pemeliharaan ini, AWS Glue perlu memulai ulang pekerjaan streaming Anda.

  AWS Glue akan memulai kembali pekerjaan dalam waktu 3 jam dari jendela pemeliharaan yang ditentukan. Misalnya, jika Anda mengatur jendela pemeliharaan untuk hari Senin pukul 10:00 GMT, pekerjaan Anda akan dimulai kembali antara pukul 10:00 GMT hingga 13:00 GMT.

• ProfileName— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Nama profil AWS Glue penggunaan yang terkait dengan pekerjaan yang dijalankan.

• StateDetail— UTF-8 string, panjangnya tidak lebih dari 400000 byte.

  Bidang ini menyimpan detail yang berkaitan dengan status pekerjaan yang dijalankan. Bidang tersebut dapat dibatalkan.

  Misalnya, ketika pekerjaan dijalankan dalam status WAITING sebagai akibat dari antrian job run, bidang tersebut memiliki alasan mengapa job run berada dalam status tersebut.

• ExecutionRoleSessionPolicy— UTF-8 string, tidak kurang dari 2 atau lebih dari 2048 byte panjangnya.

  Kebijakan sesi sebaris ke StartJobRun API ini memungkinkan Anda membatasi izin peran eksekusi yang ditentukan secara dinamis untuk ruang lingkup pekerjaan, tanpa memerlukan pembuatan peran IAM tambahan.

Bidang

• JobName— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Nama definisi tugas yang digunakan oleh eksekusi tugas pendahulunya.

• RunId— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  ID eksekusi tugas dari eksekusi tugas pendahulu.

Bidang

• JobName— UTF-8 tali.

  Nama tugas yang dimaksud.

• Version — Nomor (bilangan bulat).

  Versi tugas.

• Run — Nomor (bilangan bulat).

  Nomor ID eksekusi.

• Attempt — Nomor (bilangan bulat).

  Nomor ID percobaan.

• PreviousRunId— UTF-8 tali.

  Pengenal eksekusi unik yang terkait dengan eksekusi tugas sebelumnya.

• RunId— UTF-8 tali.

  Nomor ID eksekusi.

• JobBookmark— UTF-8 tali.

  Bookmark itu sendiri.

Bidang

• JobName— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Nama definisi tugas yang digunakan dalam eksekusi tugas yang dihentikan.

• JobRunId— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  JobRunId dari eksekusi tugas yang telah dihentikan.

Bidang

• JobName— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Nama definisi tugas yang digunakan dalam eksekusi tugas yang bersangkutan.

• JobRunId— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  JobRunId dari eksekusi tugas yang bersangkutan.

• ErrorDetail — Sebuah objek ErrorDetail.

  Menentukan detail tentang kesalahan yang ditemui.

Bidang

• NotifyDelayAfter — Nomor (bilangan bulat), minimal 1.

  Setelah tugas dimulai, jumlah menit untuk menunggu sebelum mengirim notifikasi penundaan tugas.

• StartJobRun tindakan (Python: start_job_run)

• BatchStopJobRun tindakan (Python: batch_stop_job_run)

• GetJobRun tindakan (Python: get_job_run)

• GetJobRuns tindakan (Python: get_job_runs)

• GetJobBookmark tindakan (Python: get_job_bookmark)

• GetJobBookmarks tindakan (Python: get_job_bookmark)

• ResetJobBookmark tindakan (Python: reset_job_bookmark)

Permintaan

• JobName- Diperlukan: UTF-8 string, panjang tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Nama definisi tugas yang akan digunakan.

• JobRunQueuingEnabled – Boolean.

  Menentukan apakah antrian menjalankan pekerjaan diaktifkan untuk menjalankan pekerjaan.

  Nilai true berarti antrian job run diaktifkan untuk menjalankan pekerjaan. Jika salah atau tidak diisi, pekerjaan yang dijalankan tidak akan dipertimbangkan untuk mengantri.

• JobRunId— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  ID dari JobRun sebelumnya yang akan diulang.

• Arguments – Susunan peta pasangan nilai kunci.

  Setiap kunci adalah UTF-8 string.

  Setiap nilai adalah UTF-8 string.

  Argumen tugas yang terkait dengan eksekusi ini. Agar tugas ini berjalan, argumen default yang diatur dalam ketentuan tugas itu sendiri diganti.

  Anda dapat menentukan argumen di sini yang digunakan skrip eksekusi pekerjaan Anda sendiri, serta argumen yang dikonsumsi AWS Glue sendiri.

  Argumen pekerjaan dapat dicatat. Jangan menyampaikan rahasia plaintext sebagai argumen. Ambil rahasia dari Kon AWS Glue eksi, AWS Secrets Manager atau mekanisme manajemen rahasia lainnya jika Anda ingin menyimpannya dalam Pekerjaan.

  Untuk informasi tentang cara menentukan dan menggunakan argumen Tugas Anda sendiri, lihat topik Memanggil API AWS Glue dalam Python dalam panduan developer.

  Untuk informasi tentang argumen yang dapat Anda berikan ke bidang ini saat mengonfigurasi pekerjaan Spark, lihat Param eter Khusus yang Dig AWS Glue unakan berdasarkan topik dalam panduan pengembang.

  Untuk informasi tentang argumen yang dapat Anda berikan ke bidang ini saat mengonfigurasi pekerjaan Ray, lihat Menggunakan parameter pekerjaan di pekerjaan Ray di panduan pengembang.

• AllocatedCapacity — Nomor (bilangan bulat).

  Bidang ini tidak lagi digunakan. Gunakan MaxCapacity sebagai gantinya.

  Jumlah unit pemrosesan AWS Glue data (DPU) yang dialokasikan untuk ini JobRun. Anda dapat mengalokasikan minimal 2 DPU; defaultnya adalah 10. DPU adalah ukuran relatif daya pemrosesan yang terdiri dari 4 vCPU kapasitas komputasi dan 16 GB memori. Untuk informasi lebih lanjut, lihat halaman harga AWS Glue.

• Timeout — Nomor (bilangan bulat), minimal 1.

  Waktu habis JobRun, dalam satuan menit. Ini adalah waktu maksimum yang bisa digunakan oleh eksekusi tugas untuk menggunakan sumber daya sebelum eksekusi dihentikan dan memasuki status TIMEOUT. Nilai ini menggantikan nilai batas waktu yang ditetapkan dalam pekerjaan induk.

  Pekerjaan harus memiliki nilai batas waktu kurang dari 7 hari atau 10080 menit. Jika tidak, pekerjaan akan menimbulkan pengecualian.

  Ketika nilai dibiarkan kosong, batas waktu secara default ditetapkan menjadi 2,880 menit untuk Glue versi 4.0 dan sebelumnya, atau 480 menit untuk Glue versi 5.0 dan yang lebih baru.

  Setiap AWS Glue pekerjaan yang ada yang memiliki nilai batas waktu lebih dari 7 hari akan default menjadi 7 hari. Misalnya jika Anda telah menentukan batas waktu 20 hari untuk pekerjaan batch, itu akan dihentikan pada hari ke-7.

  Untuk pekerjaan streaming, jika Anda telah menyiapkan jendela pemeliharaan, itu akan dimulai ulang selama jendela pemeliharaan setelah 7 hari.

• MaxCapacity — Nomor (ganda).

  Untuk pekerjaan Glue versi 1.0 atau sebelumnya, menggunakan tipe pekerja standar, jumlah unit pemrosesan AWS Glue data (DPU) yang dapat dialokasikan saat pekerjaan ini berjalan. DPU adalah ukuran relatif daya pemrosesan yang terdiri dari 4 vCPU kapasitas komputasi dan 16 GB memori. Untuk informasi lebih lanjut, lihat halaman harga AWS Glue.

  Untuk pekerjaan Glue versi 2.0+, Anda tidak dapat menentukan aMaximum capacity. Sebaliknya, Anda harus menentukan Worker type dan Number of workers.

  Jangan mengatur MaxCapacity jika Anda menggunakan WorkerType dan NumberOfWorkers.

  Nilai yang dapat dialokasikan untuk MaxCapacity tergantung pada apakah Anda menjalankan tugas shell Python, tugas ETL Apache Spark, atau tugas ETL Apache Spark streaming:

  • Ketika anda menentukan tugas shell Python (JobCommand.Name="pythonshell"), Anda dapat mengalokasikan 0,0625 atau 1 DPU. Default-nya adalah 0,0625 DPU.

  • Bila Anda menentukan tugas ETL Apache Spark (JobCommand.Name="glueetl") atau tugas ETL Apache Spark streaming (JobCommand.Name="gluestreaming"), Anda dapat mengalokasikan dari 2 hingga 100 dPU. Default-nya adalah 10 DPU. Jenis tugas ini tidak dapat memiliki alokasi DPU pecahan.

• SecurityConfiguration— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Nama struktur SecurityConfiguration yang akan digunakan dengan eksekusi tugas ini.

• NotificationProperty — Sebuah objek NotificationProperty.

  Menentukan properti konfigurasi dari sebuah notifikasi eksekusi tugas.

• WorkerType— UTF-8 string (nilai yang valid: Standard="" G.1X="" | G.2X="" | G.025X="" | G.4X="" | G.8X="" |Z.2X="").

  Jenis pekerja yang telah ditetapkan sebelumnya yang dialokasikan ketika sebuah tugas dieksekusi. Menerima nilai G.1X, G.2X, G.4X, G.8X atau G.025X untuk pekerjaan Spark. Menerima nilai Z.2X untuk pekerjaan Ray.

  • Untuk tipe G.1X pekerja, setiap pekerja memetakan ke 1 DPU (4 vCPU, memori 16 GB) dengan disk 94GB, dan menyediakan 1 eksekutor per pekerja. Kami merekomendasikan jenis pekerja ini untuk beban kerja seperti transformasi data, gabungan, dan kueri, untuk menawarkan cara yang dapat diskalakan dan hemat biaya untuk menjalankan sebagian besar pekerjaan.

  • Untuk tipe G.2X pekerja, setiap pekerja memetakan ke 2 DPU (8 vCPU, memori 32 GB) dengan disk 138GB, dan menyediakan 1 eksekutor per pekerja. Kami merekomendasikan jenis pekerja ini untuk beban kerja seperti transformasi data, gabungan, dan kueri, untuk menawarkan cara yang dapat diskalakan dan hemat biaya untuk menjalankan sebagian besar pekerjaan.

  • Untuk tipe G.4X pekerja, setiap pekerja memetakan ke 4 DPU (16 vCPU, 64 GB memori) dengan disk 256GB, dan menyediakan 1 eksekutor per pekerja. Kami merekomendasikan jenis pekerja ini untuk pekerjaan yang beban kerjanya berisi transformasi, agregasi, gabungan, dan kueri yang paling menuntut. Jenis pekerja ini hanya tersedia untuk pekerjaan Spark ETL AWS Glue versi 3.0 atau yang lebih baru di Wil AWS ayah berikut: AS Timur (Ohio), AS Timur (Virginia Utara), AS Barat (Oregon), Asia Pasifik (Singapura), Asia Pasifik (Sydney), Asia Pasifik (Tokyo), Kanada (Tengah), Eropa (Frankfurt), Eropa (Irlandia), dan Eropa (Stockholm).

  • Untuk tipe G.8X pekerja, setiap pekerja memetakan ke 8 DPU (32 vCPU, memori 128 GB) dengan disk 512GB, dan menyediakan 1 eksekutor per pekerja. Kami merekomendasikan jenis pekerja ini untuk pekerjaan yang beban kerjanya berisi transformasi, agregasi, gabungan, dan kueri yang paling menuntut. Jenis pekerja ini hanya tersedia untuk pekerjaan Spark ETL AWS Glue versi 3.0 atau yang lebih baru, di Wil AWS ayah yang sama dengan yang didukung untuk jenis G.4X pekerja.

  • Untuk tipe G.025X pekerja, setiap pekerja memetakan ke 0,25 DPU (2 vCPU, memori 4 GB) dengan disk 84GB, dan menyediakan 1 eksekutor per pekerja. Kami merekomendasikan jenis pekerja ini untuk pekerjaan streaming volume rendah. Jenis pekerja ini hanya tersedia untuk pekerjaan streaming AWS Glue versi 3.0 atau yang lebih baru.

  • Untuk tipe Z.2X pekerja, setiap pekerja memetakan ke 2 M-DPU (8vCPU, memori 64 GB) dengan disk 128 GB, dan menyediakan hingga 8 pekerja Ray berdasarkan autoscaler.

• NumberOfWorkers — Nomor (bilangan bulat).

  Jumlah pekerja dari workerType ditentukan yang dialokasikan ketika sebuah tugas dieksekusi.

• ExecutionClass— UTF-8 string, tidak lebih dari 16 byte panjang (nilai valid: FLEX="" |STANDARD="").

  Menunjukkan apakah pekerjaan dijalankan dengan kelas eksekusi standar atau fleksibel. Kelas eksekusi standar sangat ideal untuk beban kerja yang sensitif terhadap waktu yang memerlukan startup pekerjaan yang cepat dan sumber daya khusus.

  Kelas eksekusi fleksibel sesuai untuk pekerjaan yang tidak peka waktu yang waktu mulai dan penyelesaiannya dapat bervariasi.

  Hanya pekerjaan dengan AWS Glue versi 3.0 ke atas dan tipe perintah yang glueetl diizinkan untuk disetel ExecutionClass keFLEX. Kelas eksekusi fleksibel tersedia untuk pekerjaan Spark.

• ProfileName— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Nama profil AWS Glue penggunaan yang terkait dengan pekerjaan yang dijalankan.

• ExecutionRoleSessionPolicy— UTF-8 string, tidak kurang dari 2 atau lebih dari 2048 byte panjangnya.

  Kebijakan sesi sebaris ke StartJobRun API ini memungkinkan Anda membatasi izin peran eksekusi yang ditentukan secara dinamis untuk ruang lingkup pekerjaan, tanpa memerlukan pembuatan peran IAM tambahan.

Respons

• JobRunId— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  ID yang ditetapkan untuk eksekusi tugas ini.

Kesalahan

• InvalidInputException

• EntityNotFoundException

• InternalServiceException

• OperationTimeoutException

• ResourceNumberLimitExceededException

• ConcurrentRunsExceededException

Permintaan

• JobName- Diperlukan: UTF-8 string, panjang tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Nama definisi tugas yang akan menghentikan eksekusi tugas.

• JobRunIds- Diperlukan: Sebuah array UTF-8 string, tidak kurang dari 1 atau lebih dari 25 string.

  Daftar JobRunIds yang harus dihentikan untuk definisi tugas itu.

Respons

• SuccessfulSubmissions – Susunan objek BatchStopJobRunSuccessfulSubmission.

  Daftar JobRuns yang berhasil dikirim untuk dihentikan.

• Errors – Susunan objek BatchStopJobRunError.

  Daftar kesalahan yang ditemui dalam mencoba untuk menghentikan JobRuns, termasuk JobRunId yang ditemui kesalahannya dan detail tentang kesalahannya.

Kesalahan

• InvalidInputException

• InternalServiceException

• OperationTimeoutException

Permintaan

• JobName- Diperlukan: UTF-8 string, panjang tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Nama definisi tugas yang sedang dijalankan.

• RunId- Diperlukan: UTF-8 string, panjang tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  ID dari eksekusi tugas.

• PredecessorsIncluded – Boolean.

  BETUL jika daftar eksekusi pendahulu harus dikembalikan.

Respons

• JobRun — Sebuah objek JobRun.

  Metadata eksekusi tugas yang diminta.

Kesalahan

• InvalidInputException

• EntityNotFoundException

• InternalServiceException

• OperationTimeoutException

Permintaan

• JobName- Diperlukan: UTF-8 string, panjang tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Nama definisi tugas untuk yang akan diambil semua eksekusi tugas-nya.

• NextToken— UTF-8 tali.

  Sebuah token kelanjutan, jika ini adalah panggilan kelanjutan.

• MaxResults— Angka (integer), tidak kurang dari 1 atau lebih dari 200.

  Ukuran maksimum respons.

Respons

• JobRuns – Susunan objek JobRun.

  Daftar objek metadata eksekusi tugas.

• NextToken— UTF-8 tali.

  Sebuah token kelanjutan, jika bukan semua eksekusi tugas yang diminta yang telah dikembalikan.

Kesalahan

• InvalidInputException

• EntityNotFoundException

• InternalServiceException

• OperationTimeoutException

• Melacak data yang diproses menggunakan bookmark pekerjaan

• Parameter pekerjaan yang digunakan oleh AWS Glue

• Struktur pekerjaan

Permintaan

• JobName- Diperlukan: UTF-8 string.

  Nama tugas yang dimaksud.

• Version — Nomor (bilangan bulat).

  Versi tugas.

• RunId— UTF-8 tali.

  Pengenal unik eksekusi yang terkait dengan eksekusi tugas ini.

Respons

• JobBookmarkEntry — Sebuah objek JobBookmarkEntry.

  Sebuah struktur yang mendefinisikan titik di mana sebuah tugas dapat melanjutkan pengolahan.

Kesalahan

• EntityNotFoundException

• InvalidInputException

• InternalServiceException

• OperationTimeoutException

• ValidationException

• Melacak data yang diproses menggunakan bookmark pekerjaan

• Parameter pekerjaan yang digunakan oleh AWS Glue

• Struktur pekerjaan

Permintaan

• JobName- Diperlukan: UTF-8 string.

  Nama tugas yang dimaksud.

• MaxResults — Nomor (bilangan bulat).

  Ukuran maksimum respons.

• NextToken — Nomor (bilangan bulat).

  Sebuah token kelanjutan, jika ini adalah panggilan kelanjutan.

Respons

• JobBookmarkEntries – Susunan objek JobBookmarkEntry.

  Daftar entri bookmark tugas yang mendefinisikan titik di mana tugas dapat melanjutkan pemrosesan.

• NextToken — Nomor (bilangan bulat).

  Sebuah token kelanjutan, yang memiliki nilai 1 jika semua entri dikembalikan, atau > 1 jika tidak semua eksekusi tugas yang diminta telah dikembalikan.

Kesalahan

• InvalidInputException

• EntityNotFoundException

• InternalServiceException

• OperationTimeoutException

• Melacak data yang diproses menggunakan bookmark pekerjaan

• Parameter pekerjaan yang digunakan oleh AWS Glue

• Struktur pekerjaan

Permintaan

• JobName- Diperlukan: UTF-8 string.

  Nama tugas yang dimaksud.

• RunId— UTF-8 tali.

  Pengenal unik eksekusi yang terkait dengan eksekusi tugas ini.

Respons

• JobBookmarkEntry — Sebuah objek JobBookmarkEntry.

  Entri bookmark pengaturan ulang.

Kesalahan

• EntityNotFoundException

• InvalidInputException

• InternalServiceException

• OperationTimeoutException