Sesi latar belakang pengguna untuk AWS Glue ETL - AWS Glue

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Sesi latar belakang pengguna untuk AWS Glue ETL

Sesi latar belakang pengguna memungkinkan analitik yang berjalan lama dan beban kerja pembelajaran mesin untuk dilanjutkan bahkan setelah pengguna keluar dari antarmuka notebook mereka. Kemampuan ini diimplementasikan melalui AWS Glue fitur propagasi identitas tepercaya. Halaman berikut menjelaskan opsi konfigurasi dan perilaku untuk sesi latar belakang pengguna.

catatan

Sesi latar belakang pengguna berlaku untuk sesi AWS Glue interaktif yang dimulai melalui antarmuka notebook seperti SageMaker Unified Studio. Mengaktifkan atau menonaktifkan fitur ini hanya memengaruhi sesi interaktif baru; sesi aktif yang ada tidak terpengaruh.

Konfigurasikan sesi latar belakang pengguna

Sesi latar belakang pengguna harus diaktifkan pada dua tingkat untuk fungsionalitas yang tepat:

  1. Tingkat instans Pusat Identitas IAM (dikonfigurasi oleh administrator IDC)

  2. AWS Glue Tingkat konfigurasi Pusat Identitas (dikonfigurasi oleh AWS Glue administrator)

Aktifkan sesi latar belakang pengguna untuk AWS Glue

Untuk mengaktifkan sesi latar belakang pengguna AWS Glue, Anda harus mengatur userBackgroundSessionsEnabled parameter ke true dalam konfigurasi Pusat Identitas saat membuat atau memperbarui konfigurasi.

Prasyarat

  • Peran IAM Anda yang digunakan untuk create/update konfigurasi Pusat AWS Glue Identitas harus memiliki sso:PutApplicationSessionConfiguration izin. Izin ini memungkinkan AWS Glue untuk mengaktifkan sesi latar belakang pengguna di AWS Glue tingkat aplikasi IDC yang dikelola.

  • Sesi AWS Glue interaktif Anda harus menggunakan AWS Glue versi 5.0 atau yang lebih baru dan harus diaktifkan Propagasi Identitas Tepercaya.

Untuk mengaktifkan sesi latar belakang pengguna menggunakan AWS CLI:

aws glue create-glue-identity-center-configuration \ --instance-arn "arn:aws:sso:::instance/ssoins-1234567890abcdef" \ --user-background-sessions-enabled

Untuk memperbarui konfigurasi yang ada:

aws glue update-glue-identity-center-configuration \ --user-background-sessions-enabled

Matriks konfigurasi

Konfigurasi sesi latar belakang pengguna yang efektif bergantung pada pengaturan AWS Glue konfigurasi dan pengaturan tingkat instans Pusat Identitas IAM:

Pusat Identitas IAM userBackgroundSession Diaktifkan? AWS Glue userBackgroundSessionsDiaktifkan Perilaku
Ya BETUL Sesi latar belakang pengguna diaktifkan
Ya SALAH Sesi berakhir dengan logout pengguna
Tidak BETUL Pembuatan sesi gagal dengan Pengecualian
Tidak SALAH Sesi berakhir dengan logout pengguna

Durasi sesi latar belakang pengguna default

Secara default, semua sesi latar belakang pengguna memiliki batas durasi 7 hari di IAM Identity Center. Administrator dapat mengubah durasi ini di konsol Pusat Identitas IAM. Pengaturan ini berlaku pada tingkat instans Pusat Identitas IAM, yang memengaruhi semua aplikasi Pusat Identitas IAM yang didukung dalam instance tersebut.

  • Durasi dapat diatur ke nilai apa pun dari 15 menit hingga 90 hari

  • Pengaturan ini dikonfigurasi di konsol Pusat Identitas IAM di bawah Pengaturan → Otentikasi → Konfigurasi (bagian Pekerjaan Non-Interaktif)

catatan

AWS Glue sesi interaktif memiliki batas waktu idle terpisah 48 jam secara default. Sesi akan berakhir ketika batas waktu idle AWS Glue sesi atau durasi sesi latar belakang pengguna tercapai, mana yang lebih dulu.

Dampak menonaktifkan sesi latar belakang pengguna

Saat sesi latar belakang pengguna dinonaktifkan pada tingkat AWS Glue konfigurasi:

  • Sesi interaktif yang ada: Terus berjalan tanpa gangguan jika dimulai dengan sesi latar belakang pengguna diaktifkan. Sesi ini akan terus menggunakan token sesi latar belakang yang ada sampai mereka berakhir secara alami atau secara eksplisit dihentikan.

  • Sesi interaktif baru: Akan menggunakan alur propagasi identitas tepercaya standar dan akan berakhir ketika pengguna log out atau sesi interaktif mereka kedaluwarsa (seperti saat menutup notebook SageMaker Unified Studio). JupyterLab

Mengubah durasi sesi latar belakang pengguna

Saat pengaturan durasi untuk sesi latar belakang pengguna diubah di Pusat Identitas IAM:

  • Sesi interaktif yang ada: Terus berjalan dengan durasi sesi latar belakang yang sama dengan saat mereka memulai

  • Sesi interaktif baru: Akan menggunakan durasi sesi baru untuk sesi latar belakang

Pertimbangan runtime

Kondisi penghentian sesi

Saat menggunakan sesi latar belakang pengguna, sesi AWS Glue interaktif akan terus berjalan hingga salah satu hal berikut terjadi:

  • Sesi latar belakang pengguna kedaluwarsa (berdasarkan konfigurasi IDC, hingga 90 hari)

  • Sesi latar belakang pengguna dicabut secara manual oleh administrator

  • Sesi AWS Glue interaktif mencapai batas waktu idle (default: 48 jam setelah pernyataan terakhir yang dieksekusi)

  • Pengguna secara eksplisit menghentikan atau memulai ulang kernel notebook

Persistensi data

Saat menggunakan sesi latar belakang pengguna:

  • Pengguna tidak dapat menyambung kembali ke antarmuka notebook mereka untuk melihat hasil setelah mereka keluar

  • Konfigurasikan pernyataan Spark Anda untuk menulis hasil ke penyimpanan persisten (seperti Amazon S3) sebelum eksekusi selesai

Implikasi biaya

  • Pekerjaan akan terus berjalan hingga selesai bahkan setelah pengguna mengakhiri JupyterLab sesi Studio SageMaker Terpadu mereka dan akan dikenakan biaya selama seluruh durasi proses yang diselesaikan

  • Pantau sesi latar belakang aktif Anda untuk menghindari biaya yang tidak perlu dari sesi yang terlupakan atau ditinggalkan

Ketersediaan fitur

Sesi latar belakang pengguna untuk AWS Glue tersedia untuk:

  • AWS Glue sesi interaktif saja (AWS Glue pekerjaan dan pekerjaan streaming tidak didukung)

  • AWS Glue versi 5.0 dan yang lebih baru

  • Konfigurasi hanya mengaktifkan Propagasi Identitas Tepercaya