View a markdown version of this page

Pekerjaan dan sesi debugging - Amazon EMR
Izin yang diperlukanPertimbangan-pertimbangan

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Pekerjaan dan sesi debugging

catatan

Dengan fitur ini, akses stdout dan stderr log untuk pekerja profil sistem yang mungkin berisi informasi sensitif tanpa filter. Izin berikut harus digunakan hanya untuk mengakses data non-produksi. Untuk aplikasi yang dibuat untuk digunakan dengan pekerjaan produksi, kami sangat menyarankan agar Anda menambahkan izin ini hanya untuk administrator atau pengguna dengan akses data yang lebih tinggi.

Amazon EMR Serverless menyediakan kemampuan self-debugging yang memungkinkan Anda mengakses log stdout dan stderr pekerja profil sistem untuk beban kerja Lake. Formation-enabled Untuk menggunakannya, setel SystemProfileLogs parameter akses ke true pada API dasbor untuk jenis beban kerja Anda:

  • Untuk pekerjaan Formation-enabled batch Lake (EMR-7.3.0 dan yang lebih baru), gunakan GetDashboardForJobRunAPI.

  • Untuk sesi Lake Formation-enabled Spark Connect (emr-7.14.0dan yang lebih baru, atau emr-spark-8.1.0 yang lebih baru), gunakan GetResourceDashboardAPI dengan ResourceType yang disetel ke SESSION.

aws emr-serverless get-dashboard-for-job-run \
  --application-id application-id
  --job-run-id job-run-id
  --access-system-profile-logs
aws emr-serverless get-resource-dashboard \
  --application-id application-id \
  --resource-id session-id \
  --resource-type SESSION \
  --access-system-profile-logs

Izin yang diperlukan

Kepala sekolah yang ingin men-debug sendiri harus memiliki izin tambahan berikut. //Komentar menandai tindakan dan sumber daya yang diterapkan ARN untuk pekerjaan batch versus sesi Spark Connect — simpan entri untuk jenis beban kerja Anda dan hapus komentar sebelum Anda menggunakan kebijakan, karena JSON tidak mendukung komentar.

{
    "Sid": "AccessSystemProfileLogs",
    "Effect": "Allow",
    "Action": [
        "emr-serverless:GetDashboardForJobRun",    // batch job
        "emr-serverless:GetResourceDashboard",     // Spark Connect session
        "emr-serverless:AccessSystemProfileLogs",
        "glue:GetDatabases",
        "glue:SearchTables"
    ],
    "Resource": [
        "arn:aws:emr-serverless:region:account-id:/applications/applicationId/jobruns/jobid",        // batch job
        "arn:aws:emr-serverless:region:account-id:/applications/applicationId/sessions/sessionId",  // Spark Connect session
        "arn:aws:glue:region:account-id:catalog",
        "arn:aws:glue:region:account-id:database/*",
        "arn:aws:glue:region:account-id:table/*/*"
    ]
}

Pertimbangan-pertimbangan

Log profil sistem untuk debugging terlihat untuk pekerjaan dan sesi yang mengakses database atau tabel di Lake Formation dalam akun yang sama dengan pekerjaan atau sesi. Mereka tidak terlihat dalam skenario berikut:

  • Jika katalog data yang dikelola menggunakan izin Lake Formation memiliki database dan tabel lintas akun

  • Jika katalog data yang dikelola menggunakan izin Lake Formation memiliki tautan sumber daya