View a markdown version of this page

Debuggen von Aufträgen und Sitzungen - Amazon EMR
Erforderliche BerechtigungenÜberlegungen

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Debuggen von Aufträgen und Sitzungen

Anmerkung

Mit dieser Funktion können Sie auf stdout- und stderr-Protokolle für das Systemprofil von Workern zugreifen, die vertrauliche, ungefilterte Informationen enthalten können. Die folgende Berechtigung sollte nur für den Zugriff auf Daten verwendet werden, die nicht zur Produktion verwendet werden. Für Anwendungen, die für die Verwendung mit Produktionsaufträgen erstellt wurden, empfehlen wir dringend, diese Berechtigungen nur Administratoren oder Benutzern mit erhöhtem Datenzugriff zuzuweisen.

Amazon EMR Serverless bietet eine Selbstdebugging-Funktion, mit der Sie auf die stdout- und stderr-Protokolle der Systemprofil-Worker für einen Lake-Workload zugreifen können. Formation-enabled Um es zu verwenden, setzen Sie den SystemProfileLogsZugriffsparameter in der Dashboard-API für Ihren Workload-Typ auf true:

  • Verwenden Sie für einen Formation-enabled Lake-Batch-Job (EMR-7.3.0 und später) die GetDashboardForJobRunAPI.

  • Verwenden Sie für eine Lake Formation-enabled Spark Connect-Sitzung (emr-7.14.0emr-spark-8.1.0und später oder später) die GetResourceDashboardAPI, wobei resourceType auf SESSION gesetzt ist.

aws emr-serverless get-dashboard-for-job-run \
  --application-id application-id
  --job-run-id job-run-id
  --access-system-profile-logs
aws emr-serverless get-resource-dashboard \
  --application-id application-id \
  --resource-id session-id \
  --resource-type SESSION \
  --access-system-profile-logs

Erforderliche Berechtigungen

Der Principal, der selbst debuggen möchte, muss über die folgenden zusätzlichen Berechtigungen verfügen. Die // Kommentare kennzeichnen, welche Aktion und welcher Ressourcen-ARN für einen Batch-Job im Vergleich zu einer Spark Connect-Sitzung gelten. Behalten Sie die Einträge für Ihren Workload-Typ bei und entfernen Sie die Kommentare, bevor Sie die Richtlinie verwenden, da JSON keine Kommentare unterstützt.

{
    "Sid": "AccessSystemProfileLogs",
    "Effect": "Allow",
    "Action": [
        "emr-serverless:GetDashboardForJobRun",    // batch job
        "emr-serverless:GetResourceDashboard",     // Spark Connect session
        "emr-serverless:AccessSystemProfileLogs",
        "glue:GetDatabases",
        "glue:SearchTables"
    ],
    "Resource": [
        "arn:aws:emr-serverless:region:account-id:/applications/applicationId/jobruns/jobid",        // batch job
        "arn:aws:emr-serverless:region:account-id:/applications/applicationId/sessions/sessionId",  // Spark Connect session
        "arn:aws:glue:region:account-id:catalog",
        "arn:aws:glue:region:account-id:database/*",
        "arn:aws:glue:region:account-id:table/*/*"
    ]
}

Überlegungen

Systemprofilprotokolle für das Debuggen sind für Jobs und Sitzungen sichtbar, die innerhalb desselben Kontos wie der Job oder die Sitzung auf Datenbanken oder Tabellen in Lake Formation zugreifen. Sie sind in den folgenden Szenarien nicht sichtbar:

  • Wenn der mit Lake Formation Formation-Berechtigungen verwaltete Datenkatalog kontenübergreifende Datenbanken und Tabellen enthält

  • Wenn der mit Lake Formation Formation-Berechtigungen verwaltete Datenkatalog Ressourcenlinks enthält