View a markdown version of this page

ジョブとセッションのデバッグ - Amazon EMR

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

ジョブとセッションのデバッグ

注記

この機能を使用することにより、フィルタリングされていない機密情報を含む可能性のあるシステムプロファイルワーカーの stdout ログと stderr ログにアクセスできます。以下のアクセス許可は、非本番データへのアクセスにのみ使用してください。本番稼働用ジョブで使用するように作成されたアプリケーションの場合、これらのアクセス許可は、昇格されたデータアクセスを持つ管理者またはユーザーにのみ追加することを強くお勧めします。

Amazon EMR Serverless は、Lake Formation 対応ワークロードのシステムプロファイルワーカーの stdout ログと stderr ログにアクセスできるセルフデバッグ機能を提供します。これを使用するには、ワークロードタイプのダッシュボード API で accessSystemProfileLogs パラメータを true に設定します。

  • Lake Formation 対応バッチジョブ (EMR-7.3.0 以降) の場合は、GetDashboardForJobRun API を使用します。

  • Lake Formation が有効な Spark Connect セッション (emr-7.14.0 以降、emr-spark-8.1.0または 以降) の場合は、resourceType を SESSION に設定して GetResourceDashboard API を使用します。

aws emr-serverless get-dashboard-for-job-run \ --application-id application-id --job-run-id job-run-id --access-system-profile-logs
aws emr-serverless get-resource-dashboard \ --application-id application-id \ --resource-id session-id \ --resource-type SESSION \ --access-system-profile-logs

必要なアクセス許可

自己デバッグを行うプリンシパルには、次の追加のアクセス許可が必要です。// コメントは、バッチジョブと Spark Connect セッションに適用されるアクションとリソース ARN をマークします。JSON はコメントをサポートしていないため、ポリシーを使用する前にワークロードタイプのエントリを保持し、コメントを削除します。

{ "Sid": "AccessSystemProfileLogs", "Effect": "Allow", "Action": [ "emr-serverless:GetDashboardForJobRun", // batch job "emr-serverless:GetResourceDashboard", // Spark Connect session "emr-serverless:AccessSystemProfileLogs", "glue:GetDatabases", "glue:SearchTables" ], "Resource": [ "arn:aws:emr-serverless:region:account-id:/applications/applicationId/jobruns/jobid", // batch job "arn:aws:emr-serverless:region:account-id:/applications/applicationId/sessions/sessionId", // Spark Connect session "arn:aws:glue:region:account-id:catalog", "arn:aws:glue:region:account-id:database/*", "arn:aws:glue:region:account-id:table/*/*" ] }

考慮事項

デバッグ用のシステムプロファイルログは、ジョブまたはセッションと同じアカウント内の Lake Formation のデータベースまたはテーブルにアクセスするジョブおよびセッションに表示されます。以下のシナリオでは表示されません:

  • Lake Formation アクセス許可を使用して管理されるデータカタログにクロスアカウントデータベースとテーブルがある場合

  • Lake Formation アクセス許可を使用して管理されるデータカタログにリソースリンクがある場合