기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.
작업 및 세션 디버깅
참고
이 기능을 사용하면 필터링되지 않은 민감한 정보가 포함될 수 있는 시스템 프로파일 워커의 stdout 및 stderr 로그에 액세스할 수 있습니다. 다음 권한은 비프로덕션 데이터에 액세스하는 데만 사용합니다. 프로덕션 작업에 사용하기 위해 생성된 애플리케이션의 경우 데이터 액세스 권한이 높은 관리자 또는 사용자에게만 이러한 권한을 추가하는 것이 좋습니다.
Amazon EMR Serverless는 Lake Formation 지원 워크로드에 대한 시스템 프로파일 작업자의 stdout 및 stderr 로그에 액세스할 수 있는 자체 디버깅 기능을 제공합니다. 이를 사용하려면 워크로드 유형에 대한 대시보드 API에서 accessSystemProfileLogs 파라미터를 true로 설정합니다.
Lake Formation 지원 배치 작업(EMR-7.3.0 이상)의 경우 GetDashboardForJobRun API를 사용합니다.
Lake Formation을 사용하는 Spark Connect 세션(
emr-7.14.0이상 또는emr-spark-8.1.0이상)의 경우 resourceType이 SESSION으로 설정된 GetResourceDashboard API를 사용합니다.
aws emr-serverless get-dashboard-for-job-run \ --application-idapplication-id--job-run-idjob-run-id--access-system-profile-logs
aws emr-serverless get-resource-dashboard \ --application-idapplication-id\ --resource-idsession-id\ --resource-type SESSION \ --access-system-profile-logs
필수 권한
자체 디버깅하려는 보안 주체에는 다음과 같은 추가 권한이 있어야 합니다. // 주석은 배치 작업과 Spark Connect 세션에 적용되는 작업 및 리소스 ARN을 나타냅니다. JSON은 주석을 지원하지 않으므로 정책을 사용하기 전에 워크로드 유형에 대한 항목을 유지하고 주석을 제거합니다.
{ "Sid": "AccessSystemProfileLogs", "Effect": "Allow", "Action": [ "emr-serverless:GetDashboardForJobRun", // batch job "emr-serverless:GetResourceDashboard", // Spark Connect session "emr-serverless:AccessSystemProfileLogs", "glue:GetDatabases", "glue:SearchTables" ], "Resource": [ "arn:aws:emr-serverless:region:account-id:/applications/applicationId/jobruns/jobid", // batch job "arn:aws:emr-serverless:region:account-id:/applications/applicationId/sessions/sessionId", // Spark Connect session "arn:aws:glue:region:account-id:catalog", "arn:aws:glue:region:account-id:database/*", "arn:aws:glue:region:account-id:table/*/*" ] }
고려 사항
디버깅을 위한 시스템 프로파일 로그는 작업 또는 세션과 동일한 계정 내에서 Lake Formation의 데이터베이스 또는 테이블에 액세스하는 작업 및 세션에 표시됩니다. 다음 시나리오의 경우 표시되지 않습니다.
Lake Formation 권한을 사용하여 관리되는 Data Catalog에 교차 계정 데이터베이스 및 테이블이 있는 경우
Lake Formation 권한을 사용하여 관리되는 Data Catalog에 리소스 링크가 있는 경우