翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

トラブルシューティング

ログ記録

EMR on EKS は、Spark リソースプロファイルを使用してジョブ実行を分割します。Amazon EMR on EKS はユーザープロファイルを使用して指定したコードを実行し、システムプロファイルは Lake Formation ポリシーを適用します。MonitoringConfiguration で StartJobRun リクエストを設定することで、ユーザープロファイルとして実行されたコンテナのログにアクセスできます。

Spark History Server

Spark History Server には、ユーザープロファイルから生成されたすべての Spark イベントと、システムドライバーから生成された編集済みイベントがあります。ユーザードライバーとシステムドライバーの両方からすべてのコンテナを Executors タブで確認できます。ただし、ログリンクはユーザープロファイルでのみ使用できます。

Lake Formation のアクセス許可が不十分なためジョブが失敗した

ジョブ実行ロールに、アクセスするテーブルDESCRIBEで SELECTと を実行するアクセス許可があることを確認します。

RDD の実行が失敗したジョブ

EMR on EKS は現在、Lake Formation 対応ジョブでの回復力のある分散データセット (RDD) オペレーションをサポートしていません。

Amazon S3 のデータファイルにアクセスできない

Lake Formation にデータレイクの場所が登録されていることを確認します。

セキュリティ検証の例外

EMR on EKS でセキュリティ検証エラーが検出されました。サポートが必要な場合は、 AWS サポートにお問い合わせください。

アカウント間で AWS Glue データカタログとテーブルを共有する

データベースとテーブルをアカウント間で共有し、Lake Formation を引き続き使用できます。詳細については、「Lake Formation でのクロスアカウントデータ共有」およびAWS 「Lake Formation を使用して AWS Glue データカタログとテーブルのクロスアカウントを共有するにはどうすればよいですか？」を参照してください。

Iceberg Job throwing initialization error not setting the AWS region

メッセージは次のとおりです。

25/02/25 13:33:19 ERROR SparkFGACExceptionSanitizer: Client received error with id = b921f9e6-f655-491f-b8bd-b2842cdc20c7, 
reason = IllegalArgumentException, message = Cannot initialize 
LakeFormationAwsClientFactory, please set client.region to a valid aws region

Spark 設定spark.sql.catalog.catalog_name.client.regionが有効なリージョンに設定されていることを確認します。

SparkUnsupportedOperationException をスローする Iceberg ジョブ

メッセージは次のとおりです。

25/02/25 13:53:15 ERROR SparkFGACExceptionSanitizer: Client received error with id = 921fef42-0800-448b-bef5-d283d1278ce0, 
reason = SparkUnsupportedOperationException, message = Either glue.id or glue.account-id is set with non-default account. 
Cross account access with fine-grained access control is only supported with AWS Resource Access Manager.

Spark 設定spark.sql.catalog.catalog_name.glue.account-idが有効なアカウント ID に設定されていることを確認します。