As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Solução de problemas

Registro em log

O EMR no EKS usa perfis de recursos do Spark para dividir a execução do trabalho. O Amazon EMR no EKS usa o perfil do usuário para executar o código que você forneceu, enquanto o perfil do sistema aplica as políticas do Lake Formation. Você pode acessar os registros dos contêineres executados como perfil de usuário configurando a StartJobRun solicitação com MonitoringConfiguration.

Servidor de Histórico do Spark

O Spark History Server tem todos os eventos do Spark gerados a partir do perfil do usuário e os eventos editados gerados pelo driver do sistema. Você pode ver todos os contêineres dos drivers do usuário e do sistema na guia Executors. No entanto, os links de logs estão disponíveis somente para o perfil do usuário.

O trabalho falhou com permissões insuficientes do Lake Formation

Certifique-se de que sua função de execução de tarefas tenha as permissões para ser executada SELECT e estar DESCRIBE na tabela que você está acessando.

Falha na execução do trabalho com RDD

Atualmente, o EMR no EKS não oferece suporte a operações resilientes de conjunto de dados distribuído (RDD) em trabalhos habilitados para Lake Formation.

Não é possível acessar arquivos de dados no Amazon S3

Certifique-se de ter registrado a localização do data lake no Lake Formation.

Exceção de validação de segurança

O EMR no EKS detectou um erro de validação de segurança. Entre em contato com o AWS suporte para obter assistência.

Compartilhando o catálogo de dados e tabelas do AWS Glue entre contas

Você pode compartilhar bancos de dados e tabelas entre contas e ainda usar o Lake Formation. Para obter mais informações, consulte Compartilhamento de dados entre contas no Lake Formation e Como faço para compartilhar o catálogo de dados e tabelas do AWS Glue entre contas usando o AWS Lake Formation? .

Erro de inicialização do Iceberg Job ao lançar um erro de inicialização, não definindo a região AWS

A mensagem é a seguinte:

25/02/25 13:33:19 ERROR SparkFGACExceptionSanitizer: Client received error with id = b921f9e6-f655-491f-b8bd-b2842cdc20c7, 
reason = IllegalArgumentException, message = Cannot initialize 
LakeFormationAwsClientFactory, please set client.region to a valid aws region

Certifique-se de que a configuração do Spark spark.sql.catalog.catalog_name.client.region esteja definida como uma região válida.

Lançamento de empregos no Iceberg SparkUnsupportedOperationException

A mensagem é a seguinte:

25/02/25 13:53:15 ERROR SparkFGACExceptionSanitizer: Client received error with id = 921fef42-0800-448b-bef5-d283d1278ce0, 
reason = SparkUnsupportedOperationException, message = Either glue.id or glue.account-id is set with non-default account. 
Cross account access with fine-grained access control is only supported with AWS Resource Access Manager.

Certifique-se de que a configuração do Spark spark.sql.catalog.catalog_name.glue.account-id esteja definida como um ID de conta válido.

Falha no Iceberg Job com “403 Access Denied” durante a operação MERGE

A mensagem é a seguinte:

software.amazon.awssdk.services.s3.model.S3Exception: Access Denied (Service: S3, Status Code: 403, 
...
	at software.amazon.awssdk.services.s3.DefaultS3Client.deleteObject(DefaultS3Client.java:3365)
	at org.apache.iceberg.aws.s3.S3FileIO.deleteFile(S3FileIO.java:162)
	at org.apache.iceberg.io.FileIO.deleteFile(FileIO.java:86)
	at org.apache.iceberg.io.RollingFileWriter.closeCurrentWriter(RollingFileWriter.java:129)

Desative as operações de exclusão do S3 no Spark adicionando a seguinte propriedade. --conf spark.sql.catalog.s3-table-name.s3.delete-enabled=false.