Solución de problemas

Registro

EMR en EKS utiliza los perfiles de recursos de Spark para dividir la ejecución de los trabajos. Amazon EMR en EKS utiliza el perfil de usuario para ejecutar el código que proporcionó, mientras que el perfil del sistema implementa las políticas de Lake Formation. Puede acceder a los registros de los contenedores ejecutados con el perfil del usuario si configura la solicitud StartJobRun como MonitoringConfiguration.

Servidor de historial de Spark

El servidor de historial de Spark contienen todos los eventos de Spark generados a partir del perfil de usuario, así como los eventos confidenciales generados a partir del controlador del sistema. Puede ver todos los contenedores tanto del usuario como de los controladores del sistema en la pestaña Ejecutores. Sin embargo, los enlaces de registro solo están disponibles para el perfil de usuario.

Error de trabajo: permisos de Lake Formation insuficientes

Asegúrese de que su rol de ejecución de trabajos tenga los permisos para ejecutar SELECT y DESCRIBE en la tabla a la que está accediendo.

Error de trabajo en la ejecución de RDD

Actualmente, EMR en EKS no admite operaciones de conjuntos de datos distribuidos resilientes (RDD) en trabajos habilitados para Lake Formation.

Imposible acceder a archivos de datos en Amazon S3

Asegúrese de haber registrado la ubicación del lago de datos en Lake Formation.

Excepción de validación de seguridad

EMR en EKS detectó un error de validación de seguridad. Póngase en contacto con la asistencia técnica de AWS para obtener ayuda.

Uso compartido del catálogo de datos de Glue y tablas entre cuentas de AWS

Puede compartir bases de datos y tablas entre cuentas y seguir utilizando Lake Formation. Para obtener más información, consulte Cross-account data sharing in Lake Formation y ¿Cómo comparto las bases de datos y tablas de catálogo de datos de AWS Glue entre cuentas mediante AWS Lake Formation?.

El trabajo Iceberg muestra un error de inicialización que no configura la región AWS

El mensaje es el siguiente:

25/02/25 13:33:19 ERROR SparkFGACExceptionSanitizer: Client received error with id = b921f9e6-f655-491f-b8bd-b2842cdc20c7, 
reason = IllegalArgumentException, message = Cannot initialize 
LakeFormationAwsClientFactory, please set client.region to a valid aws region

Asegúrese de que la configuración de Spark spark.sql.catalog.catalog_name.client.region esté establecida en una región válida.

El trabajo Iceberg muestra una SparkUnsupportedOperationException

El mensaje es el siguiente:

25/02/25 13:53:15 ERROR SparkFGACExceptionSanitizer: Client received error with id = 921fef42-0800-448b-bef5-d283d1278ce0, 
reason = SparkUnsupportedOperationException, message = Either glue.id or glue.account-id is set with non-default account. 
Cross account access with fine-grained access control is only supported with AWS Resource Access Manager.

Asegúrese de que la configuración de Spark spark.sql.catalog.catalog_name.glue.account-id esté establecida en un ID de cuenta válido.

El trabajo Iceberg falla con el mensaje “403 Acceso denegado” durante la operación MERGE

El mensaje es el siguiente:

software.amazon.awssdk.services.s3.model.S3Exception: Access Denied (Service: S3, Status Code: 403, 
...
	at software.amazon.awssdk.services.s3.DefaultS3Client.deleteObject(DefaultS3Client.java:3365)
	at org.apache.iceberg.aws.s3.S3FileIO.deleteFile(S3FileIO.java:162)
	at org.apache.iceberg.io.FileIO.deleteFile(FileIO.java:86)
	at org.apache.iceberg.io.RollingFileWriter.closeCurrentWriter(RollingFileWriter.java:129)

Inhabilite las operaciones de eliminación de S3 en Spark añadiendo la siguiente propiedad. --conf spark.sql.catalog.s3-table-name.s3.delete-enabled=false.