Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Resolución de problemas

Registro

EMR en EKS utiliza los perfiles de recursos de Spark para dividir la ejecución de los trabajos. Amazon EMR en EKS utiliza el perfil de usuario para ejecutar el código que proporcionó, mientras que el perfil del sistema implementa las políticas de Lake Formation. Puede acceder a los registros de los contenedores ejecutados como perfil de usuario configurando la StartJobRun solicitud con MonitoringConfiguration.

Servidor de historial de Spark

El servidor de historial de Spark contienen todos los eventos de Spark generados a partir del perfil de usuario, así como los eventos confidenciales generados a partir del controlador del sistema. Puede ver todos los contenedores tanto del usuario como de los controladores del sistema en la pestaña Ejecutores. Sin embargo, los enlaces de registro solo están disponibles para el perfil de usuario.

Error de trabajo: permisos de Lake Formation insuficientes

Asegúrese de que su rol de ejecución de trabajos tenga los permisos para ejecutar SELECT y DESCRIBE en la tabla a la que está accediendo.

Error de trabajo en la ejecución de RDD

Actualmente, EMR en EKS no admite operaciones de conjuntos de datos distribuidos resilientes (RDD) en trabajos habilitados para Lake Formation.

Imposible acceder a archivos de datos en Amazon S3

Asegúrese de haber registrado la ubicación del lago de datos en Lake Formation.

Excepción de validación de seguridad

EMR en EKS detectó un error de validación de seguridad. Ponte en contacto con AWS el servicio de asistencia para obtener ayuda

Compartir el catálogo de datos y las tablas de AWS Glue entre cuentas

Puede compartir bases de datos y tablas entre cuentas y seguir utilizando Lake Formation. Para obtener más información, consulte Intercambio de datos entre cuentas en Lake Formation y ¿Cómo comparto el catálogo de datos y las tablas de AWS Glue entre cuentas mediante AWS Lake Formation? .

Iceberg Job lanza un error de inicialización que no configura la región AWS

El mensaje es el siguiente:

25/02/25 13:33:19 ERROR SparkFGACExceptionSanitizer: Client received error with id = b921f9e6-f655-491f-b8bd-b2842cdc20c7, 
reason = IllegalArgumentException, message = Cannot initialize 
LakeFormationAwsClientFactory, please set client.region to a valid aws region

Asegúrese de que la configuración de Spark spark.sql.catalog.catalog_name.client.region esté establecida en una región válida.

Lanzamiento de Iceberg Job SparkUnsupportedOperationException

El mensaje es el siguiente:

25/02/25 13:53:15 ERROR SparkFGACExceptionSanitizer: Client received error with id = 921fef42-0800-448b-bef5-d283d1278ce0, 
reason = SparkUnsupportedOperationException, message = Either glue.id or glue.account-id is set with non-default account. 
Cross account access with fine-grained access control is only supported with AWS Resource Access Manager.

Asegúrese de que la configuración de Spark spark.sql.catalog.catalog_name.glue.account-id esté establecida en un ID de cuenta válido.

El trabajo Iceberg falla con el mensaje “403 Acceso denegado” durante la operación MERGE

El mensaje es el siguiente:

software.amazon.awssdk.services.s3.model.S3Exception: Access Denied (Service: S3, Status Code: 403, 
...
	at software.amazon.awssdk.services.s3.DefaultS3Client.deleteObject(DefaultS3Client.java:3365)
	at org.apache.iceberg.aws.s3.S3FileIO.deleteFile(S3FileIO.java:162)
	at org.apache.iceberg.io.FileIO.deleteFile(FileIO.java:86)
	at org.apache.iceberg.io.RollingFileWriter.closeCurrentWriter(RollingFileWriter.java:129)

Inhabilite las operaciones de eliminación de S3 en Spark añadiendo la siguiente propiedad. --conf spark.sql.catalog.s3-table-name.s3.delete-enabled=false.