Acceso completo a la tabla de Lake Formation para Amazon EMR en EC2

Los trabajos de Spark que leen datos desde S3 requieren el permiso SELECCIONAR de Lake Formation.

Spark afirma que write/delete los datos de S3 requieren el permiso ALL (SUPER) de Lake Formation.

Los trabajos de Spark que interactúan con el Catálogo de datos de Glue requieren los permisos DESCRIBIR, MODIFICAR o DESCARTAR, según corresponda.

spark.hadoop.fs.s3.credentialsResolverClass=com.amazonaws.glue.accesscontrol.AWSLakeFormationCredentialResolver: Configure el sistema de archivos EMR (EMRFS) o el EMR S3A para usar las credenciales S3 de Lake Formation en las tablas registradas de AWS Lake Formation. Si la tabla no está registrada, utilice las credenciales del rol en tiempo de ejecución del trabajo.

spark.hadoop.fs.s3.useDirectoryHeaderAsFolderObject=trueyspark.hadoop.fs.s3.folderObject.autoAction.disabled=true: configure EMRFS para que utilice el tipo de contenido header application/x -directory en lugar del sufijo $folder$ al crear carpetas de S3. Esto es necesario para leer las tablas de Lake Formation, ya que las credenciales de Lake Formation no permiten leer carpetas de tablas que utilicen el sufijo $folder$.

spark.sql.catalog.skipLocationValidationOnCreateTable.enabled=true: configure Spark para omitir la validación de que la ubicación de la tabla esté vacía antes de crearla. Esto es necesario para las tablas registradas en Lake Formation, ya que las credenciales de Lake Formation necesarias para verificar que la ubicación esté vacía solo se encuentran disponibles después de crear la tabla de Catálogo de datos de Glue. Sin esta configuración, las credenciales del rol en tiempo de ejecución del trabajo validarán si la ubicación de la tabla está vacía.

spark.sql.catalog.createDirectoryAfterTable.enabled=true: configure Spark para crear la carpeta en Amazon S3 después de crear la tabla en el repositorio de metadatos de Hive. Esto es necesario para tablas registradas en Lake Formation, ya que las credenciales de Lake Formation necesarias para crear la carpeta en S3 solo se encuentran disponibles después de crear la tabla de Catálogo de datos de Glue.

spark.sql.catalog.dropDirectoryBeforeTable.enabled=true: configure Spark para descartar la carpeta en S3 antes de eliminar la tabla del repositorio de metadatos de Hive. Esto es necesario para las tablas registradas en Lake Formation, ya que las credenciales de Lake Formation para descartar la carpeta de S3 no están disponibles después de eliminar la tabla del Catálogo de datos de Glue.

spark.sql.catalog.<catalog>.glue.lakeformation-enabled=true: Configure el catálogo de Iceberg para usar las credenciales S3 de Lake Formation para las AWS tablas registradas de Lake Formation. Si la tabla no está registrada, utilice las credenciales predeterminadas del entorno.

S3_DATA_LOCATION: la ruta de su bucket de S3

REGION: AWS región (p. ej., us-east-1)

ACCOUNT_ID: Su ID de cuenta AWS

CREATE TABLE

ALTER TABLE

INSERT INTO

INSERT OVERWRITE

UPDATE

MERGE INTO

DELETE FROM

ANALIZAR TABLA

REPARAR TABLA

DROP TABLE

Consultas de orígenes de datos de Spark

Escrituras de orígenes de datos de Spark

Si una tabla de Hive se crea mediante un trabajo que no tiene habilitado el acceso completo a la tabla y no se insertan registros, las lecturas o escrituras posteriores desde un trabajo con acceso completo a la tabla fallarán. Esto se debe a que, cuando no tiene habilitado el acceso completo a la tabla, EMR Spark agrega el sufijo $folder$ al nombre de la carpeta de la tabla. Para resolver esto, puede optar por una de las siguientes acciones:

El acceso completo a las tablas es compatible con el sistema de archivos EMR (EMRFS) a partir de la versión 7.8.0 de Amazon EMR y con el sistema de archivos S3A a partir de la versión 7.10.0 de Amazon EMR.

El acceso completo a tablas es compatible con las tablas Hive, Iceberg, Delta y Hudi.

Consideraciones sobre la compatibilidad con Hudi FTA Write:

Los trabajos que hagan referencia a tablas con reglas de control de Fine-Grained acceso a Lake Formation (FGAC) o vistas del catálogo de datos de Glue fallarán. Para consultar una tabla con reglas de FGAC o una vista del Catálogo de datos de Glue, debe usar el modo FGAC. Puede habilitar el modo FGAC siguiendo los pasos descritos en la AWS documentación: Uso de Amazon EMR en EC2 con AWS Lake Formation para un control de acceso detallado.

El acceso completo a tablas no ofrece compatibilidad con Spark Streaming.

Al escribir Spark en una tabla de Lake Formation, solo se admite el modo APPEND DataFrame para las tablas Hive e Iceberg: df.write.mode("append").saveAsTable(table_name)

La creación de tablas externas requiere permisos de IAM.

Como Lake Formation almacena temporalmente en caché las credenciales de un trabajo de Spark, es posible que los trabajos por lotes o las sesiones interactivas de Spark que se estén ejecutando no reflejen los cambios de permisos.

Debe utilizar un rol definido por el usuario, no uno vinculado a un servicio: Requisitos de Lake Formation en relación con los roles.