Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Habilitación del confirmador optimizado para S3 de EMRFS para Amazon EMR 5.19.0

Si utiliza Amazon EMR 5.19.0, puede establecer manualmente la propiedad spark.sql.parquet.fs.optimized.committer.optimization-enabled en true al crear un clúster o desde Spark si está utilizando Amazon EMR.

Habilitación del confirmador optimizado para S3 de EMRFS al crear un clúster

Utilice la clasificación de configuración spark-defaults para establecer la propiedad spark.sql.parquet.fs.optimized.committer.optimization-enabled en true. Para obtener más información, consulte Configuración de aplicaciones.

Habilitación del confirmador optimizado para S3 de EMRFS desde Spark

Puede establecer la propiedad spark.sql.parquet.fs.optimized.committer.optimization-enabled en true codificándola de forma rígida en un SparkConf, pasándola como un parámetro --conf en el shell de Spark o las herramientas spark-submit y spark-sql, o en conf/spark-defaults.conf. Para obtener más información, consulte Spark configuration en la documentación de Apache Spark.

En el siguiente ejemplo, se muestra cómo activar el confirmador mientras se ejecuta un comando spark-sql.

spark-sql \
  --conf spark.sql.parquet.fs.optimized.committer.optimization-enabled=true \
  -e "INSERT OVERWRITE TABLE target_table SELECT * FROM source_table;"