Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Abilitare il committer ottimizzato S3 EMRFS per Amazon EMR 5.19.0

Se usi Amazon EMR 5.19.0, puoi impostare manualmente la proprietà spark.sql.parquet.fs.optimized.committer.optimization-enabled su true quando crei un cluster o da Spark se stai utilizzando Amazon EMR.

Abilitare il committer ottimizzato S3 EMRFS al momento della creazione di un cluster

È possibile utilizzare la classificazione di configurazione spark-defaults per impostare la proprietà spark.sql.parquet.fs.optimized.committer.optimization-enabled su true. Per ulteriori informazioni, consulta Configurazione delle applicazioni.

Abilitare il committer ottimizzato S3 EMRFS da Spark

È possibile impostare spark.sql.parquet.fs.optimized.committer.optimization-enabled su true impostandola come hardcoded in un SparkConf, passandola come parametro --conf nella shell Spark o come strumenti spark-submit e spark-sql, o in conf/spark-defaults.conf. Per ulteriori informazioni, consulta la sezione relativa alla Spark configuration (Configurazione Spark) nella documentazione di Apache Spark.

L'esempio seguente mostra come abilitare il committer durante l'esecuzione di un comando spark-sql.

spark-sql \
  --conf spark.sql.parquet.fs.optimized.committer.optimization-enabled=true \
  -e "INSERT OVERWRITE TABLE target_table SELECT * FROM source_table;"