翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

Amazon EMR 5.19.0 の EMRFS S3 向けに最適化されたコミッターを有効にする

Amazon EMR 5.19.0 を使用している場合は、クラスターの作成時、または Spark 内から (Amazon EMR を使用しているとき)、spark.sql.parquet.fs.optimized.committer.optimization-enabled プロパティを true に手動で設定できます。

EMRFS S3 向けに最適化されたコミッターをクラスターの作成時に有効にする

spark.sql.parquet.fs.optimized.committer.optimization-enabled プロパティを true に設定するには、spark-defaults 設定分類を使用します。詳細については、「アプリケーションの設定」を参照してください。

EMRFS S3 向けに最適化されたコミッターを Spark から有効にする

spark.sql.parquet.fs.optimized.committer.optimization-enabled は、SparkConf でハードコーディングするか、Spark シェルまたは spark-submit および spark-sql ツールで --conf パラメータとして渡すか、conf/spark-defaults.conf によって true に設定できます。詳細については、Apache Spark ドキュメントの「Spark Configuration」を参照してください。

次の例は、spark-sql コマンドの実行中にコミッターを有効にする方法を示しています。

spark-sql \
  --conf spark.sql.parquet.fs.optimized.committer.optimization-enabled=true \
  -e "INSERT OVERWRITE TABLE target_table SELECT * FROM source_table;"