View a markdown version of this page

在中使用分区提示 Spark 3.0.0 - AWS 规范性指导

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

在中使用分区提示 Spark 3.0.0

Spark分区提示可以帮助您调整性能并减少输出文件的数量。 Spark SQL支持分区提示，例如COALESCEREPARTITION、和。REPARTITION_BY_RANGE这些提示类似于数据集 API，例如coalescerepartition、和repartitionByRange。以下提示可帮助您控制中输出文件的数量Spark SQL，从而帮助您调整性能：

  • Coalesce-将分区数量减少到指定的分区数量。分区号是COALESCE提示的唯一参数。

  • 重新分区-使用指定的分区表达式将分区重新分区到指定数量的分区。REPARTITION提示参数是分区号、列名或两者。

  • 按范围重新分区-使用指定的分区表达式将分区重新分区到指定数量的分区。列名是REPARTITION_BY_RANGE提示的必填参数，分区号是可选的。

  • 重新平衡-重新平衡查询结果输出分区，使每个分区的大小合理。 REBALANCEhint 参数是初始分区号、列名或两者兼而有之，或者两者都不是。