Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Uso de sugerencias de particionamiento en Spark 3.0.0
SparkLas sugerencias de particionamientoCOALESCEREPARTITION, y. REPARTITION_BY_RANGE Estas sugerencias son similares a las API de conjuntos de datos, como coalescerepartition, yrepartitionByRange. Las siguientes sugerencias le ayudan a controlar la cantidad de archivos de salidaSpark SQL, lo que le ayuda a ajustar el rendimiento:
-
Unir: reduce el número de particiones al número especificado de particiones. El número de partición es el único parámetro de la
COALESCEsugerencia. -
Repartición: repartición en el número especificado de particiones mediante las expresiones de partición especificadas. Los parámetros de
REPARTITIONsugerencia son un número de partición, nombres de columnas o ambos. -
Repartición por rango: repartición en el número especificado de particiones mediante las expresiones de partición especificadas. Los nombres de las columnas son un parámetro obligatorio para la
REPARTITION_BY_RANGEsugerencia y el número de partición es opcional. -
Reequilibrar: reequilibre las particiones de salida de los resultados de la consulta para que cada partición tenga un tamaño razonable.
REBALANCELos parámetros de sugerencia son el número de partición inicial, los nombres de las columnas o ambos o ninguno.
