Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Uso de formatos en columnas para mejorar el rendimiento de las consultas
Sparkpuede utilizar varios formatos de archivo de entrada, como Apache ParquetOptimized Row Columnar (ORC), y CSV. Sin embargo, Parquet funciona mejor en interioresSpark SQL. Proporciona tiempos de ejecución más rápidos, mayor rendimiento de escaneo, menos espacio en disco I/O y menor costo de operación. Sparkpuede filtrar automáticamente los datos inútiles mediante el uso de datos estadísticos de Parquet archivos mediante filtros desplegables, como las estadísticas de mínimos y máximos. Por otro lado, puede habilitar el lector vectorizado tipo Spark parquet para leer archivos por lotes. Parquet Cuando utilice Spark SQL para procesar datos, le recomendamos que utilice formatos de Parquet archivo si es posible.
