Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Utilisation de formats en colonnes pour améliorer les performances des requêtes
Sparkpeut utiliser différents formats de fichiers d'entrée, tels que Apache ParquetOptimized Row Columnar (ORC), et CSV. Cependant, Parquet fonctionne mieux à l'intérieurSpark SQL. Il permet d'accélérer les temps d'exécution, d'augmenter le débit de numérisation, de réduire les E/S sur disque et de réduire les coûts d'exploitation. Sparkpeut filtrer automatiquement les données inutiles en utilisant les données statistiques des Parquet fichiers par le biais de filtres push-down, tels que les statistiques min-max. D'autre part, vous pouvez activer le lecteur vectorisé pour Spark parquet pour lire Parquet les fichiers par lots. Lorsque vous traitez des données, nous vous recommandons d'utiliser des formats de Parquet fichier si possible. Spark SQL
