使用列式格式提高查询性能

Spark可以使用各种输入文件格式，例如Apache ParquetOptimized Row Columnar (ORC)、和 CSV。但是，在内部Parquet效果最好Spark SQL。它提供了更快的运行时间、更高的扫描吞吐量、更少的磁盘 I/O 和更低的操作成本。 Spark可以通过下推过滤器使用Parquet文件统计数据（例如最小-最大统计信息）来自动过滤无用的数据。另一方面，您可以启用 par Spark quet 矢量化阅读器来批量读取Parquet文件。当您使用Spark SQL处理数据时，我们建议您尽可能使用Parquet文件格式。