缓存时使用分栏格式

Spark SQL能够以列式格式在内存中缓存表。 spark.catalog.cacheTable("tableName")或者dataFrame.cache()函数调用可以用来缓存内存中列式格式的表。然后，Spark SQL引擎仅扫描所需的列，并自动调整压缩以减少内存和 CPU 使用率。您可以使用spark.catalog.uncacheTable("tableName")或dataFrame.unpersist()将表从内存中移除。