キャッシュ時の列形式の使用

Spark SQL には、インメモリ形式のテーブルを列指向形式でキャッシュする機能があります。 spark.catalog.cacheTable("tableName")または dataFrame.cache()関数呼び出しを使用して、インメモリ列指向形式でテーブルをキャッシュできます。その後、Spark SQLエンジンは必要な列のみをスキャンし、圧縮を自動的に調整してメモリと CPU 使用率を減らします。spark.catalog.uncacheTable("tableName") または を使用してdataFrame.unpersist()、メモリからテーブルを削除できます。