Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Menggunakan format kolumnar untuk kinerja kueri yang lebih baik
Sparkdapat menggunakan berbagai format file input, sepertiApache Parquet,Optimized Row Columnar (ORC), dan CSV. Namun, Parquet bekerja paling baik di dalamSpark SQL. Ini memberikan runtime yang lebih cepat, throughput pemindaian yang lebih tinggi, disk berkurang I/O, dan biaya operasi yang lebih rendah. Sparkdapat secara otomatis menyaring data yang tidak berguna dengan menggunakan data statistik Parquet file dengan filter push-down, seperti statistik min-max. Di sisi lain, Anda dapat mengaktifkan pembaca vektor Spark parket untuk membaca Parquet file berdasarkan batch. Saat Anda menggunakan Spark SQL untuk memproses data, kami sarankan Anda menggunakan format Parquet file jika memungkinkan.
