As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Usando formatos colunares para melhorar o desempenho da consulta
Sparkpode usar vários formatos de arquivo de entrada, como Apache ParquetOptimized Row Columnar (ORC), e CSV. No entanto, Parquet funciona melhor internamenteSpark SQL. Ele fornece tempos de execução mais rápidos, maior taxa de transferência de varredura I/O, disco reduzido e menor custo de operação. Sparkpode filtrar automaticamente dados inúteis usando dados estatísticos de Parquet arquivos por meio de filtros push down, como estatísticas mínimas e máximas. Por outro lado, você pode habilitar o leitor vetorizado Spark em parquet para ler Parquet arquivos por lote. Ao usar Spark SQL para processar dados, recomendamos que você use formatos de Parquet arquivo, se possível.
