View a markdown version of this page

Usando o formato colunar ao armazenar em cache - AWS Recomendações

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Usando o formato colunar ao armazenar em cache

Spark SQLtem a capacidade de armazenar tabelas em cache na memória em um formato colunar. spark.catalog.cacheTable("tableName")ou chamadas de dataFrame.cache() função podem ser usadas para armazenar tabelas em cache em um formato colunar na memória. Em seguida, o Spark SQL mecanismo verifica somente as colunas necessárias e ajusta automaticamente a compressão para reduzir o uso da memória e da CPU. Você pode usar spark.catalog.uncacheTable("tableName") ou dataFrame.unpersist() remover a tabela da memória.