Detecção e processamento de arquivos compactados com o Amazon EMR - Amazon EMR

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Detecção e processamento de arquivos compactados com o Amazon EMR

O Hadoop verifica a extensão do arquivo para detectar arquivos compactados. Os tipos de compactação com suporte pelo Hadoop são: gzip, bzip2 e LZO. Você não precisa tomar medidas adicionais para extrair arquivos usando esses tipos de compactação; o Hadoop manipula o processo para você.

Para indexar arquivos LZO, você pode usar a biblioteca hadoop-lzo, que pode ser baixada do hadoop-lzo. https://github.com/kevinweil/ Como esta é uma biblioteca de terceiros, o Amazon EMR não oferece suporte de desenvolvedor sobre como utilizar essa ferramenta. Para obter informações de uso, consulte o arquivo leiame da hadoop-lzo.