As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Logs de gravação antecipada (WAL) do Amazon EMR
Com o Amazon EMR 6.15 e versões posteriores, você pode gravar seus registros de gravação HBase antecipada (WAL) do Apache no Amazon EMR WAL. Com versões mais baixas do Amazon EMR, quando você cria um cluster com a opção HBase no Amazon S3, o WAL é o único componente do HBase Apache que é armazenado no disco local para clusters, e você pode armazenar outros componentes, como o diretório raiz, armazenar arquivos HFiles (), metadados de tabelas e dados no Amazon S3.
Você pode usar o Amazon EMR WAL para recuperar dados que não foram descarregados no Amazon S3. Para fazer backup completo de seus HBase clusters, opte por usar o serviço WAL do Amazon EMR. Nos bastidores, RegionServer grava seus registros HBase de gravação antecipada (WAL) no WAL do Amazon EMR.
Caso seu cluster ou a AZ não estejam íntegros ou estejam indisponíveis, você pode criar um cluster, direcioná-lo para o mesmo diretório raiz do S3 e Workspace do Amazon EMR WAL e recuperar automaticamente os dados no WAL em alguns minutos. Para obter mais informações, consulte Restauração do Amazon EMR WAL.
Começando com as versões 7.3.0 e superiores do Amazon EMR, o Amazon EMR cria vários EMR para cada servidor e agrupa várias regiões HBase em um Amazon WALs EMR WAL. Isso aprimora o Apache HBase WAL para melhorar a utilização dos registros e otimizar os custos. Para configurar o número de instâncias WAL do Amazon EMR por HBase RegionServer, use o parâmetro. hbase.wal.regiongrouping.numgroups Por padrão, esse parâmetro é definido como 2. Existem duas tabelas de sistema que não estão incluídas em nenhum grupo WAL: meta e masterstore. Essas tabelas sempre usam seu próprio indivíduo WALs.
Se você executar uma versão inferior ao Amazon EMR 7.3.0, recomendamos que você desabilite manualmente as tabelas no HBase cluster antigo para garantir que todos os dados no Amazon EMR WAL sejam liberados para o Amazon S3. Em seguida, exclua o Amazon EMR WAL antigo, encerre o cluster antigo e configure um novo cluster que execute a versão mais recente. Se você tiver problemas e não conseguir desabilitar as tabelas no cluster antigo, poderá encerrar diretamente o cluster antigo e definir emr.wal.multiplex.migrate como true no novo cluster. Se definido como verdadeiro, HBase tentará reproduzir os dados de instâncias WAL antigas do Amazon EMR HBase durante a inicialização da região e excluir os antigos após a repetição. WALs Esse processo de reprodução gera custos adicionais para leituras. Após a migração, recomendamos configurar o cluster e definir emr.wal.multiplex.migrate como false. Como alternativa, você pode remover o parâmetro para acelerar a inicialização HBase da região.
nota
O Amazon EMR WAL exclui os dados depois de liberá-los. HBase Se HBase não liberar os dados, o Amazon EMR WAL retém os dados por no máximo 30 dias. Depois de 30 dias, o Amazon EMR WAL exclui automaticamente os dados. O Amazon EMR mantém instâncias do WAL por até 30 dias a partir do encerramento de um cluster do EMR. No entanto, se você iniciar um novo cluster habilitado para WAL no mesmo diretório raiz do S3 dentro desses 30 dias, o Amazon EMR não excluirá nenhuma das instâncias do WAL do cluster anterior. Para obter mais informações, consulte Restauração do Amazon EMR WAL.
As seções a seguir descrevem como configurar e usar o Amazon EMR WAL com seu cluster EMR habilitado HBase.
Tópicos
