'
```
Para dividir a tabela, use o comando a seguir (execute em “hbase shell”).
```
hbase cli> split 'hbase:storefile'
```
## Acompanhamento de arquivos no armazenamento
Por padrão, usamos a **FileBasedStoreFileTracker**implementação. Essa implementação cria novos arquivos diretamente no diretório de armazenamento, evitando a necessidade de operações de renomeação. Ela mantém uma lista de instâncias de hfile com commit na memória, com o suporte de meta-arquivos em cada diretório de armazenamento. Sempre que um novo arquivo hfile recebe commit, a lista de *arquivos rastreados* no armazenamento fornecido é atualizada, e um novo meta-arquivo é gravado com o conteúdo da lista e descartando o meta-arquivo anterior, que contém uma lista desatualizada. Mais informações sobre o rastreamento de arquivos da loja podem ser encontradas em [Rastreamento de arquivos da loja](https://hbase.apache.org/book.html#storefiletracking) no *guia de HBase referência do Apache*.
A implementação do FileBasedStoreFile rastreador é ativada por padrão, começando com a versão 7.4.0 do Amazon EMR:
```
{
"Classification": "hbase-site",
"Properties": {
hbase.store.file-tracker.impl: "org.apache.hadoop.hbase.regionserver.storefiletracker.FileBasedStoreFileTracker"
}
}
```
Para desativar a FileBasedStoreFileTracker implementação, especifique a seguinte substituição de configuração ao iniciar um cluster:
```
{
"Classification": "hbase-site",
"Properties": {
hbase.store.file-tracker.impl: "org.apache.hadoop.hbase.regionserver.storefiletracker.DefaultStoreFileTracker"
}
}
```
**nota**
Ao reconfigurar o cluster do Amazon EMR, todos os grupos de instâncias deverão ser atualizados.
## Considerações operacionais
HBase os servidores regionais são usados BlockCache para armazenar leituras de dados na memória e BucketCache armazenar leituras de dados no disco local. Além disso, os servidores regionais usam MemStore para armazenar gravações de dados na memória e usam registros de gravação antecipada para armazenar gravações de dados no HDFS antes que os dados sejam gravados no Amazon HBase StoreFiles S3. O desempenho de leitura do seu cluster estão relacionado à frequência com a qual um registro pode ser recuperado dos caches na memória ou no disco. Uma perda de cache faz com que o registro seja lido StoreFile no Amazon S3, que tem latência significativamente maior e maior desvio padrão do que a leitura do HDFS. Além disso, as taxas máximas de solicitações para o Amazon S3 são menores do que as que podem ser obtidas no cache local e, portanto, o armazenamento de dados no cache pode ser importante para workload com uso intensivo de leitura. Para obter mais informações sobre a performance do Amazon S3, consulte [Performance optimization](https://docs.aws.amazon.com/AmazonS3/latest/userguide/PerformanceOptimization.html), no *Guia do usuário do Amazon Simple Storage Service*.
Para melhorar o desempenho, recomendamos que você armazene em cache o máximo possível do seu conjunto de dados no armazenamento de instâncias do EC2. Como BucketCache usa o armazenamento de instância EC2 do servidor regional, você pode escolher um tipo de instância EC2 com um armazenamento de instâncias suficiente e adicionar armazenamento Amazon EBS para acomodar o tamanho de cache necessário. Você também pode aumentar o BucketCache tamanho dos armazenamentos de instâncias anexados e dos volumes do EBS usando a `hbase.bucketcache.size` propriedade. A configuração padrão é 8.192 MB.
Para gravações, a frequência de MemStore descargas e o número de StoreFiles presentes durante compactações menores e maiores podem contribuir significativamente para um aumento nos tempos de resposta do servidor regional. Para um desempenho ideal, considere aumentar o tamanho do multiplicador de MemStore fluxo e HRegion bloco, o que aumenta o tempo decorrido entre as principais compactações, mas também aumenta o atraso na consistência se você usar uma réplica de leitura. Em alguns casos, você pode obter melhor performance usando tamanhos de blocos de arquivos maiores (porém inferiores a 5 GB) para acionar a funcionalidade do carregamento multiparte do Amazon S3 no EMRFS. O tamanho padrão do bloco do Amazon EMR é 128 MB. Para obter mais informações, consulte [Configuração do HDFS](emr-hdfs-config.md). Raramente há clientes que excedem 1 GB de tamanho de bloco ao fazer a comparação do desempenho com liberações e compactações. Além disso, HBase as compactações e os servidores regionais funcionam de maneira ideal quando menos StoreFiles precisam ser compactados.
Tabelas podem demorar um tempo significativo para serem descartadas no Amazon S3, pois diretórios grandes precisam ser renomeados. Considere desabilitar tabelas em vez de as descartar.
Existe um processo de HBase limpeza que limpa arquivos WAL antigos e armazena arquivos. Com o Amazon EMR versão 5.17.0 e posterior, o agente de limpeza está habilitado globalmente, e as seguintes propriedades de configuração podem ser usadas para controlar o comportamento do agente de limpeza.
| Propriedade de configuração | Valor padrão | Description |
| --- | --- | --- |
| `hbase.regionserver.hfilecleaner.large.thread.count` | 1 | O número de segmentos alocados para limpar expirou muito. HFiles |
| `hbase.regionserver.hfilecleaner.small.thread.count` | 1 | O número de segmentos alocados para limpar expirou pouco. HFiles |
| `hbase.cleaner.scan.dir.concurrent.size` | Defina como um quarto de todos os núcleos disponíveis. | O número de threads para verificar os WALs diretórios antigos. |
| `hbase.oldwals.cleaner.thread.size` | 2 | O número de threads a serem limpos no WALs WALs diretório antigo. |
Com o Amazon EMR 5.17.0 e versões anteriores, a operação do agente de limpeza pode afetar a performance de consultas ao executar workloads pesadas. Por isso, recomendamos que você ative o agente de limpeza apenas fora de horários de pico. O limpador tem os seguintes comandos de HBase shell:
+ `cleaner_chore_enabled` consulta se o agente de limpeza está habilitado.
+ `cleaner_chore_run` executa manualmente o agente de limpeza para remover arquivos.
+ `cleaner_chore_switch` habilita ou desabilita o agente de limpeza e retorna ao seu estado anterior. Por exemplo, `cleaner_chore_switch true` habilita o agente de limpeza.
### Propriedades para ajuste HBase de desempenho no Amazon S3
Os parâmetros a seguir podem ser ajustados para ajustar o desempenho da sua carga de trabalho quando você usa HBase no Amazon S3.
| Propriedade de configuração | Valor padrão | Description |
| --- | --- | --- |
| `hbase.bucketcache.size` | 8,192 | A quantidade de espaço em disco, em MB, reservada nos armazenamentos de instâncias Amazon EC2 do servidor regional e nos volumes do EBS para armazenamento. BucketCache A configuração se aplica a todas as instâncias do servidor de regiões. BucketCache Tamanhos maiores geralmente correspondem a um desempenho aprimorado |
| `hbase.hregion.memstore.flush.size` | 134217728 | O limite de dados, em bytes, no qual uma liberação de memstore para o Amazon S3 é acionada. |
| `hbase.hregion.memstore.block.multiplier` | 4 | Um multiplicador que determina o limite MemStore superior no qual as atualizações são bloqueadas. Se os MemStore excedentes forem `hbase.hregion.memstore.flush.size` multiplicados por esse valor, as atualizações serão bloqueadas. MemStore descargas e compactação podem ocorrer para desbloquear as atualizações. |
| `hbase.hstore.blockingStoreFiles` | 10 | O número máximo StoreFiles que pode existir em uma loja antes que as atualizações sejam bloqueadas. |
| `hbase.hregion.max.filesize` | 10737418240 | O tamanho máximo de uma região antes que ela seja dividida. |
### Desativar e restaurar um cluster sem perda de dados
Para desligar um cluster do Amazon EMR sem perder dados que não foram gravados no Amazon S3, você deve liberar seu cache no Amazon S3 MemStore para gravar novos arquivos de armazenamento. Primeiro, é necessário desabilitar todas as tabelas. A seguinte configuração de etapas pode ser usada quando você adiciona uma etapa ao cluster. Para obter mais informações, consulte [Work with steps using the AWS CLI and console](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-work-with-steps.html) no *Guia de gerenciamento do Amazon EMR*.
```
Name="Disable all tables",Jar="command-runner.jar",Args=["/bin/bash","/usr/lib/hbase/bin/disable_all_tables.sh"]
```
Como alternativa, você pode executar o seguinte comando bash diretamente.
```
bash /usr/lib/hbase/bin/disable_all_tables.sh
```
Depois de desativar todas as tabelas, limpe a `hbase:meta` tabela usando o HBase shell e o comando a seguir.
```
flush 'hbase:meta'
```
Em seguida, você pode executar um script de shell fornecido no cluster do Amazon EMR para limpar o cache. MemStore Você pode adicioná-lo como uma etapa ou executá-lo diretamente, usando a AWS CLI no cluster. O script desativa todas as HBase tabelas, o que faz com que o servidor MemStore de cada região seja transferido para o Amazon S3. Se o script for concluído com êxito, os dados persistirão no Amazon S3, e o cluster poderá ser terminado.
Para reiniciar um cluster com os mesmos HBase dados, especifique a mesma localização do Amazon S3 do cluster anterior na propriedade de configuração Console de gerenciamento da AWS ou usando a propriedade de `hbase.rootdir` configuração.
# Logs de gravação antecipada (WAL) do Amazon EMR
Com o Amazon EMR 6.15 e versões posteriores, você pode gravar seus registros de gravação HBase antecipada (WAL) do Apache no Amazon EMR WAL. Com versões mais baixas do Amazon EMR, quando você cria um cluster com a opção **HBase no Amazon S3**, o WAL é o único componente do HBase Apache que é armazenado no disco local para clusters, e você pode armazenar outros componentes, como o diretório raiz, armazenar arquivos HFiles (), metadados de tabelas e dados no Amazon S3.
Você pode usar o Amazon EMR WAL para recuperar dados que não foram descarregados no Amazon S3. Para fazer backup completo de seus HBase clusters, opte por usar o serviço WAL do Amazon EMR. Nos bastidores, `RegionServer` grava seus registros HBase de gravação antecipada (WAL) no WAL do Amazon EMR.
Caso seu cluster ou a AZ não estejam íntegros ou estejam indisponíveis, você pode criar um cluster, direcioná-lo para o mesmo diretório raiz do S3 e Workspace do Amazon EMR WAL e recuperar automaticamente os dados no WAL em alguns minutos. Para obter mais informações, consulte [Restauração do Amazon EMR WAL](emr-hbase-wal-restoring.md).
Começando com as versões 7.3.0 e superiores do Amazon EMR, o Amazon EMR cria vários EMR para cada servidor e agrupa várias regiões HBase em um Amazon WALs EMR WAL. Isso aprimora o Apache HBase WAL para melhorar a utilização dos registros e otimizar os custos. Para configurar o número de instâncias WAL do Amazon EMR por HBase `RegionServer`, use o parâmetro. `hbase.wal.regiongrouping.numgroups` Por padrão, esse parâmetro é definido como 2. Existem duas tabelas de sistema que não estão incluídas em nenhum grupo de WAL: *meta* e *masterstore*. Essas tabelas sempre usam seu próprio indivíduo WALs.
Se você executar uma versão inferior ao Amazon EMR 7.3.0, recomendamos que você desabilite manualmente as tabelas no HBase cluster antigo para garantir que todos os dados no Amazon EMR WAL sejam liberados para o Amazon S3. Em seguida, exclua o Amazon EMR WAL antigo, encerre o cluster antigo e configure um novo cluster que execute a versão mais recente. Se você tiver problemas e não conseguir desabilitar as tabelas no cluster antigo, poderá encerrar diretamente o cluster antigo e definir `emr.wal.multiplex.migrate` como `true` no novo cluster. Se definido como verdadeiro, HBase tentará reproduzir os dados de instâncias WAL antigas do Amazon EMR HBase durante a inicialização da região e excluir os antigos após a repetição. WALs Esse processo de reprodução gera custos adicionais para leituras. Após a migração, recomendamos configurar o cluster e definir `emr.wal.multiplex.migrate` como `false`. Como alternativa, você pode remover o parâmetro para acelerar a inicialização HBase da região.
**nota**
O Amazon EMR WAL exclui os dados depois de liberá-los. HBase Se HBase não liberar os dados, o Amazon EMR WAL retém os dados por no máximo 30 dias. Depois de 30 dias, o Amazon EMR WAL exclui automaticamente os dados. O Amazon EMR mantém instâncias do WAL por até 30 dias a partir do encerramento de um cluster do EMR. No entanto, se você iniciar um novo cluster habilitado para WAL no mesmo diretório raiz do S3 dentro desses 30 dias, o Amazon EMR não excluirá nenhuma das instâncias do WAL do cluster anterior. Para obter mais informações, consulte [Restauração do Amazon EMR WAL](emr-hbase-wal-restoring.md).
As seções a seguir descrevem como configurar e usar o Amazon EMR WAL com seu cluster EMR habilitado HBase.
**Topics**
+ [Workspaces do Amazon EMR WAL](emr-hbase-wal-workspaces.md)
+ [Permissões necessárias para o Amazon EMR WAL](emr-hbase-wal-permissions.md)
+ [Como habilitar o Amazon EMR WAL](emr-hbase-wal-enabling.md)
+ [Restauração do Amazon EMR WAL](emr-hbase-wal-restoring.md)
+ [Uso das configurações de segurança com o Amazon EMR WAL](emr-hbase-wal-security.md)
+ [Acesse o Amazon EMR WAL por meio de AWS PrivateLink](emr-hbase-wal-privatelink.md)
+ [Noções básicas de preços e métricas do Amazon EMR WAL](emr-hbase-wal-metrics.md)
+ [Marcação de Workspaces do WAL](emr-hbase-wal-tagging.md)
+ [Replicação entre clusters do EMR WAL](emr-hbase-wal-cross-cluster.md)
+ [Considerações e regiões do Amazon EMR WAL](emr-hbase-wal-considerations.md)
+ [Referência da CLI do Amazon EMR WAL (EMRWAL)](emrwalcli-ref.md)
# Workspaces do Amazon EMR WAL
O Amazon EMR WAL adiciona o conceito de Workspaces do WAL. Um *espaço de trabalho WAL* é um contêiner lógico de. WALs Cada log de gravação antecipada no Amazon EMR WAL é encapsulado por um Workspace do WAL. Um cluster EMR grava WALs em exatamente um espaço de trabalho WAL que você configura na inicialização do cluster ou no, `defaultWALworkspace` se você não especificar um espaço de trabalho. Os espaços de trabalho do WAL não estão relacionados a nenhuma HBase terminologia existente, como namespaces.
Você pode usar os Workspaces do WAL para definir o escopo das permissões do IAM relativas ao Amazon EMR WAL para incluir somente os Workspaces que o cluster precisa acessar. Você também pode marcar o Workspace do WAL para controle de acesso baseado em tags. Para obter mais informações sobre tags, consulte [Marcação de Workspaces do WAL](emr-hbase-wal-tagging.md).
![\[HBase architecture diagram showing write request flow through RegionServers, MemStore, and data storage.\]](http://docs.aws.amazon.com/pt_br/emr/latest/ReleaseGuide/images/wal-new.png)
# Permissões necessárias para o Amazon EMR WAL
Para que o cluster se conecte ao Amazon EMR WAL, o perfil de instância do cluster requer determinadas permissões do IAM:
+ O Amazon EMR WAL usa o perfil [https://docs.aws.amazon.com/emr/latest/ManagementGuide/using-service-linked-roles-wal.html](https://docs.aws.amazon.com/emr/latest/ManagementGuide/using-service-linked-roles-wal.html) vinculado ao serviço para recuperar o status de um cluster. O Amazon EMR cria automaticamente essa função vinculada ao serviço quando você cria um espaço de trabalho do WAL, ou cria a função vinculada ao serviço quando HBase você configura um espaço de trabalho para o Amazon EMR WAL e a função vinculada ao serviço ainda não existe.
Antes de habilitar o Amazon EMR WAL para um cluster, você deve configurar as permissões para permitir a criação automática do perfil AWSServiceRoleForEMRWAL vinculado ao serviço. Para obter mais informações e um exemplo de instrução que adiciona esse recurso, consulte [Using service-linked roles for write-ahead logging](https://docs.aws.amazon.com/emr/latest/ManagementGuide/using-service-linked-roles-wal.html#using-service-linked-roles-permissions-wal).
+ Como o Amazon EMR WAL usa o HBase Write Ahead Log (WAL), seus clusters devem usar o WAL. HBase A seguir estão as permissões mínimas do IAM que você precisa executar HBase. Adicione-os à política de permissões do seu perfil de instância:
```
emrwal:DeleteWal
emrwal:CreateWal
emrwal:CreateWorkspace
emrwal:AppendEdit
emrwal:ReplayEdits
emrwal:GetCurrentWalTime
emrwal:CompleteWalFlush
emrwal:ListWALs
emrwal:DescribeWAL
emrwal:TrimWAL
emrwal:ArchiveWAL
emrwal:ArchiveWALCheckPoint
```
**nota**
Se você definir o escopo das permissões do Amazon EMR WAL apenas para o conjunto mínimo, alguns comandos da [CLI do EMRWAL](emrwalcli-ref.md) não terão as permissões necessárias para serem executados.
# Como habilitar o Amazon EMR WAL
Use as etapas a seguir para habilitar a gravação no Amazon EMR WAL ao criar um cluster com a AWS Command Line Interface.
**nota**
Você não pode habilitar o Amazon EMR WAL para um cluster que já está em execução e iniciar dois clusters com o mesmo diretório raiz do S3. Para obter mais informações, consulte [Considerações e regiões do Amazon EMR WAL](emr-hbase-wal-considerations.md).
1. Antes de criar um cluster habilitado para Amazon EMR WAL, você deve adicionar as permissões necessárias ao perfil de instância que planeja usar com o cluster. Para obter mais informações, consulte [Permissões necessárias para o Amazon EMR WAL](emr-hbase-wal-permissions.md).
1. Crie um cluster com a AWS CLI. Use a opção `--configurations` para fornecer um objeto de configuração JSON que especifique a propriedade `hbase.emr.wal.enabled`, conforme mostrado no exemplo abaixo.
+ Especifique o modo de armazenamento e o local do diretório raiz no Amazon S3. A localização do Amazon S3 que você especificar deve estar na mesma região do seu cluster EMR, mas somente um cluster ativo pode usar o mesmo diretório HBase raiz no S3 por vez.
+ Crie um cluster com a configuração de grupos de instâncias. Você não pode usar o Amazon EMR WAL com a configuração de frotas de instâncias. Para obter mais informações sobre a criação de clusters com grupos de instâncias, consulte [Configure uniform instance groups](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-uniform-instance-group.html) no *Guia de gerenciamento do Amazon EMR*.
+ Para ver as etapas do console para criar um cluster e um `create-cluster` exemplo detalhado que usa o AWS CLI, consulte [Criação de um cluster com HBase](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-hbase-create.html).
1. Para habilitar o WAL no novo cluster, defina a propriedade `hbase.emr.wal.enabled` como `true`. O comando a seguir contém um trecho JSON com um exemplo de objeto de configuração.
```
aws emr create-cluster --name "hbasewal" --release-label emr-6.x.y \
--applications Name=HBase --use-default-roles --ec2-attributes KeyName=myKey \
--instance-type m6i.xlarge --instance-count 1 --configurations hbase.json
$cat hbase.json
[
{
"Classification": "hbase-site",
"Properties": {
"hbase.rootdir": "s3://amzn-s3-demo-bucket/MyHBaseStore"
}
},
{
"Classification": "hbase",
"Properties": {
"hbase.emr.storageMode": "s3",
"hbase.emr.wal.enabled": "true"
}
}
]
```
Quando HBase estiver on-line no cluster recém-criado, HBase gravará automaticamente os dados do WAL no Amazon EMR WAL e usará o Amazon EMR WAL para fins de recuperação.
**Example 1: Criação de um cluster do EMR que use o Amazon EMR WAL**
```
[
{
"Classification": "hbase-site",
"Properties": {
"hbase.rootdir": "s3://amzn-s3-demo-bucket/MyHBaseStore"
}
},
{
"Classification": "hbase",
"Properties": {
"hbase.emr.storageMode": "s3",
"hbase.emr.wal.enabled": "true"
}
}
]
```
**Example 2: Criação de um cluster do EMR com um Workspacede do WAL personalizado**
```
[
{
"Classification": "hbase-site",
"Properties": {
"hbase.rootdir": "s3://amzn-s3-demo-bucket/MyHBaseStore",
"emr.wal.workspace": "customWorkspaceName"
}
},
{
"Classification": "hbase",
"Properties": {
"hbase.emr.storageMode": "s3",
"hbase.emr.wal.enabled": "true"
}
}
]
```
# Restauração do Amazon EMR WAL
Como o Amazon EMR WAL do cluster original é retido por 30 dias, você pode restaurar e reutilizar o WAL para um cluster recém-criado dentro desse período. Quando você executa um novo cluster no mesmo diretório raiz do S3, o Amazon EMR mantém as instâncias do WAL do cluster antigo. Se você encerrar esse novo cluster, o relógio de 30 dias será reiniciado a partir do encerramento.
Use o procedimento a seguir para restaurar um WAL existente com um novo cluster. Esse processo pressupõe que você criou o cluster original com o Amazon EMR WAL habilitado.
1. Dentro de 30 dias após a criação de um cluster habilitado para WAL, crie um novo cluster Região da AWS igual ao cluster original. O novo cluster pode estar na mesma AZ ou em uma AZ diferente dentro da mesma região em que o cluster original foi criado.
Configure as propriedades do objeto para especificar o modo de armazenamento e o local do diretório raiz no Amazon S3. A localização do Amazon S3 que você especificar deve estar na mesma região do seu cluster EMR, mas somente um cluster ativo pode usar o mesmo diretório HBase raiz no S3 por vez.
Para ver as etapas do console para criar um cluster e um `create-cluster` exemplo detalhado que usa o AWS CLI, consulte [Criação de um cluster com HBase](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-hbase-create.html).
1. Para usar o Amazon EMR WAL existente no novo cluster, defina a propriedade `hbase.emr.wal.enabled` como `true`. O trecho JSON a seguir mostra um exemplo de objeto de configuração.
```
[
{
"Classification": "hbase-site",
"Properties": {
"hbase.rootdir": "s3://amzn-s3-demo-bucket/MyHBaseStore"
}
},
{
"Classification": "hbase",
"Properties": {
"hbase.emr.storageMode": "s3",
"hbase.emr.wal.enabled": "true"
}
}
]
```
# Uso das configurações de segurança com o Amazon EMR WAL
O Amazon EMR criptografa automaticamente os dados em trânsito entre o cluster e o serviço Amazon EMR WAL, bem como os dados em repouso no Amazon EMR WAL. Para obter mais informações, consulte [Encryption at rest for Amazon EMR WAL](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-data-encryption-options.html#emr-encryption-WAL). Você também pode usar uma configuração de segurança para trazer suas próprias chaves do serviço AWS Key Management Service (KMS) e criptografar os dados que você armazena no Amazon EMR WAL.
Use um dos métodos a seguir para selecionar uma configuração de segurança ao criar um cluster:
------
#### [ Console ]
Em Console de gerenciamento da AWS, especifique a configuração em **Configuração de segurança e par de chaves do EC2**.
![\[Security configuration section with search bar, refresh button, and options to browse or create configuration.\]](http://docs.aws.amazon.com/pt_br/emr/latest/ReleaseGuide/images/wal-configure-security.png)
------
#### [ CLI ]
A partir do AWS CLI, defina o `--security-configuration` parâmetro ao usar o comando [create-cluster](https://docs.aws.amazon.com/cli/latest/reference/emr/create-cluster.html).
------
Para obter mais informações, consulte [Encryption at rest for Amazon EMR WAL](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-data-encryption-options.html#emr-encryption-WAL) e [Use security configurations to set up cluster security](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-security-configurations.html) no *Guia de gerenciamento do Amazon EMR*.
Para obter mais informações relacionadas à segurança sobre o WAL, consulte [Using service-linked roles for write-ahead logging](https://docs.aws.amazon.com/emr/latest/ManagementGuide/using-service-linked-roles-wal.html).
# Acesse o Amazon EMR WAL por meio de AWS PrivateLink
Se você quiser manter sua conexão dentro da AWS rede, o Amazon EMR WAL oferece suporte. AWS PrivateLink Para configurar AWS PrivateLink, use o Console de gerenciamento da AWS ou AWS Command Line Interface (AWS CLI) para criar uma interface VPC endpoint que se conecta ao Amazon EMR WAL. *Para obter mais informações, consulte [Acessar um AWS serviço usando uma interface VPC endpoint no Guia](https://docs.aws.amazon.com/vpc/latest/privatelink/create-interface-endpoint.html).AWS PrivateLink *
As etapas básicas são:
1. Use o console da Amazon VPC para [criar um endpoint da VPC](https://docs.aws.amazon.com/vpc/latest/privatelink/create-interface-endpoint.html#create-interface-endpoint-aws). Selecione **Endpoints** e **Criar endpoint**.
1. Mantenha a categoria Serviço como **Serviços da AWS **.
1. Na barra de pesquisa do painel **Serviços**, digite **emrwal** e selecione o serviço rotulado `com.amazonaws.region.emrwal.prod`.
1. Selecione sua VPC e salve o endpoint. Certifique-se de anexar ao endpoint da VPC os mesmos grupos de segurança que você anexa ao cluster do EMR.
1. Se quiser, agora você pode habilitar nomes de host DNS privados para o novo endpoint. Defina **Habilitar nomes de host DNS** e **Habilitar suporte de DNS** como `true` para a VPC. Em seguida, selecione o ID de endpoint, escolha **Editar configurações de VPC** no menu **Ações** e habilite nomes DNS privados.
+ Os nomes de host DNS privados do endpoint seguirão o formato `prod.emrwal.region.amazonaws.com`.
+ Se você não habilitar nomes de host DNS privados, a Amazon VPC fornecerá um nome de endpoint do DNS no formato `endpointID.prod.emrwal.region.vpce.amazonaws.com`.
1. Para usar seu AWS PrivateLink endpoint, modifique a `emr.wal.client.endpoint` configuração ao criar seu cluster [habilitado para WAL do Amazon EMR](emr-hbase-wal-enabling.md), conforme mostrado no exemplo a seguir:
```
[
{
"Classification": "hbase-site",
"Properties": {
"hbase.rootdir": "s3://amzn-s3-demo-bucket/MyHBaseStore",
"emr.wal.workspace": "customWorkspaceName",
"emr.wal.client.endpoint": "https://prod.emrwal.region.amazonaws.com"
}
},
{
"Classification": "hbase",
"Properties": {
"hbase.emr.storageMode": "s3",
"hbase.emr.wal.enabled": "true"
}
}
]
```
Você também pode usar a política de VPCE para permitir ou restringir o acesso ao Amazon EMR WAL. APIs Para obter mais informações, consulte [Controlar o acesso aos endpoints da VPC usando políticas de endpoint](https://docs.aws.amazon.com/vpc/latest/privatelink/create-interface-endpoint.html) no *Guia AWS PrivateLink *.
# Noções básicas de preços e métricas do Amazon EMR WAL
| Unidade de cobrança de recursos centrais | Detalhes |
| --- | --- |
| EMR-WAL-Read-GiB | API calls to read data from your table are billed as ReadRequestGiB. This includes [`Get` and `Scan`](https://hbase.apache.org/book.html#_data_model_operations) operations. Reads are charged based on the sizes of the read items. Amazon EMR bills at a minimum of 1 byte. For example, if you read a 1234.12 bytes item, you're charged for 1235 bytes. Reads are aggregated every hour for billing and shown as GiBs. |
| EMR-WAL-Write-GiB | API calls to write data from your table are billed as Write-GiB. This includes [https://hbase.apache.org/book.html#_data_model_operations](https://hbase.apache.org/book.html#_data_model_operations) operations. Writes are charged based on the sizes of the written items. Amazon EMR bills at a minimum of 1 byte. For example, if you write a 1234.12 bytes item, you're charged for 1235 bytes. Writes are aggregated every hour for billing and shown as GiBs. |
| EMR-WAL-WALHours | O número WALs que você armazena no serviço é cobrado como`EMR-WAL-WALHours`. O Amazon EMR cria um WAL por região. HBase Por exemplo, se você criar 20 HBase tabelas, incluindo tabelas do sistema, e cada tabela tiver duas HBase regiões, você usará 28.800 horas de WAL, calculadas como: 20 tables
x 2 Regions per table
x 1 WAL per Region
x 30 days
x 24 hours
-----------
28,800 EMR-WAL-WALHours
|
**Exemplo`EMRWALCount`:**
![\[Line graph showing ResourceCount fluctuations over time, ranging from about 18.87 to 19.20.\]](http://docs.aws.amazon.com/pt_br/emr/latest/ReleaseGuide/images/wal-metric.png)
**Exemplo`EMRWALWorkspaceCount`:**
![\[Graph showing ResourceCount fluctuations over time, ranging from 7.97 to 8.32.\]](http://docs.aws.amazon.com/pt_br/emr/latest/ReleaseGuide/images/wal-metric2.png)
# Marcação de Workspaces do WAL
Você pode adicionar tags a um Workspace ao criar um, além de adicionar, remover ou listar tags de um Workspace ativo para um cluster em execução. Você não pode marcar os recursos individuais no Workspace e nem atualizar as tags existentes; em vez disso, remova as tags indesejadas do Workspace e substitua-as.
Você pode marcar Workspaces na EMRWAL CLI. Para obter uma lista de comandos da EMRWAL CLI para marcar Workspaces, consulte [Referência da CLI do Amazon EMR WAL (EMRWAL)](emrwalcli-ref.md).
O seguinte exemplo de política do IAM ilustra um cenário que permite operações CRUDL no Workspace somente com a chave `resource_tag_allow_test_key` e o valor `resource_tag_allow_test_value` de marcação adequados:
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Action": [
"s3:GetObject",
"s3:PutObject",
"s3:DeleteObject",
"s3:ListBucket"
],
"Effect": "Allow",
"Resource": [
"*"
],
"Condition": {
"StringEquals": {
"aws:ResourceTag/resource_tag_allow_test_key": [
"resource_tag_allow_test_value"
]
}
},
"Sid": "AllowEMRWAL"
}
]
}
```
------
Para verificar se a tag agora é necessária nas operações do Workspace, use [Referência da CLI do Amazon EMR WAL (EMRWAL)](emrwalcli-ref.md) para chamar o comando [`listTagsForResource`](emrwalcli-ref.md#emrwalcli-ref-listtagsforresource) em `tagAllowResourceTag` para o Workspace com a tag de recurso desejada. Se você configurou a condição corretamente, o comando será bem-sucedido.
```
emrwal listTagsForResource -r us-east-1 -arn arn:aws:emrwal:us-east-1:arn:workspace/tagAllowResourceTag
Tag(Key=resource_tag_allow_test_key, Value=resource_tag_allow_test_value)
```
# Replicação entre clusters do EMR WAL
A partir do EMR 7.5, o EMR WAL oferece suporte à replicação HBase entre clusters de registros de gravação antecipada. Este tópico mostra como habilitar o recurso e verificar se ele está funcionando. Para obter mais detalhes sobre a replicação em cluster, consulte Replicação em [cluster na documentação do Apache.](https://hbase.apache.org/book.html#_cluster_replication) HBase
**nota**
Há um custo extra de leitura associado aos logs de gravação antecipada, pois o processo de replicação lê os dados do EMR WAL local. Para obter mais detalhes sobre os custos, consulte [Sobre os lançamentos do Amazon EMR](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-hbase-wal-metrics.html).
## Configuração da replicação entre clusters
Para ter a mesma experiência do usuário, habilitar o recurso de replicação no EMR WAL é o mesmo que com HBase registros de gravação antecipada nativos. O procedimento a seguir mostra um exemplo simples. Para obter mais informações, consulte a HBase documentação em [Cluster Replication.](https://hbase.apache.org/book.html#_cluster_replication)
1. Inicie um cluster primário, que é a origem da replicação, com o EMR WAL habilitado. Para habilitar logs de gravação antecipada, consulte [Como habilitar o Amazon EMR WAL](emr-hbase-wal-enabling.md). Além disso, inicie um cluster peer. Para esse cluster peer, você pode optar por habilitar ou não o EMR WAL.
1. Nos dois clusters, crie uma tabela:
```
HBASE_CMD="sudo -u hbase hbase"
echo "create 'test_replication_table',{NAME => 'CF'}" | $HBASE_CMD shell
```
1. Adicione a configuração de peer no cluster primário e habilite a replicação de tabelas. Durante a adição do peer, ele precisa do nome de host do nó principal do cluster peer, que é **PEER\$1DNS.**
```
HBASE_CMD="sudo -u hbase hbase"
PEER_DNS="ip-10-1-1-0.ec2.com"
PEER_NAME="aws"
TABLE_NAME="test_replication_table"
## Create peering with the destination cluster
echo "add_peer '$PEER_NAME', CLUSTER_KEY => '$PEER_DNS:2181:/hbase'" | $HBASE_CMD shell
## List peers in the primary cluster to confirm peer setup
echo "list_peers" | $HBASE_CMD shell
## Enable table replication
echo "enable_table_replication '$TABLE_NAME'" | $HBASE_CMD shell
```
## Confirmação da replicação entre clusters
Após a execução das etapas de configuração, a replicação é habilitada entre o cluster primário e o cluster peer. Segue um teste que confirma se a replicação está funcionando.
1. Adicione dados no cluster primário e verifique os dados replicados no cluster peer.
```
## Write on primary cluster with HBase CLI
put 'test_replication_table', 'aaa', 'CF:a', 'aaa_a1'
put 'test_replication_table', 'bbb', 'CF:b', 'bbb_b1'
put 'test_replication_table', 'ccc', 'CF:c', 'ccc_c1'
```
1. Confirme a replicação bem-sucedida no cluster peer. Nesse caso, você deve ver dados replicados gravados do cluster primário para o cluster peer.
```
### Scan on peer cluster with HBase CLI
scan 'test_replication_table'
```
# Considerações e regiões do Amazon EMR WAL
## Considerações sobre o Amazon EMR WAL
A seguinte lista descreve considerações e limitações importantes do Amazon EMR WAL:
+ O Amazon EMR WAL está disponível para uso com as versões 6.15.0 e posteriores do Amazon EMR.
+ O Amazon EMR WAL é um serviço pago opcional. Você paga pelo que usa: leituras, gravações e armazenamento de dados. Para obter mais informações, consulte [Noções básicas de preços e métricas do Amazon EMR WAL](emr-hbase-wal-metrics.md) e a página [Preços do Amazon EMR](https://aws.amazon.com/emr/pricing/).
+ O Amazon EMR WAL usa o HBase Write Ahead Log (WAL). Para usar o Amazon EMR WAL, seus clusters devem usar o WAL. HBase
+ Para habilitar o Amazon EMR WAL ao criar um cluster, você deve ter as permissões de perfil necessárias. Para obter mais informações, consulte [Using service-linked roles for write-ahead logging](https://docs.aws.amazon.com/emr/latest/ManagementGuide/using-service-linked-roles-wal.html).
+ Você deve habilitar o Amazon EMR WAL ao criar o cluster com a API,, ou Console de gerenciamento da AWS AWS CLI, e você deve usar a configuração de grupos de *instâncias*. Você não pode habilitar o Amazon EMR WAL em um cluster em execução se não tiver criado o cluster com o Amazon EMR WAL. Você também não pode editar as configurações `hbase-site` para habilitar o Amazon EMR WAL em um cluster em execução.
+ Você só pode habilitar o Amazon EMR WAL em clusters que usam o Amazon S3 como diretório raiz.
+ Antes do Amazon EMR versão 7.5.0, os logs no Amazon EMR WAL precisavam ter 4 MB ou menos. Porém, com o Amazon EMR versão 7.5.0 e posterior, o tamanho máximo do log no EMR WAL é configurável com a propriedade `emr.wal.max.payload.size`. O valor padrão é 1 GB. O exemplo a seguir define o tamanho máximo do registro como 2 GB:
```
[
{
"Classification":"hbase-site",
"Properties": {
"emr.wal.max.payload.size": "2147483648"
}
}
]
```
+ Você não pode ter vários clusters ativos no mesmo diretório HBase raiz no Amazon S3.
+ Você não pode habilitar o Amazon EMR WAL em clusters de réplica de leitura.
+ O WAL é replicado em zonas de disponibilidade dentro do serviço gerenciado.
+ O WAL sobrevive ao cluster e permanece disponível para o próximo.
+ Você não pode desabilitar o Amazon EMR WAL durante a inicialização ou quando o cluster estiver em operação (em estado de execução).
+ Para obter informações sobre o WAL e os limites do Workspace, consulte [Amazon EMR endpoints and quotas](https://docs.aws.amazon.com/general/latest/gr/emr.html).
## Disponibilidade regional do Amazon EMR WAL
O serviço Amazon EMR WAL está disponível no seguinte: Regiões da AWS
+ `ap-northeast-1`: Ásia-Pacífico (Tóquio)
+ `ap-northeast-2`: Ásia-Pacífico (Seul)
+ `ap-southeast-1`: Ásia-Pacífico (Singapura)
+ `ap-south-1`: Ásia-Pacífico (Mumbai)
+ `ap-southeast-2`: Ásia-Pacífico (Sydney)
+ `eu-central-1`: Europa (Frankfurt)
+ `eu-north-1`: Europa (Estocolmo)
+ `eu-west-1`: Europa (Irlanda)
+ `sa-east-1`: América do Sul (São Paulo)
+ `us-east-1`: Leste dos EUA (Norte da Virgínia)
+ `us-east-2`: Leste dos EUA (Ohio)
+ `us-west-2`: Oeste dos EUA (Oregon)
As seguintes regiões apenas estavam disponíveis com o Amazon EMR versão 7.3.0 ou posterior:
+ `ap-east-1`: Ásia-Pacífico (Hong Kong)
+ `af-south-1`: África (Cidade do Cabo)
+ `ca-central-1`: Canadá (Central)
+ `eu-west-2`: Europa (Londres)
# Referência da CLI do Amazon EMR WAL (EMRWAL)
A *interface da linha de comando do EMRWAL (EMRWAL CLI)* é uma ferramenta unificada para gerenciar o log de gravação antecipada (WAL) do Amazon EMR. A EMRWAL CLI é fornecida com clusters do EMR ao habilitar o WAL no momento em que cria um cluster. Para obter mais informações sobre como habilitar o WAL, consulte [Logs de gravação antecipada (WAL) do Amazon EMR](emr-hbase-wal.md).
A EMRWAL CLI inclui os seguintes comandos:
**Topics**
+ [`createWorkspace`](#emrwalcli-ref-createworkspace)
+ [`deleteWal`](#emrwalcli-ref-deletewal)
+ [`deleteWorkspace`](#emrwalcli-ref-deleteworkspace)
+ [`listTagsForResource`](#emrwalcli-ref-listtagsforresource)
+ [`listWals`](#emrwalcli-ref-listwals)
+ [`listWorkspaces`](#emrwalcli-ref-listworkspaces)
+ [`tagResource`](#emrwalcli-ref-tagresource)
+ [`untagResource`](#emrwalcli-ref-untagresource)
## `createWorkspace`
O comando `createWorkspace` cria um Workspace do Amazon EMR WAL.
**Uso:**
```
emrwal createWorkspace [-tags ] [-e {endpoint}] [-r {Region}] -w {workspacename} [-h]
```
**Exemplo:**
```
emrwal createWorkspace -w examplews
```
## `deleteWal`
O comando `deleteWals` exclui o Amazon EMR WAL que você especifica.
**Uso:**
```
emrwal deleteWal [-e {endpoint}] [-r {Region}] [-w {workspacename}] [-p ] [-n ] [-N ] [-R] [-m] [-h]
```
**Exemplo:**
```
emrwal deleteWal -w examplews -p hbasetable -n examplewal
```
## `deleteWorkspace`
O comando `deleteWorkspace` exclui o Workspace do Amazon EMR WAL que você especifica.
**Uso:**
```
emrwal deleteWorkspace [-e {endpoint}] [-r {Region}] -w {workspacename} [-h]
```
**Exemplo:**
```
emrwal deleteWorkspace -w examplews
```
## `listTagsForResource`
O comando `listTagsForResource` lista todas as tags de pares de valores-chave do Workspace do Amazon EMR WAL que você especifica.
**Uso:**
```
emrwal listTagsForResource -arn {resource-arn} [-e {endpoint}] [-r {Region}] [-h]
```
**Exemplo:**
```
emrwal listTagsForResource -arn arn:aws:emrwal::1234567891234:workspace/examplews
```
## `listWals`
O `listWals` comando lista todo o Amazon EMR WALs no espaço de trabalho que você especificar.
**Uso:**
```
emrwal listWals [-nextToken {token-string}] [-pageSize {integer}] [-e {endpoint}] [-r {Region}] [-w {workspacename}] [-p ] [-M {integer}] [-h]
```
**Exemplo:**
```
emrwal listWals -w examplews
```
## `listWorkspaces`
O comando `listWorkspaces` lista todos os Workspaces do Amazon EMR WAL que estão disponíveis para você.
**Uso:**
```
emrwal listWorkspaces [-nextToken {token-string}] [-pageSize {integer}] [-e {endpoint}] [-r {Region}] [-M {integer}] [-h]
```
**Exemplo:**
```
emrwal listWorkspaces
```
## `tagResource`
O comando `tagResource` atribui uma ou mais tags de pares de valores-chave ao Workspace do Amazon EMR WAL que você especifica.
**Uso:**
```
emrwal tagResource -arn {resource-arn} -tags [-e {endpoint}] [-r {Region}] [-h]
```
**Exemplo:**
```
emrwal tagResource -arn arn:aws:emrwal::1234567891234:workspace/examplews -tags tag_key=tag_value
```
## `untagResource`
O comando `untagResource` cancela a atribuição de uma ou mais tags de pares de valores-chave ao Workspace do Amazon EMR WAL que você especifica.
**Uso:**
```
emrwal untagResource -arn {resource-arn} -tagKeys [-e {endpoint}] [-r {Region}] [-h]
```
**Exemplo:**
```
emrwal untagResource -arn arn:aws:emrwal::1234567891234:workspace/examplews -tagKeys tag_key
```
# Usando a HBase concha
Depois de criar um HBase cluster, a próxima etapa é conectar-se para que você HBase possa começar a ler e gravar dados (as gravações de dados não são suportadas em um cluster de réplica de leitura). Você pode usar o [HBase shell](https://hbase.apache.org/book.html#shell) para testar comandos.
**Para abrir a HBase concha**
1. Use o SSH para se conectar ao servidor principal no HBase cluster. Para obter informações sobre como se conectar ao nó primário do Amazon EMR usando SSH, consulte [Connect to the primary node using SSH](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-connect-master-node-ssh.html) no *Guia de gerenciamento do Amazon EMR*.
1. Executar `hbase shell`. O HBase shell é aberto com um prompt semelhante ao seguinte.
```
hbase(main):001:0>
```
Você pode emitir comandos de HBase shell a partir do prompt. Para obter mais informações sobre os comandos do shell e como chamá-los, digite help no HBase prompt e pressione Enter.
## Criar uma tabela
O comando a seguir cria uma tabela chamada “t1”, que tem uma família de coluna exclusiva chamada de “f1”.
```
hbase(main):001:0>create 't1', 'f1'
```
## Inserir um valor
O comando a seguir insere o valor “v1” para a linha “r1” na tabela “t1” e na coluna “f1”.
```
hbase(main):001:0>put 't1', 'r1', 'f1:col1', 'v1'
```
## Obter um valor
O comando a seguir obtém os valores para a linha “r1” na tabela “t1”.
```
hbase(main):001:0>get 't1', 'r1'
```
## Excluir uma tabela
O comando a seguir descarta e exclui a tabela “t1”.
```
hbase(main):001:0>drop 'ns1:t1',false
```
O valor booleano indica se você deseja ou não arquivar a tabela, então você pode defini-la como `true` se quiser salvá-la. Também é possível executar `drop 'ns1:t1'` sem booleano para arquivar a tabela.
# Acesse HBase tabelas com o Hive
HBase e [Apache Hive](emr-hive.md) estão totalmente integrados, permitindo a execução massiva de cargas de trabalho de processamento paralelo diretamente nos dados armazenados em. HBase Para usar o Hive com HBase, geralmente você pode iniciá-los no mesmo cluster. No entanto, você pode iniciar o Hive e HBase em clusters separados. Executar HBase o Hive separadamente em clusters diferentes pode melhorar o desempenho, pois isso permite que cada aplicativo use os recursos do cluster com mais eficiência.
Os procedimentos a seguir mostram como se conectar HBase em um cluster usando o Hive.
**nota**
Você só pode conectar um cluster do Hive a um único HBase cluster.
**Para conectar o Hive ao HBase**
1. Crie clusters separados com o Hive e HBase instalado ou crie um único cluster com ambos HBase e o Hive instalados.
1. Se você estiver usando clusters separados, modifique seus grupos de segurança para que HBase as portas do Hive estejam abertas entre esses dois nós primários.
1. Use o SSH para se conectar ao nó central do cluster com o Hive instalado. Para obter mais informações, consulte [Connect to the primary node using SSH](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-connect-master-node-ssh.html) no *Guia de gerenciamento do Amazon EMR*.
1. Execute o shell do Hive com o comando a seguir.
```
hive
```
1. (Opcional) Não é necessário fazer isso se HBase o Hive estiver localizado no mesmo cluster. Conecte o HBase cliente em seu cluster Hive ao HBase cluster que contém seus dados. No exemplo a seguir, *public-DNS-name* é substituído pelo nome DNS público do nó primário do HBase cluster, por exemplo:`ec2-50-19-76-67.compute-1.amazonaws.com`.
```
set hbase.zookeeper.quorum=public-DNS-name;
```
1. Continue executando as consultas do Hive em seus HBase dados conforme desejado ou veja o próximo procedimento.
**Para acessar HBase dados do Hive**
+ Depois que a conexão entre o Hive e os HBase clusters for estabelecida (conforme mostrado no procedimento anterior), você poderá acessar os dados armazenados no HBase cluster criando uma tabela externa no Hive.
O exemplo a seguir, quando executado a partir do prompt do Hive no nó primário, cria uma tabela externa que faz referência aos dados armazenados em uma HBase tabela chamada`inputTable`. Em seguida, você pode fazer referência `inputTable` nas instruções do Hive para consultar e modificar os dados armazenados no HBase cluster.
```
set hbase.zookeeper.quorum=ec2-107-21-163-157.compute-1.amazonaws.com;
create external table inputTable (key string, value string)
stored by 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
with serdeproperties ("hbase.columns.mapping" = ":key,f1:col1")
tblproperties ("hbase.table.name" = "t1");
select count(key) from inputTable ;
```
Para um caso de uso mais avançado e um exemplo de combinação com o Hive, consulte a postagem do blog sobre AWS Big Data, [Combine NoSQL HBase e análises paralelas massivas usando o Apache e o HBase Apache Hive](https://aws.amazon.com/blogs/big-data/combine-nosql-and-massively-parallel-analytics-using-apache-hbase-and-apache-hive-on-amazon-emr) no Amazon EMR.
# Usando HBase instantâneos
HBase usa uma funcionalidade de [captura instantânea](https://hbase.apache.org/book.html#ops.snapshots) integrada para criar backups leves de tabelas. Em clusters EMR, esses backups podem ser exportados para o Amazon S3 usando o EMRFS. Você pode criar um instantâneo no nó primário usando o HBase shell. Este tópico mostra como executar esses comandos interativamente com o shell ou por meio de uma etapa usando `command-runner.jar` o AWS CLI ou AWS SDK para Java. Para obter mais informações sobre outros tipos de HBase backups, consulte [HBase backup](https://hbase.apache.org/book.html#ops.backup) na HBase documentação.
## Criar um snapshot usando uma tabela
```
hbase snapshot create -n snapshotName -t tableName
```
Usando o command-runner.jar a partir do AWS CLI:
```
aws emr add-steps --cluster-id j-2AXXXXXXGAPLF \
--steps Name="HBase Shell Step",Jar="command-runner.jar",\
Args=[ "hbase", "snapshot", "create","-n","snapshotName","-t","tableName"]
```
AWS SDK para Java
```
HadoopJarStepConfig hbaseSnapshotConf = new HadoopJarStepConfig()
.withJar("command-runner.jar")
.withArgs("hbase","snapshot","create","-n","snapshotName","-t","tableName");
```
**nota**
Se o nome do snapshot não for exclusivo, a operação de criação falhará com um código de retorno `-1` ou `255`, mas talvez você não veja uma mensagem de erro afirmando o que deu errado. Para usar o mesmo nome de snapshot, exclua-o e recrie-lo em seguida.
## Excluir um snapshot
```
hbase shell
>> delete_snapshot 'snapshotName'
```
## Exibir informações do snapshot
```
hbase snapshot info -snapshot snapshotName
```
## Exportar um snapshot para o Amazon S3
**Importante**
Se você não especificar um `-mappers` valor ao exportar um instantâneo, HBase usa um cálculo arbitrário para determinar o número de mapeadores. Esse valor pode ser muito grande, dependendo do tamanho da tabela, o que afeta negativamente os trabalhos em execução durante a exportação. Por esse motivo, recomendamos que você especifique o parâmetro `-mappers`, o parâmetro `-bandwidth` (que indica o consumo de largura de banda em megabytes por segundo) ou ambos para limitar os recursos de cluster usados pela operação de exportação. Como alternativa, você pode executar a operação de exportação de snapshot durante um período de baixa utilização.
```
hbase snapshot export -snapshot snapshotName \
-copy-to s3://amzn-s3-demo-bucket/folder -mappers 2
```
Usando `command-runner.jar` a partir do AWS CLI:
```
aws emr add-steps --cluster-id j-2AXXXXXXGAPLF \
--steps Name="HBase Shell Step",Jar="command-runner.jar",\
Args=[ "hbase", "snapshot", "export","-snapshot","snapshotName","-copy-to","s3://amzn-s3-demo-bucket/folder","-mappers","2","-bandwidth","50"]
```
AWS SDK para Java:
```
HadoopJarStepConfig hbaseImportSnapshotConf = new HadoopJarStepConfig()
.withJar("command-runner.jar")
.withArgs("hbase","snapshot","export",
"-snapshot","snapshotName","-copy-to",
"s3://bucketName/folder",
"-mappers","2","-bandwidth","50");
```
## Importar um snapshot do Amazon S3
Embora seja uma importação, a HBase opção usada aqui ainda é`export`.
```
sudo -u hbase hbase snapshot export \
-D hbase.rootdir=s3://amzn-s3-demo-bucket/folder \
-snapshot snapshotName \
-copy-to hdfs://masterPublicDNSName:8020/user/hbase \
-mappers 2
```
Usando `command-runner.jar` a partir do AWS CLI:
```
aws emr add-steps --cluster-id j-2AXXXXXXGAPLF \
--steps Name="HBase Shell Step",Jar="command-runner.jar", \
Args=["sudo","-u","hbase","hbase snapshot export","-snapshot","snapshotName", \
"-D","hbase.rootdir=s3://amzn-s3-demo-bucket/folder", \
"-copy-to","hdfs://masterPublicDNSName:8020/user/hbase","-mappers","2","-chmod","700"]
```
AWS SDK para Java:
```
HadoopJarStepConfig hbaseImportSnapshotConf = new HadoopJarStepConfig()
.withJar("command-runner.jar")
.withArgs("sudo","-u","hbase","hbase","snapshot","export", "-D","hbase.rootdir=s3://path/to/snapshot",
"-snapshot","snapshotName","-copy-to",
"hdfs://masterPublicDNSName:8020/user/hbase",
"-mappers","2","-chuser","hbase");
```
## Restaurar uma tabela a partir de instantâneos dentro do shell HBase
```
hbase shell
>> disable tableName
>> restore_snapshot snapshotName
>> enable tableName
```
HBase atualmente não oferece suporte a todos os comandos de snapshot encontrados no HBase shell. Por exemplo, não há opção de HBase linha de comando para restaurar um snapshot, então você deve restaurá-lo em um shell. Isso significa que `command-runner.jar` deve executar um comando Bash.
**nota**
Como o comando usado aqui é `echo`, é possível que seu comando shell ainda falhe, mesmo que o comando executado pelo Amazon EMR retorne um código de saída `0`. Verifique os logs de etapas se você optar por executar um comando shell como um etapa.
```
echo 'disable tableName; \
restore_snapshot snapshotName; \
enable tableName' | hbase shell
```
Veja a seguir a etapa usando a AWS CLI. Primeiro, crie o seguinte arquivo `snapshot.json`:
```
[
{
"Name": "restore",
"Args": ["bash", "-c", "echo $'disable \"tableName\"; restore_snapshot \"snapshotName\"; enable \"tableName\"' | hbase shell"],
"Jar": "command-runner.jar",
"ActionOnFailure": "CONTINUE",
"Type": "CUSTOM_JAR"
}
]
```
```
aws emr add-steps --cluster-id j-2AXXXXXXGAPLF \
--steps file://./snapshot.json
```
AWS SDK para Java:
```
HadoopJarStepConfig hbaseRestoreSnapshotConf = new HadoopJarStepConfig()
.withJar("command-runner.jar")
.withArgs("bash","-c","echo $'disable \"tableName\"; restore_snapshot \"snapshotName\"; enable \"snapshotName\"' | hbase shell");
```
# Configure HBase
Embora as HBase configurações padrão devam funcionar para a maioria dos aplicativos, você pode modificá-las. HBase Para fazer isso, use as propriedades das classificações de HBase configuração. Para obter mais informações, consulte [Configurar aplicações](emr-configure-apps.md).
O exemplo a seguir cria um cluster com um diretório HBase raiz alternativo baseado em um arquivo de configuração,`myConfig.json`, armazenado no Amazon S3.
**nota**
Os caracteres de continuação de linha do Linux (\$1) são incluídos para facilitar a leitura. Eles podem ser removidos ou usados em comandos do Linux. No Windows, remova-os ou substitua-os por um sinal de interpolação (^).
```
aws emr create-cluster --release-label emr-7.12.0 --applications Name=HBase \
--instance-type m5.xlarge --instance-count 3 --configurations https://s3.amazonaws.com/amzn-s3-demo-bucket/myfolder/myConfig.json
```
O arquivo `myConfig.json` especifica a propriedade `hbase.rootdir` para a classificação de configuração `hbase-site`, conforme mostrado no exemplo a seguir. *ip-XXX-XX-XX-XXX.ec2.internal*Substitua pelo nome de host DNS interno do nó primário do cluster.
```
[
{
"Classification":"hbase-site",
"Properties": {
"hbase.rootdir": "hdfs://ip-XXX-XX-XX-XXX.ec2.internal:8020/user/myCustomHBaseDir"
}
}
]
```
**nota**
Com as versões 5.21.0 e posteriores do Amazon EMR, você pode substituir as configurações de cluster e especificar classificações de configuração adicionais para cada grupo de instâncias em um cluster em execução. Você faz isso usando o console do Amazon EMR, o AWS Command Line Interface (AWS CLI) ou o AWS SDK. Para obter mais informações, consulte [Supplying a Configuration for an Instance Group in a Running Cluster](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-configure-apps-running-cluster.html).
## Alterações na alocação de memória do YARN
HBase não está sendo executado como um aplicativo YARN, portanto, é necessário recalcular a memória alocada para o YARN e seus aplicativos, o que resulta em uma redução na memória geral disponível para o YARN se estiver instalado. HBase Você deve levar isso em consideração ao planejar a co-localização de aplicativos YARN e HBase nos mesmos clusters. Os tipos de instância com menos de 64 GB de memória têm metade da memória disponível paraNodeManager, que é então alocada para o. HBase RegionServer Por exemplo, tipos com memória maior que 64 GB, a HBase RegionServer memória é limitada a 32 GB. Como regra geral, a memória de configuração do YARN é um múltiplo da memória de tarefas do MapReduce redutor.
As tabelas em [Valores padrão para definições de configuração de tarefa](emr-hadoop-task-config.md#emr-hadoop-task-jvm) mostram as alterações nas configurações do YARN com base na memória necessária para HBase.
## HBase números de porta
Alguns números de porta escolhidos HBase são diferentes do padrão. A seguir estão as interfaces e portas para o HBase Amazon EMR.
**HBase portas**
| Interface | Porta | Protocolo |
| --- | --- | --- |
| HMaster | 16000 | TCP |
| HMaster UI | 16010 | HTTP |
| RegionServer | 16020 | TCP |
| RegionServer Informações | 16030 | HTTP |
| Servidor REST | 8070 | HTTP |
| INTERFACE DO USUÁRIO REST | 8085 | HTTP |
| Servidor Thrift | 9090 | TCP |
| Interface do usuário do servidor Thrift | 9095 | HTTP |
**Importante**
O `kms-http-port` é 9700 e o `kms-admin-port` é 9701 no Amazon EMR 4.6.0 e versões posteriores.
## HBase configurações do site para otimizar
Você pode definir qualquer uma ou todas as configurações do HBase site para otimizar o HBase cluster para a carga de trabalho do seu aplicativo. Recomendamos as seguintes configurações como ponto de partida na sua investigação.
### zookeeper.session.timeout
O tempo limite padrão é de 40 segundos (40.000 ms). Se um servidor de regiões travar, este será o tempo necessário para o servidor mestre notar a ausência do servidor de regiões e iniciar a recuperação. Para ajudar o servidor mestre a se recuperar com mais rapidez, você pode reduzir esse valor para um período mais curto. O exemplo a seguir usa 30 segundos ou 30.000 ms:
```
[
{
"Classification":"hbase-site",
"Properties": {
"zookeeper.session.timeout": "30000"
}
}
]
```
### hbase.regionserver.handler.count
Define o número de threads que o servidor de regiões mantém abertos para atender às solicitações de tabelas. O padrão de 10 é baixo, a fim de impedir que os usuários eliminem seus servidores de regiões ao usarem buffers de gravação grandes com um alto número de clientes simultâneos. A regra geral é manter esse número baixo quando a carga útil por solicitação se aproxima da faixa de MB (grandes entradas, digitalizações usando um cache grande) e alto quando a carga útil é pequena (obtenções, pequenas entradas, ICVs exclusões). O exemplo a seguir aumenta o número de threads abertos para 30:
```
[
{
"Classification":"hbase-site",
"Properties": {
"hbase.regionserver.handler.count": "30"
}
}
]
```
### hbase.hregion.max.filesize
Esse parâmetro determina o tamanho, em bytes, das regiões individuais. Por padrão, ele é definido como `1073741824`. Se você estiver gravando muitos dados em seu HBase cluster e isso estiver causando divisões frequentes, você pode aumentar esse tamanho para aumentar as regiões individuais. Isso reduz as divisões, mas exige mais tempo para fazer o balanceamento de carga de regiões de um servidor para outro.
```
[
{
"Classification":"hbase-site",
"Properties": {
"hbase.hregion.max.filesize": "1073741824"
}
}
]
```
### hbase.hregion.memstore.flush.size
Esse parâmetro determina o tamanho máximo de memstore, em bytes, antes que ele seja liberado no disco. O padrão é `134217728`. Se a sua workload é formada por curtos disparos contínuos de operações de gravação, convém aumentar esse limite para que todas as gravações permaneçam na memória durante o disparo contínuo e sejam liberadas no disco mais tarde. Isso pode aumentar o desempenho durante disparos contínuos.
```
[
{
"Classification":"hbase-site",
"Properties": {
"hbase.hregion.memstore.flush.size": "134217728"
}
}
]
```
## Considerações sobre a performance
### Habilitando um coletor de lixo (ZGC) para HBase
Com o Amazon EMR versão 7.10.0 e posterior, os usuários podem configurar facilmente as configurações de coleta de lixo (GC) para seu cluster. HBase Recomendamos habilitar o Z Garbage Collector (ZGC) para obter baixa latência e tempos de pausa GC inferiores a milissegundos.
Aqui está uma configuração para habilitar o ZGC para HBase RegionServer (s):
```
[
{
"Classification": "hbase-env",
"Properties": {},
"Configurations": [
{
"Classification": "export",
"Properties": {
"JAVA_HOME": "/usr/lib/jvm/jre-21",
"HBASE_REGIONSERVER_GC_OPTS": "\"-XX:+UseZGC -XX:+ZGenerational\""
}
}
]
}
]
```
**nota**
A variável de ambiente **JAVA\$1HOME** deve ser definida ao usar o ZGC geracional (recomendado) porque foi introduzida no JDK 21. Se quiser usar o modo não geracional (sem `-XX:+ZGenerational`) do ZGC, não há necessidade de definir **JAVA\$1HOME**. No JDK 24, o modo não geracional do ZGC foi removido.
#### Ajuste do ZGC
1. **Habilitar pilha fixa da JVM**
O Z Garbage Collector (ZGC) tem performance mais eficiente quando configurado com memória heap fixa, eliminando a sobrecarga de devolver memória ao sistema operacional. Para configurar a memória de pilha fixa para seu HBase cluster, use a seguinte configuração:
```
[
{
"Classification": "hbase",
"Properties": {
"hbase.regionserver.fixed.heap.enabled": "true"
}
}
]
```
1. **Habilitar pré-toque**
Habilitar o pré-toque melhora a performance da coleta de resíduos (GC) ao reduzir a latência inicial e fornecer uma performance mais previsível. Para habilitar o pré-toque para seu HBase cluster, use a seguinte configuração:
```
[
{
"Classification": "hbase-env",
"Properties": {},
"Configurations": [
{
"Classification": "export",
"Properties": {
"JAVA_HOME": "/usr/lib/jvm/jre-21",
"HBASE_REGIONSERVER_GC_OPTS": "\"-XX:+UseZGC -XX:+ZGenerational -XX:+AlwaysPreTouch\""
}
}
]
}
]
```
# Visualize a interface HBase do usuário
**nota**
A interface HBase do usuário usa conexões HTTP inseguras por padrão. Para habilitar o HTTP seguro (HTTPS), defina a `hbase.ssl.enabled` propriedade da `hbase-site` classificação `true` em sua [HBase configuração](emr-hbase-configure.md). Para obter mais informações sobre o uso de HTTP seguro (HTTPS) para a interface do usuário HBase da web, consulte o [Guia de HBase referência do Apache](https://hbase.apache.org/book.html#_using_secure_http_https_for_the_web_ui).
HBase fornece uma interface de usuário baseada na web que você pode usar para monitorar seu HBase cluster. Quando você executa HBase no Amazon EMR, a interface web é executada no nó primário e pode ser visualizada usando o encaminhamento de portas, também conhecido como criação de um túnel SSH.
**Para visualizar a interface HBase do usuário**
1. Use o SSH para formar um túnel até o nó primário e criar uma conexão segura. Para obter mais informações, consulte [Opção 2, parte 1: configurar um túnel SSH para o nó primário usando o encaminhamento dinâmico de portas](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-ssh-tunnel.html) no *Guia de gerenciamento do Amazon EMR*.
1. Instale um navegador da Web com uma ferramenta de proxy, como o FoxyProxy plug-in do Firefox, para criar um proxy SOCKS para AWS domínios. Para obter mais informações, consulte [Opção 2, parte 2: Definir configurações de proxy para visualizar sites hospedados no nó primário](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-connect-master-node-proxy.html) no *Guia de gerenciamento do Amazon EMR*.
1. Com o proxy definido e a conexão SSH aberta, você pode visualizar a HBase interface do usuário abrindo uma janela do navegador com **http: //:16010/master-status*master-public-dns-name*,** onde está *master-public-dns-name* o endereço DNS público do nó primário do cluster.
![\[HMaster\]](http://docs.aws.amazon.com/pt_br/emr/latest/ReleaseGuide/images/hmaster.png)
Você também pode ver HBase em Hue. Por exemplo, o seguinte mostra a tabela, `t1`, criada em [Usando a HBase concha](emr-hbase-connect.md):
![\[HMaster\]](http://docs.aws.amazon.com/pt_br/emr/latest/ReleaseGuide/images/huehbase.png)
Para obter mais informações sobre o Hue, consulte [Hue](emr-hue.md).
# Exibir arquivos HBase de log
Como parte de sua operação, HBase grava arquivos de log com detalhes sobre configurações, ações do daemon e exceções. Esses arquivos de log podem ser úteis para depurar problemas e HBase monitorar o desempenho.
Se você configurar o cluster para manter a persistência de arquivos de log para o Amazon S3, deve saber que os logs são gravados no Amazon S3 cada cinco minutos e, portanto, pode haver um pequeno atraso antes que os arquivos de log mais recentes estejam disponíveis.
**Para visualizar HBase registros no nó primário**
+ Você pode visualizar os HBase registros atuais usando SSH para se conectar ao nó primário e navegar até o `/var/log/hbase` diretório. Esses logs não estão disponíveis depois que o cluster é encerrado, a menos que você habilite o registro em log no Amazon S3 quando o cluster for iniciado.
**Para visualizar HBase registros no Amazon S3**
+ Para acessar HBase logs e outros logs de cluster no Amazon S3 e disponibilizá-los após o encerramento do cluster, especifique um bucket do Amazon S3 para receber esses registros ao criar o cluster. Isso é feito usando a opção `--log-uri`. Para obter mais informações sobre como habilitar o registro em log para o seu cluster, consulte [Configure logging and debugging (optional)](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-plan-debugging.html) no *Guia de gerenciamento do Amazon EMR*.
# Monitor HBase com Ganglia
**nota**
A última versão do Amazon EMR a incluir o Ganglia foi o Amazon EMR 6.15.0. Para monitorar seu cluster, versões superiores à 6.15.0 incluem o agente [Amazon CloudWatch ](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-AmazonCloudWatchAgent.html).
O projeto de código-fonte aberto Ganglia é um sistema distribuído e escalável, projetado para monitorar clusters e grades e, ao mesmo tempo, minimizar o impacto sobre o seu desempenho. Quando você habilita o Ganglia no seu cluster, pode gerar relatórios e visualizar o desempenho do cluster como um todo, bem como inspecionar o desempenho de instâncias de nós individuais. Para obter mais informações sobre o projeto de código-fonte aberto Ganglia, consulte [http://ganglia.info/](http://ganglia.info/). Para obter mais informações sobre como usar o Ganglia com clusters do Amazon EMR, consulte [Ganglia](emr-ganglia.md).
Depois que o cluster é iniciado com o Ganglia configurado, você pode acessar os gráficos e relatórios do Ganglia usando a interface gráfica em execução no nó primário.
O Ganglia armazena arquivos de log no nó primário no diretório `/mnt/var/lib/ganglia/rrds/`. Versões anteriores do Amazon EMR podem armazenar arquivos de log no `/var/log/ganglia/rrds/` diretório.
**Para configurar um cluster para o Ganglia e usar o HBase AWS CLI**
+ Use um comando `create-cluster` semelhante ao seguinte:
```
aws emr create-cluster --name "Test cluster" --release-label emr-7.12.0 \
--applications Name=HBase Name=Ganglia --use-default-roles \
--ec2-attributes KeyName=myKey --instance-type m5.xlarge \
--instance-count 3
```
**nota**
Se o perfil de serviço do Amazon EMR padrão e o perfil de instância do Amazon EC2 não existirem, ocorrerá um erro. Use o comando `aws emr create-default-roles` para criá-los e, em seguida, tente novamente.
Para obter mais informações, consulte os [comandos do Amazon EMR na AWS CLI](https://docs.aws.amazon.com/cli/latest/reference/emr).
**Para visualizar HBase métricas na interface web do Ganglia**
1. Use o SSH para formar um túnel até o nó primário e criar uma conexão segura. Para obter mais informações, consulte [Opção 2, parte 1: configurar um túnel SSH para o nó primário usando o encaminhamento dinâmico de portas](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-ssh-tunnel.html) no *Guia de gerenciamento do Amazon EMR*.
1. Instale um navegador da Web com uma ferramenta de proxy, como o FoxyProxy plug-in do Firefox, para criar um proxy SOCKS para AWS domínios. Para obter mais informações, consulte [Opção 2, parte 2: Definir configurações de proxy para visualizar sites hospedados no nó primário](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-connect-master-node-proxy.html) no *Guia de gerenciamento do Amazon EMR*.
1. Com o proxy definido e a conexão SSH aberta, você pode visualizar as métricas do Ganglia abrindo uma janela do navegador com http://*master-public-dns-name*/ganglia/, onde *master-public-dns-name* está o endereço DNS público do servidor mestre no cluster. HBase
**Para exibir arquivos de log do Ganglia no nó central**
+ Se o cluster ainda estiver em execução, você poderá acessar os arquivos de log usando o SSH para se conectar ao nó primário e navegar até o diretório `/mnt/var/lib/ganglia/rrds/`. No EMR 3.x, navegue até o diretório `/var/log/ganglia/rrds`. Para obter mais informações, consulte [Connect to the primary node using SSH](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-connect-master-node-ssh.html) no *Guia de gerenciamento do Amazon EMR*.
**Visualizar arquivos de log do Ganglia no Amazon S3**
+ Os arquivos de log do Ganglia não são gravados automaticamente no Amazon S3 mesmo se você habilitar o registro em log para seu cluster. Para visualizar os arquivos de log do Ganglia no Amazon S3, envie manualmente os logs do `/mnt/var/lib/ganglia/rrds/` para o bucket do S3.
# Monitorando o EMR com HBase a Amazon CloudWatch
A partir do EMR 7.0, o Amazon EMR fornece o CloudWatch Amazon Agent para enviar métricas para o Prometheus CloudWatch ou para o Prometheus, substituindo o sistema de monitoramento Ganglia. Você pode encontrar mais detalhes no [Amazon CloudWatch Agent Configuration Guide](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/AmazonCloudWatchAgent-config-700.html).
O agente CloudWatch Amazon do EMR 7.0 forneceu integração básica e configurá-la exigiu esforço manual, como baixar componentes e usar ações de bootstrap. No entanto, a partir do EMR 7.1, o processo é simplificado. O uso do Amazon CloudWatch Agent no EMR 7.1 facilita o monitoramento de métricas em nível de sistema e específicas do aplicativo, incluindo aquelas para. HBase Ao usar a API de configuração do EMR, você pode configurar e personalizar rapidamente o processo de coleta de métricas e escolher para onde enviar os dados, seja para a Amazon ou para a Prometheus. CloudWatch Essa flexibilidade ajuda você a acompanhar de perto seus HBase clusters, garantindo que eles funcionem sem problemas e com eficiência.
Usando a API de configuração do EMR para lidar com toda a configuração, tornando o processo muito mais fácil. O CloudWatch agente no EMR 7.1 oferece suporte a três tipos principais de métricas:
+ **Métricas do sistema**: incluem indicadores-chave de performance do sistema, como: uso de CPU, uso de disco, uso de memória, E/S de rede, processos e uso de swap.
+ Métricas do **Hadoop Daemon — Essas métricas** estão relacionadas aos vários componentes do Hadoop, incluindo: DataNode métricas, métricas, métricas do YARN e métricas do NodeManager YARN. NameNode ResourceManager
+ **HBase Métricas** — Essas métricas fornecem informações sobre o desempenho HBase do: métricas HBase principais, métricas do servidor HBase regional, métricas do servidor HBase REST e métricas do HBase Thrift Server.
------
#### [ Using the AWS CLI ]
Todas as métricas do Hadoop HBase são baseadas em JMX, o que significa que elas usam extensões de gerenciamento Java para fornecer informações detalhadas. Veja como você pode configurar o Amazon CloudWatch Agent para monitorar HBase:
+ Consulte os [pré-requisitos](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/AmazonCloudWatchAgent-create.html) antes de criar um cluster com o Amazon Agent. CloudWatch Use um comando `create-cluster` semelhante ao exemplo que aparece após essa lista.
+ Consulte as [configurações](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/AmazonCloudWatchAgent-config.html) compatíveis com um HBase cluster.
+ Consulte o exemplo a seguir para ver exemplos de configurações para configurar o HBase monitoramento. Consulte as configurações de exemplo para a entrada `--configuration`.
```
aws emr create-cluster --name "HBase cluster with CloudWatch agent" \
--release-label emr-7.1.0 \
--applications Name=HBase Name=AmazonCloudWatchAgent \
--ec2-attributes KeyName=myKey --instance-type m7g.2xlarge \
--configurations file://./configurations.json \
--instance-count 3 --use-default-roles
```
Para obter mais informações sobre configurações de amostra JSON para métricas, consulte [Configurar métricas](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-hbase-setting-up-metrics.html).
------
#### [ Using the console ]
Para criar um cluster com o CloudWatch agente da Amazon a partir do console, execute estas etapas:
**Crie um cluster com o CloudWatch agente a partir do console**
1. [Faça login no e abra Console de gerenciamento da AWS o console do Amazon EMR em https://console.aws.amazon.com /emr.](https://console.aws.amazon.com/emr)
1. Selecione **Criar cluster**.
1. Em **Nome e aplicações**, escolha uma versão 7.0.0 ou superior do Amazon EMR.
1. Em **Pacote de aplicativos**, selecione HBase os aplicativos adicionais que você deseja instalar em seu cluster e inclua o CloudWatch agente em suas seleções.
1. Expanda **Configurações de software**. Você poderá inserir a configuração diretamente usando JSON ou uma sintaxe abreviada demonstrada no texto sombreado no console. Caso contrário, você pode fornecer um URI do Amazon S3 para um arquivo com um objeto JSON `Configurations`. Para obter mais informações sobre configurações de amostra JSON para métricas, consulte [Configurar métricas](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-hbase-setting-up-metrics.html).
1. Prossiga com a criação do cluster para atender às necessidades do seu caso de uso.
------
# Configurar métricas
Para monitorar o HBase Master, você pode configurar o Amazon CloudWatch Agent para coletar métricas específicas.
1. **Configurando métricas HBase principais** — Para monitorar o HBase Master, você pode configurar o Amazon CloudWatch Agent para coletar métricas específicas. Este é um exemplo de configuração para monitorar as atividades do Gerenciador de atribuições Master:
```
[
{
"Classification": "emr-metrics",
"Properties": {},
"Configurations": [
{
"Classification": "emr-hbase-master-metrics",
"Properties": {
"Hadoop:service=HBase,name=Master,sub=AssignmentManager": "AssignFailedCount,AssignSubmittedCount",
"otel.metric.export.interval": "30000"
},
"Configurations": []
}
]
}
]
```
Nesta configuração:
+ Especificamos o MBean (`Hadoop:service=HBase,name=Master,sub=AssignmentManager`) para coletar métricas como `AssignFailedCount` `AssignSubmittedCount` e.
+ Definimos o intervalo para coletar essas métricas a cada 30 segundos (30.000 milissegundos).
1. **Configurando métricas do servidor de HBase região** — Para monitorar servidores de HBase região, configure o CloudWatch agente da seguinte forma:
```
[
{
"Classification": "emr-metrics",
"Properties": {},
"Configurations": [
{
"Classification": "emr-hbase-region-server-metrics",
"Properties": {
"Hadoop:service=HBase,name=RegionServer,sub=IPC": "numActiveHandler,numActivePriorityHandler",
"otel.metric.export.interval": "30000"
},
"Configurations": []
}
]
}
]
```
Esta configuração:
+ Monitora manipuladores ativos no Region Server (`numActiveHandler`, `numActivePriorityHandler`).
+ Usa um intervalo de 30 segundos para coleta de métricas.
1. **Configurando métricas do servidor HBase REST** — Para monitorar a interface HBase REST, você pode usar a seguinte configuração:
```
[
{
"Classification": "emr-metrics",
"Properties": {},
"Configurations": [
{
"Classification": "emr-hbase-rest-server-metrics",
"Properties": {
"Hadoop:service=HBase,name=REST": "successfulPut,successfulScanCount",
"otel.metric.export.interval": "30000"
},
"Configurations": []
}
]
}
]
```
Neste exemplo, o CloudWatch agente coleta métricas sobre operações PUT bem-sucedidas e contagens de escaneamento a cada 30 segundos.
1. **Configurando métricas do HBase Thrift Server** — Para monitorar o HBase Thrift Server, você pode configurar métricas com uma configuração como a seguinte:
```
[
{
"Classification": "emr-metrics",
"Properties": {},
"Configurations": [
{
"Classification": "emr-hbase-thrift-server-metrics",
"Properties": {
"Hadoop:service=HBase,name=Thrift,sub=ThriftOne": "BatchGet_max,BatchGet_mean",
"otel.metric.export.interval": "30000"
},
"Configurations": []
}
]
}
]
```
Essa configuração rastreia os tempos máximos e médios das operações GET em lote no Thrift Server.
# Usar o destino de métricas
Com o EMR 7.1, você tem a opção de enviar seus dados de métricas para a Amazon ou o CloudWatch Amazon Managed Service for Prometheus. Essa opção permite uma integração perfeita com diferentes ferramentas de monitoramento, com base em suas necessidades.
## Enviando métricas para a Amazon CloudWatch
Para enviar métricas para CloudWatch, use esta configuração:
```
[
{
"Classification": "emr-metrics",
"Properties": {
"metrics_destination": "cloudwatch"
},
"Configurations": []
}
]
```
## Envio de métricas ao Amazon Managed Service para Prometheus
Se preferir usar o Prometheus, defina o destino e forneça a URL do endpoint:
```
[
{
"Classification": "emr-metrics",
"Properties": {
"metrics_destination": "prometheus",
"prometheus_endpoint": "https://aps-workspaces.region.amazonaws.com/workspaces/workspace_id/api/v1/remote_write"
},
"Configurations": []
}
]
```
`region`Substitua pela sua AWS região e pelo `workspace_id` ID do espaço de trabalho Prometheus. Essa configuração direciona suas HBase métricas para o Prometheus usando o endpoint especificado.
Com a configuração acima, você pode ver as métricas abaixo na guia **Monitoramento**.
# Migrando de versões anteriores HBase
Para migrar dados de uma HBase versão anterior, consulte [Atualização](https://hbase.apache.org/book.html#upgrading), [número da HBase versão e compatibilidade](https://hbase.apache.org/book.html#hbase.versioning) no Guia de referência do Apache HBase . Talvez seja necessário prestar atenção especial aos requisitos de atualização das versões anteriores à 1.0 do. HBase
## Migração para o Amazon EMR versão 7.4.0 ou posterior
**nota**
Siga estas diretrizes se estiver migrando de uma versão do EMR anterior à 7.4.0 para uma superior à 7.3.0.
Se você estiver executando uma versão do EMR com o recurso Rastreamento de arquivos de armazenamento da Amazon habilitado, incluído nas versões 6.2.0 a 7.3.0, e quiser fazer upgrade para uma versão com Rastreamento de arquivos de armazenamento OSS, disponível nas versões do EMR posteriores à 7.3.0, siga estas etapas:
1. No cluster existente:
1. Desabilite a tabela `hbase:storefile`.
1. Descarte a tabela `hbase:storefile`.
1. Descarregue `hbase:meta`.
1. Aguarde até que os metadados sejam atualizados.
1. No novo cluster:
1. Defina o mesmo diretório do Amazon S3 como o diretório raiz.
1. Inicie o cluster com a implementação de `DefaultStoreFileTracker`:
```
{
"Classification": "hbase-site",
"Properties": {
hbase.store.file-tracker.impl: "org.apache.hadoop.hbase.regionserver.storefiletracker.DefaultStoreFileTracker"
}
}
```
1. No nível da tabela ou do grupo de colunas, use os seguintes comandos para alterar o rastreador de arquivos de armazenamento:
1. Altere o Rastreador de arquivos de armazenamento da tabela ou da família de colunas da tabela:
```
hbase> change_sft 't1','FILE'
hbase> change_sft 't2','cf1','FILE'
```
1. Altere todos os Rastreadores de arquivos de armazenamento da tabela que correspondam à expressão regular (regex) fornecida:
```
hbase> change_sft_all 't.*','FILE'
hbase> change_sft_all 'ns:.*','FILE'
hbase> change_sft_all 'ns:t.*','FILE'
```
# HBase histórico de lançamentos
A tabela a seguir lista a versão HBase incluída em cada versão de lançamento do Amazon EMR, junto com os componentes instalados com o aplicativo. Para obter as versões dos componentes em cada versão, consulte a seção Versão de componentes da sua versão em [Versões 7.x do Amazon EMR](emr-release-7x.md), [Versões de lançamento 6.x do Amazon EMR](emr-release-6x.md) ou [Versões de lançamento 5.x do Amazon EMR](emr-release-5x.md).
**HBase informações sobre a versão**
| Rótulo de versão do Amazon EMR | HBase Versão | Componentes instalados com HBase |
| --- | --- | --- |
| emr-7.12.0 | 2.6.2-amzn-3 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, emr-wal-cli, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-hdfs-zkfc, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, hbase-operator-tools, zookeeper-client, zookeeper-server |
| emr-7.11.0 | 2.6.2-amzn-2 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, emr-wal-cli, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-hdfs-zkfc, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, hbase-operator-tools, zookeeper-client, zookeeper-server |
| emr-7.10.0 | 2.6.2-amzn-1 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, emr-wal-cli, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, hbase-operator-tools, zookeeper-client, zookeeper-server |
| emr-7.9.0 | 2.6.2-amzn-0 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, emr-wal-cli, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, hbase-operator-tools, zookeeper-client, zookeeper-server |
| emr-7.8.0 | 2.6.1-amzn-2 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, emr-wal-cli, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, hbase-operator-tools, zookeeper-client, zookeeper-server |
| emr-7.7.0 | 2.6.1-amzn-1 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, emr-wal-cli, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, hbase-operator-tools, zookeeper-client, zookeeper-server |
| emr-7.6.0 | 2.6.1-amzn-0 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, emr-wal-cli, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, hbase-operator-tools, zookeeper-client, zookeeper-server |
| emr-7.5.0 | 2.5.10-amzn-0 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, emr-wal-cli, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, hbase-operator-tools, zookeeper-client, zookeeper-server |
| emr-7.4.0 | 2.5.5-amzn-0 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, emr-wal-cli, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, hbase-operator-tools, zookeeper-client, zookeeper-server |
| emr-7.3.0 | 2.4.17-amzn-7 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, emr-wal-cli, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, hbase-operator-tools, zookeeper-client, zookeeper-server |
| emr-7.2.0 | 2.4.17-amzn-6 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, emr-wal-cli, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, hbase-operator-tools, zookeeper-client, zookeeper-server |
| emr-5.36.2 | 1.4.13 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, zookeeper-client, zookeeper-server |
| emr-7.1.0 | 2.4.17-amzn-5 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, emr-wal-cli, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, hbase-operator-tools, zookeeper-client, zookeeper-server |
| emr-7.0.0 | 2.4.17-amzn-4 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, emr-wal-cli, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, hbase-operator-tools, zookeeper-client, zookeeper-server |
| emr-6.15.0 | 2.4.17-amzn-3 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, emr-wal-cli, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, hbase-operator-tools, zookeeper-client, zookeeper-server |
| emr-6.14.0 | 2.4.17-amzn-2 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, emr-wal-cli, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, hbase-operator-tools, zookeeper-client, zookeeper-server |
| emr-6.13.0 | 2.4.17-amzn-1 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, emr-wal-cli, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, hbase-operator-tools, zookeeper-client, zookeeper-server |
| emr-6.12.0 | 2.4.17-amzn-0 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, emr-wal-cli, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, hbase-operator-tools, zookeeper-client, zookeeper-server |
| emr-6.11.1 | 2.4.15-amzn-1.1 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, emr-wal-cli, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, hbase-operator-tools, zookeeper-client, zookeeper-server |
| emr-6.11.0 | 2.4.15-amzn-1 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, emr-wal-cli, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, hbase-operator-tools, zookeeper-client, zookeeper-server |
| emr-6.10.1 | 2.4.15-amzn-0.1 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, emr-wal-cli, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, hbase-operator-tools, zookeeper-client, zookeeper-server |
| emr-6.10.0 | 2.4.15-amzn-0 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, emr-wal-cli, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, hbase-operator-tools, zookeeper-client, zookeeper-server |
| emr-6.9.1 | 2.4.13-amzn-0.1 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, hbase-operator-tools, zookeeper-client, zookeeper-server |
| emr-6.9.0 | 2.4.13-amzn-0 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, hbase-operator-tools, zookeeper-client, zookeeper-server |
| emr-6.8.1 | 2.4.12-amzn-0.1 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, hbase-operator-tools, zookeeper-client, zookeeper-server |
| emr-6.8.0 | 2.4.12-amzn-0 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, hbase-operator-tools, zookeeper-client, zookeeper-server |
| emr-6.7.0 | 2.4.4-amzn-3 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, hbase-operator-tools, zookeeper-client, zookeeper-server |
| emr-5.36.1 | 1.4.13 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, zookeeper-client, zookeeper-server |
| emr-5.36.0 | 1.4.13 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, zookeeper-client, zookeeper-server |
| emr-6.6.0 | 2.4.4-amzn-2 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, hbase-operator-tools, zookeeper-client, zookeeper-server |
| emr-5.35.0 | 1.4.13 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, zookeeper-client, zookeeper-server |
| emr-6.5.0 | 2.4.4-amzn-1 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, zookeeper-client, zookeeper-server |
| emr-6.4.0 | 2.4.4-amzn-0 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, zookeeper-client, zookeeper-server |
| emr-6.3.1 | 2.2.6-amzn-1 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, zookeeper-client, zookeeper-server |
| emr-6.3.0 | 2.2.6-amzn-1 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, zookeeper-client, zookeeper-server |
| emr-6.2.1 | 2.2.6-amzn-0 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, zookeeper-client, zookeeper-server |
| emr-6.2.0 | 2.2.6-amzn-0 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, zookeeper-client, zookeeper-server |
| emr-6.1.1 | 2.2.5 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, zookeeper-client, zookeeper-server |
| emr-6.1.0 | 2.2.5 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, zookeeper-client, zookeeper-server |
| emr-6.0.1 | 2.2.3 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, zookeeper-client, zookeeper-server |
| emr-6.0.0 | 2.2.3 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, zookeeper-client, zookeeper-server |
| emr-5.34.0 | 1.4.13 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, zookeeper-client, zookeeper-server |
| emr-5.33.1 | 1.4.13 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, zookeeper-client, zookeeper-server |
| emr-5.33.0 | 1.4.13 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, zookeeper-client, zookeeper-server |
| emr-5.32.1 | 1.4.13 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, zookeeper-client, zookeeper-server |
| emr-5.32.0 | 1.4.13 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, zookeeper-client, zookeeper-server |
| emr-5.31.1 | 1.4.13 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, zookeeper-client, zookeeper-server |
| emr-5.31.0 | 1.4.13 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, zookeeper-client, zookeeper-server |
| emr-5.30.2 | 1.4.13 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, zookeeper-client, zookeeper-server |
| emr-5.30.1 | 1.4.13 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, zookeeper-client, zookeeper-server |
| emr-5.30.0 | 1.4.13 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, zookeeper-client, zookeeper-server |
| emr-5.29.0 | 1.4.10 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, zookeeper-client, zookeeper-server |
| emr-5.28.1 | 1.4.10 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, zookeeper-client, zookeeper-server |
| emr-5.28.0 | 1.4.10 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, zookeeper-client, zookeeper-server |
| emr-5.27.1 | 1.4.10 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, zookeeper-client, zookeeper-server |
| emr-5.27.0 | 1.4.10 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, zookeeper-client, zookeeper-server |
| emr-5.26.0 | 1.4.10 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, zookeeper-client, zookeeper-server |
| emr-5.25.0 | 1.4.9 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, zookeeper-client, zookeeper-server |
| emr-5.24.1 | 1.4.9 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, zookeeper-client, zookeeper-server |
| emr-5.24.0 | 1.4.9 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, zookeeper-client, zookeeper-server |
| emr-5.23.1 | 1.4.9 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, zookeeper-client, zookeeper-server |
| emr-5.23.0 | 1.4.9 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, zookeeper-client, zookeeper-server |
| emr-5.22.0 | 1.4.9 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, zookeeper-client, zookeeper-server |
| emr-5.21.2 | 1.4.8 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, zookeeper-client, zookeeper-server |
| emr-5.21.1 | 1.4.8 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, zookeeper-client, zookeeper-server |
| emr-5.21.0 | 1.4.8 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, zookeeper-client, zookeeper-server |
| emr-5.20.1 | 1.4.8 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, zookeeper-client, zookeeper-server |
| emr-5.20.0 | 1.4.8 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, zookeeper-client, zookeeper-server |
| emr-5.19.1 | 1.4.7 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, zookeeper-client, zookeeper-server |
| emr-5.19.0 | 1.4.7 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, zookeeper-client, zookeeper-server |
| emr-5.18.1 | 1.4.7 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, zookeeper-client, zookeeper-server |
| emr-5.18.0 | 1.4.7 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, zookeeper-client, zookeeper-server |
| emr-5.17.2 | 1.4.6 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, zookeeper-client, zookeeper-server |
| emr-5.17.1 | 1.4.6 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, zookeeper-client, zookeeper-server |
| emr-5.17.0 | 1.4.6 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, zookeeper-client, zookeeper-server |
| emr-5.16.1 | 1.4.4 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, zookeeper-client, zookeeper-server |
| emr-5.16.0 | 1.4.4 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, zookeeper-client, zookeeper-server |
| emr-5.15.1 | 1.4.4 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, zookeeper-client, zookeeper-server |
| emr-5.15.0 | 1.4.4 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, zookeeper-client, zookeeper-server |
| emr-5.14.2 | 1.4.2 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, zookeeper-client, zookeeper-server |
| emr-5.14.1 | 1.4.2 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, zookeeper-client, zookeeper-server |
| emr-5.14.0 | 1.4.2 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, zookeeper-client, zookeeper-server |
| emr-5.13.1 | 1.4.2 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, zookeeper-client, zookeeper-server |
| emr-5.13.0 | 1.4.2 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, zookeeper-client, zookeeper-server |
| emr-5.12.3 | 1.4.0 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, zookeeper-client, zookeeper-server |
| emr-5.12.2 | 1.4.0 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, zookeeper-client, zookeeper-server |
| emr-5.12.1 | 1.4.0 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, zookeeper-client, zookeeper-server |
| emr-5.12.0 | 1.4.0 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, zookeeper-client, zookeeper-server |
| emr-5.11.4 | 1.3.1 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, zookeeper-client, zookeeper-server |
| emr-5.11.3 | 1.3.1 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, zookeeper-client, zookeeper-server |
| emr-5.11.2 | 1.3.1 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, zookeeper-client, zookeeper-server |
| emr-5.11.1 | 1.3.1 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, zookeeper-client, zookeeper-server |
| emr-5.11.0 | 1.3.1 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, zookeeper-client, zookeeper-server |
| emr-5.10.1 | 1.3.1 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, zookeeper-client, zookeeper-server |
| emr-5.10.0 | 1.3.1 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, zookeeper-client, zookeeper-server |
| emr-5.9.1 | 1.3.1 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, zookeeper-client, zookeeper-server |
| emr-5.9.0 | 1.3.1 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, zookeeper-client, zookeeper-server |
| emr-5.8.3 | 1.3.1 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, zookeeper-client, zookeeper-server |
| emr-5.8.2 | 1.3.1 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, zookeeper-client, zookeeper-server |
| emr-5.8.1 | 1.3.1 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, zookeeper-client, zookeeper-server |
| emr-5.8.0 | 1.3.1 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, zookeeper-client, zookeeper-server |
| emr-5.7.1 | 1.3.1 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, zookeeper-client, zookeeper-server |
| emr-5.7.0 | 1.3.1 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, zookeeper-client, zookeeper-server |
| emr-5.6.1 | 1.3.0 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, zookeeper-client, zookeeper-server |
| emr-5.6.0 | 1.3.0 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, zookeeper-client, zookeeper-server |
| emr-5.5.4 | 1.3.0 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, zookeeper-client, zookeeper-server |
| emr-5.5.3 | 1.3.0 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, zookeeper-client, zookeeper-server |
| emr-5.5.2 | 1.3.0 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, zookeeper-client, zookeeper-server |
| emr-5.5.1 | 1.3.0 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, zookeeper-client, zookeeper-server |
| emr-5.5.0 | 1.3.0 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, zookeeper-client, zookeeper-server |
| emr-5.4.1 | 1.3.0 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, zookeeper-client, zookeeper-server |
| emr-5.4.0 | 1.3.0 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, zookeeper-client, zookeeper-server |
| emr-5.3.2 | 1.2.3 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, zookeeper-client, zookeeper-server |
| emr-5.3.1 | 1.2.3 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, zookeeper-client, zookeeper-server |
| emr-5.3.0 | 1.2.3 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, zookeeper-client, zookeeper-server |
| emr-5.2.3 | 1.2.3 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, zookeeper-client, zookeeper-server |
| emr-5.2.2 | 1.2.3 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, zookeeper-client, zookeeper-server |
| emr-5.2.1 | 1.2.3 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, zookeeper-client, zookeeper-server |
| emr-5.2.0 | 1.2.3 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, zookeeper-client, zookeeper-server |
| emr-5.1.1 | 1.2.3 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, zookeeper-client, zookeeper-server |
| emr-5.1.0 | 1.2.3 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, zookeeper-client, zookeeper-server |
| emr-5.0.3 | 1.2.2 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, zookeeper-client, zookeeper-server |
| emr-5.0.2 | 1.2.2 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, zookeeper-client, zookeeper-server |
| emr-5.0.1 | 1.2.2 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, zookeeper-client, zookeeper-server |
| emr-5.0.0 | 1.2.2 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, zookeeper-client, zookeeper-server |
| emr-4.9.6 | 1.2.2 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, zookeeper-client, zookeeper-server |
| emr-4.9.5 | 1.2.2 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, zookeeper-client, zookeeper-server |
| emr-4.9.4 | 1.2.2 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, zookeeper-client, zookeeper-server |
| emr-4.9.3 | 1.2.2 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, zookeeper-client, zookeeper-server |
| emr-4.9.2 | 1.2.2 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, zookeeper-client, zookeeper-server |
| emr-4.9.1 | 1.2.2 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, zookeeper-client, zookeeper-server |
| emr-4.8.5 | 1.2.2 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, zookeeper-client, zookeeper-server |
| emr-4.8.4 | 1.2.2 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, zookeeper-client, zookeeper-server |
| emr-4.8.3 | 1.2.2 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, zookeeper-client, zookeeper-server |
| emr-4.8.2 | 1.2.2 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, zookeeper-client, zookeeper-server |
| emr-4.8.1 | 1.2.2 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, zookeeper-client, zookeeper-server |
| emr-4.8.0 | 1.2.2 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, zookeeper-client, zookeeper-server |
| emr-4.7.4 | 1.2.1 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, zookeeper-client, zookeeper-server |
| emr-4.7.3 | 1.2.1 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, zookeeper-client, zookeeper-server |
| emr-4.7.2 | 1.2.1 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, zookeeper-client, zookeeper-server |
| emr-4.7.1 | 1.2.1 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, zookeeper-client, zookeeper-server |
| emr-4.7.0 | 1.2.1 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, zookeeper-client, zookeeper-server |
| emr-4.6.1 | 1.2.0 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, zookeeper-client, zookeeper-server |
| emr-4.6.0 | 1.2.0 | emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hbase-hmaster, hbase-client, hbase-region-server, hbase-rest-server, hbase-thrift-server, zookeeper-client, zookeeper-server |
**Topics**
+ [Amazon EMR 7.9.0 — notas de lançamento HBase](HBase-release-history-changes-790.md)
# Amazon EMR 7.9.0 — notas de lançamento HBase
**HBase mudanças:**
| Tipo | Description |
| --- | --- |
| Alterações | Com a introdução do log4j2 na classificação do hbase, o hbase-log4j foi removido. A partir de agora, use a classificação hbase-log4j2 para definir configurações relacionadas ao registro em log. |