As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá. # Logs de gravação antecipada (WAL) do Amazon EMR Com o Amazon EMR 6.15 e versões posteriores, você pode gravar seus registros de gravação HBase antecipada (WAL) do Apache no Amazon EMR WAL. Com versões mais baixas do Amazon EMR, quando você cria um cluster com a opção **HBase no Amazon S3**, o WAL é o único componente do HBase Apache que é armazenado no disco local para clusters, e você pode armazenar outros componentes, como o diretório raiz, armazenar arquivos HFiles (), metadados de tabelas e dados no Amazon S3. Você pode usar o Amazon EMR WAL para recuperar dados que não foram descarregados no Amazon S3. Para fazer backup completo de seus HBase clusters, opte por usar o serviço WAL do Amazon EMR. Nos bastidores, `RegionServer` grava seus registros HBase de gravação antecipada (WAL) no WAL do Amazon EMR. Caso seu cluster ou a AZ não estejam íntegros ou estejam indisponíveis, você pode criar um cluster, direcioná-lo para o mesmo diretório raiz do S3 e Workspace do Amazon EMR WAL e recuperar automaticamente os dados no WAL em alguns minutos. Para obter mais informações, consulte [Restauração do Amazon EMR WAL](emr-hbase-wal-restoring.md). Começando com as versões 7.3.0 e superiores do Amazon EMR, o Amazon EMR cria vários EMR para cada servidor e agrupa várias regiões HBase em um Amazon WALs EMR WAL. Isso aprimora o Apache HBase WAL para melhorar a utilização dos registros e otimizar os custos. Para configurar o número de instâncias WAL do Amazon EMR por HBase `RegionServer`, use o parâmetro. `hbase.wal.regiongrouping.numgroups` Por padrão, esse parâmetro é definido como 2. Existem duas tabelas de sistema que não estão incluídas em nenhum grupo de WAL: *meta* e *masterstore*. Essas tabelas sempre usam seu próprio indivíduo WALs. Se você executar uma versão inferior ao Amazon EMR 7.3.0, recomendamos que você desabilite manualmente as tabelas no HBase cluster antigo para garantir que todos os dados no Amazon EMR WAL sejam liberados para o Amazon S3. Em seguida, exclua o Amazon EMR WAL antigo, encerre o cluster antigo e configure um novo cluster que execute a versão mais recente. Se você tiver problemas e não conseguir desabilitar as tabelas no cluster antigo, poderá encerrar diretamente o cluster antigo e definir `emr.wal.multiplex.migrate` como `true` no novo cluster. Se definido como verdadeiro, HBase tentará reproduzir os dados de instâncias WAL antigas do Amazon EMR HBase durante a inicialização da região e excluir os antigos após a repetição. WALs Esse processo de reprodução gera custos adicionais para leituras. Após a migração, recomendamos configurar o cluster e definir `emr.wal.multiplex.migrate` como `false`. Como alternativa, você pode remover o parâmetro para acelerar a inicialização HBase da região. **nota** O Amazon EMR WAL exclui os dados depois de liberá-los. HBase Se HBase não liberar os dados, o Amazon EMR WAL retém os dados por no máximo 30 dias. Depois de 30 dias, o Amazon EMR WAL exclui automaticamente os dados. O Amazon EMR mantém instâncias do WAL por até 30 dias a partir do encerramento de um cluster do EMR. No entanto, se você iniciar um novo cluster habilitado para WAL no mesmo diretório raiz do S3 dentro desses 30 dias, o Amazon EMR não excluirá nenhuma das instâncias do WAL do cluster anterior. Para obter mais informações, consulte [Restauração do Amazon EMR WAL](emr-hbase-wal-restoring.md). As seções a seguir descrevem como configurar e usar o Amazon EMR WAL com seu cluster EMR habilitado HBase. **Topics** + [Workspaces do Amazon EMR WAL](emr-hbase-wal-workspaces.md) + [Permissões necessárias para o Amazon EMR WAL](emr-hbase-wal-permissions.md) + [Como habilitar o Amazon EMR WAL](emr-hbase-wal-enabling.md) + [Restauração do Amazon EMR WAL](emr-hbase-wal-restoring.md) + [Uso das configurações de segurança com o Amazon EMR WAL](emr-hbase-wal-security.md) + [Acesse o Amazon EMR WAL por meio de AWS PrivateLink](emr-hbase-wal-privatelink.md) + [Noções básicas de preços e métricas do Amazon EMR WAL](emr-hbase-wal-metrics.md) + [Marcação de Workspaces do WAL](emr-hbase-wal-tagging.md) + [Replicação entre clusters do EMR WAL](emr-hbase-wal-cross-cluster.md) + [Considerações e regiões do Amazon EMR WAL](emr-hbase-wal-considerations.md) + [Referência da CLI do Amazon EMR WAL (EMRWAL)](emrwalcli-ref.md) # Workspaces do Amazon EMR WAL O Amazon EMR WAL adiciona o conceito de Workspaces do WAL. Um *espaço de trabalho WAL* é um contêiner lógico de. WALs Cada log de gravação antecipada no Amazon EMR WAL é encapsulado por um Workspace do WAL. Um cluster EMR grava WALs em exatamente um espaço de trabalho WAL que você configura na inicialização do cluster ou no, `defaultWALworkspace` se você não especificar um espaço de trabalho. Os espaços de trabalho do WAL não estão relacionados a nenhuma HBase terminologia existente, como namespaces. Você pode usar os Workspaces do WAL para definir o escopo das permissões do IAM relativas ao Amazon EMR WAL para incluir somente os Workspaces que o cluster precisa acessar. Você também pode marcar o Workspace do WAL para controle de acesso baseado em tags. Para obter mais informações sobre tags, consulte [Marcação de Workspaces do WAL](emr-hbase-wal-tagging.md). ![\[HBase architecture diagram showing write request flow through RegionServers, MemStore, and data storage.\]](http://docs.aws.amazon.com/pt_br/emr/latest/ReleaseGuide/images/wal-new.png) # Permissões necessárias para o Amazon EMR WAL Para que o cluster se conecte ao Amazon EMR WAL, o perfil de instância do cluster requer determinadas permissões do IAM: + O Amazon EMR WAL usa o perfil [https://docs.aws.amazon.com/emr/latest/ManagementGuide/using-service-linked-roles-wal.html](https://docs.aws.amazon.com/emr/latest/ManagementGuide/using-service-linked-roles-wal.html) vinculado ao serviço para recuperar o status de um cluster. O Amazon EMR cria automaticamente essa função vinculada ao serviço quando você cria um espaço de trabalho do WAL, ou cria a função vinculada ao serviço quando HBase você configura um espaço de trabalho para o Amazon EMR WAL e a função vinculada ao serviço ainda não existe. Antes de habilitar o Amazon EMR WAL para um cluster, você deve configurar as permissões para permitir a criação automática do perfil AWSServiceRoleForEMRWAL vinculado ao serviço. Para obter mais informações e um exemplo de instrução que adiciona esse recurso, consulte [Using service-linked roles for write-ahead logging](https://docs.aws.amazon.com/emr/latest/ManagementGuide/using-service-linked-roles-wal.html#using-service-linked-roles-permissions-wal). + Como o Amazon EMR WAL usa o HBase Write Ahead Log (WAL), seus clusters devem usar o WAL. HBase A seguir estão as permissões mínimas do IAM que você precisa executar HBase. Adicione-os à política de permissões do seu perfil de instância: ``` emrwal:DeleteWal emrwal:CreateWal emrwal:CreateWorkspace emrwal:AppendEdit emrwal:ReplayEdits emrwal:GetCurrentWalTime emrwal:CompleteWalFlush emrwal:ListWALs emrwal:DescribeWAL emrwal:TrimWAL emrwal:ArchiveWAL emrwal:ArchiveWALCheckPoint ``` **nota** Se você definir o escopo das permissões do Amazon EMR WAL apenas para o conjunto mínimo, alguns comandos da [CLI do EMRWAL](emrwalcli-ref.md) não terão as permissões necessárias para serem executados. # Como habilitar o Amazon EMR WAL Use as etapas a seguir para habilitar a gravação no Amazon EMR WAL ao criar um cluster com a AWS Command Line Interface. **nota** Você não pode habilitar o Amazon EMR WAL para um cluster que já está em execução e iniciar dois clusters com o mesmo diretório raiz do S3. Para obter mais informações, consulte [Considerações e regiões do Amazon EMR WAL](emr-hbase-wal-considerations.md). 1. Antes de criar um cluster habilitado para Amazon EMR WAL, você deve adicionar as permissões necessárias ao perfil de instância que planeja usar com o cluster. Para obter mais informações, consulte [Permissões necessárias para o Amazon EMR WAL](emr-hbase-wal-permissions.md). 1. Crie um cluster com a AWS CLI. Use a opção `--configurations` para fornecer um objeto de configuração JSON que especifique a propriedade `hbase.emr.wal.enabled`, conforme mostrado no exemplo abaixo. + Especifique o modo de armazenamento e o local do diretório raiz no Amazon S3. A localização do Amazon S3 que você especificar deve estar na mesma região do seu cluster EMR, mas somente um cluster ativo pode usar o mesmo diretório HBase raiz no S3 por vez. + Crie um cluster com a configuração de grupos de instâncias. Você não pode usar o Amazon EMR WAL com a configuração de frotas de instâncias. Para obter mais informações sobre a criação de clusters com grupos de instâncias, consulte [Configure uniform instance groups](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-uniform-instance-group.html) no *Guia de gerenciamento do Amazon EMR*. + Para ver as etapas do console para criar um cluster e um `create-cluster` exemplo detalhado que usa o AWS CLI, consulte [Criação de um cluster com HBase](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-hbase-create.html). 1. Para habilitar o WAL no novo cluster, defina a propriedade `hbase.emr.wal.enabled` como `true`. O comando a seguir contém um trecho JSON com um exemplo de objeto de configuração. ``` aws emr create-cluster --name "hbasewal" --release-label emr-6.x.y \ --applications Name=HBase --use-default-roles --ec2-attributes KeyName=myKey \ --instance-type m6i.xlarge --instance-count 1 --configurations hbase.json $cat hbase.json [ { "Classification": "hbase-site", "Properties": { "hbase.rootdir": "s3://amzn-s3-demo-bucket/MyHBaseStore" } }, { "Classification": "hbase", "Properties": { "hbase.emr.storageMode": "s3", "hbase.emr.wal.enabled": "true" } } ] ``` Quando HBase estiver on-line no cluster recém-criado, HBase gravará automaticamente os dados do WAL no Amazon EMR WAL e usará o Amazon EMR WAL para fins de recuperação. **Example 1: Criação de um cluster do EMR que use o Amazon EMR WAL** ``` [ { "Classification": "hbase-site", "Properties": { "hbase.rootdir": "s3://amzn-s3-demo-bucket/MyHBaseStore" } }, { "Classification": "hbase", "Properties": { "hbase.emr.storageMode": "s3", "hbase.emr.wal.enabled": "true" } } ] ``` **Example 2: Criação de um cluster do EMR com um Workspacede do WAL personalizado** ``` [ { "Classification": "hbase-site", "Properties": { "hbase.rootdir": "s3://amzn-s3-demo-bucket/MyHBaseStore", "emr.wal.workspace": "customWorkspaceName" } }, { "Classification": "hbase", "Properties": { "hbase.emr.storageMode": "s3", "hbase.emr.wal.enabled": "true" } } ] ``` # Restauração do Amazon EMR WAL Como o Amazon EMR WAL do cluster original é retido por 30 dias, você pode restaurar e reutilizar o WAL para um cluster recém-criado dentro desse período. Quando você executa um novo cluster no mesmo diretório raiz do S3, o Amazon EMR mantém as instâncias do WAL do cluster antigo. Se você encerrar esse novo cluster, o relógio de 30 dias será reiniciado a partir do encerramento. Use o procedimento a seguir para restaurar um WAL existente com um novo cluster. Esse processo pressupõe que você criou o cluster original com o Amazon EMR WAL habilitado. 1. Dentro de 30 dias após a criação de um cluster habilitado para WAL, crie um novo cluster Região da AWS igual ao cluster original. O novo cluster pode estar na mesma AZ ou em uma AZ diferente dentro da mesma região em que o cluster original foi criado. Configure as propriedades do objeto para especificar o modo de armazenamento e o local do diretório raiz no Amazon S3. A localização do Amazon S3 que você especificar deve estar na mesma região do seu cluster EMR, mas somente um cluster ativo pode usar o mesmo diretório HBase raiz no S3 por vez. Para ver as etapas do console para criar um cluster e um `create-cluster` exemplo detalhado que usa o AWS CLI, consulte [Criação de um cluster com HBase](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-hbase-create.html). 1. Para usar o Amazon EMR WAL existente no novo cluster, defina a propriedade `hbase.emr.wal.enabled` como `true`. O trecho JSON a seguir mostra um exemplo de objeto de configuração. ``` [ { "Classification": "hbase-site", "Properties": { "hbase.rootdir": "s3://amzn-s3-demo-bucket/MyHBaseStore" } }, { "Classification": "hbase", "Properties": { "hbase.emr.storageMode": "s3", "hbase.emr.wal.enabled": "true" } } ] ``` # Uso das configurações de segurança com o Amazon EMR WAL O Amazon EMR criptografa automaticamente os dados em trânsito entre o cluster e o serviço Amazon EMR WAL, bem como os dados em repouso no Amazon EMR WAL. Para obter mais informações, consulte [Encryption at rest for Amazon EMR WAL](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-data-encryption-options.html#emr-encryption-WAL). Você também pode usar uma configuração de segurança para trazer suas próprias chaves do serviço AWS Key Management Service (KMS) e criptografar os dados que você armazena no Amazon EMR WAL. Use um dos métodos a seguir para selecionar uma configuração de segurança ao criar um cluster: ------ #### [ Console ] Em Console de gerenciamento da AWS, especifique a configuração em **Configuração de segurança e par de chaves do EC2**. ![\[Security configuration section with search bar, refresh button, and options to browse or create configuration.\]](http://docs.aws.amazon.com/pt_br/emr/latest/ReleaseGuide/images/wal-configure-security.png) ------ #### [ CLI ] A partir do AWS CLI, defina o `--security-configuration` parâmetro ao usar o comando [create-cluster](https://docs.aws.amazon.com/cli/latest/reference/emr/create-cluster.html). ------ Para obter mais informações, consulte [Encryption at rest for Amazon EMR WAL](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-data-encryption-options.html#emr-encryption-WAL) e [Use security configurations to set up cluster security](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-security-configurations.html) no *Guia de gerenciamento do Amazon EMR*. Para obter mais informações relacionadas à segurança sobre o WAL, consulte [Using service-linked roles for write-ahead logging](https://docs.aws.amazon.com/emr/latest/ManagementGuide/using-service-linked-roles-wal.html). # Acesse o Amazon EMR WAL por meio de AWS PrivateLink Se você quiser manter sua conexão dentro da AWS rede, o Amazon EMR WAL oferece suporte. AWS PrivateLink Para configurar AWS PrivateLink, use o Console de gerenciamento da AWS ou AWS Command Line Interface (AWS CLI) para criar uma interface VPC endpoint que se conecta ao Amazon EMR WAL. *Para obter mais informações, consulte [Acessar um AWS serviço usando uma interface VPC endpoint no Guia](https://docs.aws.amazon.com/vpc/latest/privatelink/create-interface-endpoint.html).AWS PrivateLink * As etapas básicas são: 1. Use o console da Amazon VPC para [criar um endpoint da VPC](https://docs.aws.amazon.com/vpc/latest/privatelink/create-interface-endpoint.html#create-interface-endpoint-aws). Selecione **Endpoints** e **Criar endpoint**. 1. Mantenha a categoria Serviço como **Serviços da AWS **. 1. Na barra de pesquisa do painel **Serviços**, digite **emrwal** e selecione o serviço rotulado `com.amazonaws.region.emrwal.prod`. 1. Selecione sua VPC e salve o endpoint. Certifique-se de anexar ao endpoint da VPC os mesmos grupos de segurança que você anexa ao cluster do EMR. 1. Se quiser, agora você pode habilitar nomes de host DNS privados para o novo endpoint. Defina **Habilitar nomes de host DNS** e **Habilitar suporte de DNS** como `true` para a VPC. Em seguida, selecione o ID de endpoint, escolha **Editar configurações de VPC** no menu **Ações** e habilite nomes DNS privados. + Os nomes de host DNS privados do endpoint seguirão o formato `prod.emrwal.region.amazonaws.com`. + Se você não habilitar nomes de host DNS privados, a Amazon VPC fornecerá um nome de endpoint do DNS no formato `endpointID.prod.emrwal.region.vpce.amazonaws.com`. 1. Para usar seu AWS PrivateLink endpoint, modifique a `emr.wal.client.endpoint` configuração ao criar seu cluster [habilitado para WAL do Amazon EMR](emr-hbase-wal-enabling.md), conforme mostrado no exemplo a seguir: ``` [ { "Classification": "hbase-site", "Properties": { "hbase.rootdir": "s3://amzn-s3-demo-bucket/MyHBaseStore", "emr.wal.workspace": "customWorkspaceName", "emr.wal.client.endpoint": "https://prod.emrwal.region.amazonaws.com" } }, { "Classification": "hbase", "Properties": { "hbase.emr.storageMode": "s3", "hbase.emr.wal.enabled": "true" } } ] ``` Você também pode usar a política de VPCE para permitir ou restringir o acesso ao Amazon EMR WAL. APIs Para obter mais informações, consulte [Controlar o acesso aos endpoints da VPC usando políticas de endpoint](https://docs.aws.amazon.com/vpc/latest/privatelink/create-interface-endpoint.html) no *Guia AWS PrivateLink *. # Noções básicas de preços e métricas do Amazon EMR WAL | Unidade de cobrança de recursos centrais | Detalhes | | --- | --- | | EMR-WAL-Read-GiB | API calls to read data from your table are billed as ReadRequestGiB. This includes [`Get` and `Scan`](https://hbase.apache.org/book.html#_data_model_operations) operations. Reads are charged based on the sizes of the read items. Amazon EMR bills at a minimum of 1 byte. For example, if you read a 1234.12 bytes item, you're charged for 1235 bytes. Reads are aggregated every hour for billing and shown as GiBs. | | EMR-WAL-Write-GiB | API calls to write data from your table are billed as Write-GiB. This includes [https://hbase.apache.org/book.html#_data_model_operations](https://hbase.apache.org/book.html#_data_model_operations) operations. Writes are charged based on the sizes of the written items. Amazon EMR bills at a minimum of 1 byte. For example, if you write a 1234.12 bytes item, you're charged for 1235 bytes. Writes are aggregated every hour for billing and shown as GiBs. | | EMR-WAL-WALHours | O número WALs que você armazena no serviço é cobrado como`EMR-WAL-WALHours`. O Amazon EMR cria um WAL por região. HBase Por exemplo, se você criar 20 HBase tabelas, incluindo tabelas do sistema, e cada tabela tiver duas HBase regiões, você usará 28.800 horas de WAL, calculadas como: 
  20 tables 
x  2 Regions per table 
x  1 WAL per Region 
x 30 days 
x 24 hours 
-----------
28,800 EMR-WAL-WALHours
| **Exemplo`EMRWALCount`:** ![\[Line graph showing ResourceCount fluctuations over time, ranging from about 18.87 to 19.20.\]](http://docs.aws.amazon.com/pt_br/emr/latest/ReleaseGuide/images/wal-metric.png) **Exemplo`EMRWALWorkspaceCount`:** ![\[Graph showing ResourceCount fluctuations over time, ranging from 7.97 to 8.32.\]](http://docs.aws.amazon.com/pt_br/emr/latest/ReleaseGuide/images/wal-metric2.png) # Marcação de Workspaces do WAL Você pode adicionar tags a um Workspace ao criar um, além de adicionar, remover ou listar tags de um Workspace ativo para um cluster em execução. Você não pode marcar os recursos individuais no Workspace e nem atualizar as tags existentes; em vez disso, remova as tags indesejadas do Workspace e substitua-as. Você pode marcar Workspaces na EMRWAL CLI. Para obter uma lista de comandos da EMRWAL CLI para marcar Workspaces, consulte [Referência da CLI do Amazon EMR WAL (EMRWAL)](emrwalcli-ref.md). O seguinte exemplo de política do IAM ilustra um cenário que permite operações CRUDL no Workspace somente com a chave `resource_tag_allow_test_key` e o valor `resource_tag_allow_test_value` de marcação adequados: ------ #### [ JSON ] **** ``` { "Version":"2012-10-17", "Statement": [ { "Action": [ "s3:GetObject", "s3:PutObject", "s3:DeleteObject", "s3:ListBucket" ], "Effect": "Allow", "Resource": [ "*" ], "Condition": { "StringEquals": { "aws:ResourceTag/resource_tag_allow_test_key": [ "resource_tag_allow_test_value" ] } }, "Sid": "AllowEMRWAL" } ] } ``` ------ Para verificar se a tag agora é necessária nas operações do Workspace, use [Referência da CLI do Amazon EMR WAL (EMRWAL)](emrwalcli-ref.md) para chamar o comando [`listTagsForResource`](emrwalcli-ref.md#emrwalcli-ref-listtagsforresource) em `tagAllowResourceTag` para o Workspace com a tag de recurso desejada. Se você configurou a condição corretamente, o comando será bem-sucedido. ``` emrwal listTagsForResource -r us-east-1 -arn arn:aws:emrwal:us-east-1:arn:workspace/tagAllowResourceTag Tag(Key=resource_tag_allow_test_key, Value=resource_tag_allow_test_value) ``` # Replicação entre clusters do EMR WAL A partir do EMR 7.5, o EMR WAL oferece suporte à replicação HBase entre clusters de registros de gravação antecipada. Este tópico mostra como habilitar o recurso e verificar se ele está funcionando. Para obter mais detalhes sobre a replicação em cluster, consulte Replicação em [cluster na documentação do Apache.](https://hbase.apache.org/book.html#_cluster_replication) HBase **nota** Há um custo extra de leitura associado aos logs de gravação antecipada, pois o processo de replicação lê os dados do EMR WAL local. Para obter mais detalhes sobre os custos, consulte [Sobre os lançamentos do Amazon EMR](https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-hbase-wal-metrics.html). ## Configuração da replicação entre clusters Para ter a mesma experiência do usuário, habilitar o recurso de replicação no EMR WAL é o mesmo que com HBase registros de gravação antecipada nativos. O procedimento a seguir mostra um exemplo simples. Para obter mais informações, consulte a HBase documentação em [Cluster Replication.](https://hbase.apache.org/book.html#_cluster_replication) 1. Inicie um cluster primário, que é a origem da replicação, com o EMR WAL habilitado. Para habilitar logs de gravação antecipada, consulte [Como habilitar o Amazon EMR WAL](emr-hbase-wal-enabling.md). Além disso, inicie um cluster peer. Para esse cluster peer, você pode optar por habilitar ou não o EMR WAL. 1. Nos dois clusters, crie uma tabela: ``` HBASE_CMD="sudo -u hbase hbase" echo "create 'test_replication_table',{NAME => 'CF'}" | $HBASE_CMD shell ``` 1. Adicione a configuração de peer no cluster primário e habilite a replicação de tabelas. Durante a adição do peer, ele precisa do nome de host do nó principal do cluster peer, que é **PEER\$1DNS.** ``` HBASE_CMD="sudo -u hbase hbase" PEER_DNS="ip-10-1-1-0.ec2.com" PEER_NAME="aws" TABLE_NAME="test_replication_table" ## Create peering with the destination cluster echo "add_peer '$PEER_NAME', CLUSTER_KEY => '$PEER_DNS:2181:/hbase'" | $HBASE_CMD shell ## List peers in the primary cluster to confirm peer setup echo "list_peers" | $HBASE_CMD shell ## Enable table replication echo "enable_table_replication '$TABLE_NAME'" | $HBASE_CMD shell ``` ## Confirmação da replicação entre clusters Após a execução das etapas de configuração, a replicação é habilitada entre o cluster primário e o cluster peer. Segue um teste que confirma se a replicação está funcionando. 1. Adicione dados no cluster primário e verifique os dados replicados no cluster peer. ``` ## Write on primary cluster with HBase CLI put 'test_replication_table', 'aaa', 'CF:a', 'aaa_a1' put 'test_replication_table', 'bbb', 'CF:b', 'bbb_b1' put 'test_replication_table', 'ccc', 'CF:c', 'ccc_c1' ``` 1. Confirme a replicação bem-sucedida no cluster peer. Nesse caso, você deve ver dados replicados gravados do cluster primário para o cluster peer. ``` ### Scan on peer cluster with HBase CLI scan 'test_replication_table' ``` # Considerações e regiões do Amazon EMR WAL ## Considerações sobre o Amazon EMR WAL A seguinte lista descreve considerações e limitações importantes do Amazon EMR WAL: + O Amazon EMR WAL está disponível para uso com as versões 6.15.0 e posteriores do Amazon EMR. + O Amazon EMR WAL é um serviço pago opcional. Você paga pelo que usa: leituras, gravações e armazenamento de dados. Para obter mais informações, consulte [Noções básicas de preços e métricas do Amazon EMR WAL](emr-hbase-wal-metrics.md) e a página [Preços do Amazon EMR](https://aws.amazon.com/emr/pricing/). + O Amazon EMR WAL usa o HBase Write Ahead Log (WAL). Para usar o Amazon EMR WAL, seus clusters devem usar o WAL. HBase + Para habilitar o Amazon EMR WAL ao criar um cluster, você deve ter as permissões de perfil necessárias. Para obter mais informações, consulte [Using service-linked roles for write-ahead logging](https://docs.aws.amazon.com/emr/latest/ManagementGuide/using-service-linked-roles-wal.html). + Você deve habilitar o Amazon EMR WAL ao criar o cluster com a API,, ou Console de gerenciamento da AWS AWS CLI, e você deve usar a configuração de grupos de *instâncias*. Você não pode habilitar o Amazon EMR WAL em um cluster em execução se não tiver criado o cluster com o Amazon EMR WAL. Você também não pode editar as configurações `hbase-site` para habilitar o Amazon EMR WAL em um cluster em execução. + Você só pode habilitar o Amazon EMR WAL em clusters que usam o Amazon S3 como diretório raiz. + Antes do Amazon EMR versão 7.5.0, os logs no Amazon EMR WAL precisavam ter 4 MB ou menos. Porém, com o Amazon EMR versão 7.5.0 e posterior, o tamanho máximo do log no EMR WAL é configurável com a propriedade `emr.wal.max.payload.size`. O valor padrão é 1 GB. O exemplo a seguir define o tamanho máximo do registro como 2 GB: ``` [ { "Classification":"hbase-site", "Properties": { "emr.wal.max.payload.size": "2147483648" } } ] ``` + Você não pode ter vários clusters ativos no mesmo diretório HBase raiz no Amazon S3. + Você não pode habilitar o Amazon EMR WAL em clusters de réplica de leitura. + O WAL é replicado em zonas de disponibilidade dentro do serviço gerenciado. + O WAL sobrevive ao cluster e permanece disponível para o próximo. + Você não pode desabilitar o Amazon EMR WAL durante a inicialização ou quando o cluster estiver em operação (em estado de execução). + Para obter informações sobre o WAL e os limites do Workspace, consulte [Amazon EMR endpoints and quotas](https://docs.aws.amazon.com/general/latest/gr/emr.html). ## Disponibilidade regional do Amazon EMR WAL O serviço Amazon EMR WAL está disponível no seguinte: Regiões da AWS + `ap-northeast-1`: Ásia-Pacífico (Tóquio) + `ap-northeast-2`: Ásia-Pacífico (Seul) + `ap-southeast-1`: Ásia-Pacífico (Singapura) + `ap-south-1`: Ásia-Pacífico (Mumbai) + `ap-southeast-2`: Ásia-Pacífico (Sydney) + `eu-central-1`: Europa (Frankfurt) + `eu-north-1`: Europa (Estocolmo) + `eu-west-1`: Europa (Irlanda) + `sa-east-1`: América do Sul (São Paulo) + `us-east-1`: Leste dos EUA (Norte da Virgínia) + `us-east-2`: Leste dos EUA (Ohio) + `us-west-2`: Oeste dos EUA (Oregon) As seguintes regiões apenas estavam disponíveis com o Amazon EMR versão 7.3.0 ou posterior: + `ap-east-1`: Ásia-Pacífico (Hong Kong) + `af-south-1`: África (Cidade do Cabo) + `ca-central-1`: Canadá (Central) + `eu-west-2`: Europa (Londres) # Referência da CLI do Amazon EMR WAL (EMRWAL) A *interface da linha de comando do EMRWAL (EMRWAL CLI)* é uma ferramenta unificada para gerenciar o log de gravação antecipada (WAL) do Amazon EMR. A EMRWAL CLI é fornecida com clusters do EMR ao habilitar o WAL no momento em que cria um cluster. Para obter mais informações sobre como habilitar o WAL, consulte [Logs de gravação antecipada (WAL) do Amazon EMR](emr-hbase-wal.md). A EMRWAL CLI inclui os seguintes comandos: **Topics** + [`createWorkspace`](#emrwalcli-ref-createworkspace) + [`deleteWal`](#emrwalcli-ref-deletewal) + [`deleteWorkspace`](#emrwalcli-ref-deleteworkspace) + [`listTagsForResource`](#emrwalcli-ref-listtagsforresource) + [`listWals`](#emrwalcli-ref-listwals) + [`listWorkspaces`](#emrwalcli-ref-listworkspaces) + [`tagResource`](#emrwalcli-ref-tagresource) + [`untagResource`](#emrwalcli-ref-untagresource) ## `createWorkspace` O comando `createWorkspace` cria um Workspace do Amazon EMR WAL. **Uso:** ``` emrwal createWorkspace [-tags ] [-e {endpoint}] [-r {Region}] -w {workspacename} [-h] ``` **Exemplo:** ``` emrwal createWorkspace -w examplews ``` ## `deleteWal` O comando `deleteWals` exclui o Amazon EMR WAL que você especifica. **Uso:** ``` emrwal deleteWal [-e {endpoint}] [-r {Region}] [-w {workspacename}] [-p ] [-n ] [-N ] [-R] [-m] [-h] ``` **Exemplo:** ``` emrwal deleteWal -w examplews -p hbasetable -n examplewal ``` ## `deleteWorkspace` O comando `deleteWorkspace` exclui o Workspace do Amazon EMR WAL que você especifica. **Uso:** ``` emrwal deleteWorkspace [-e {endpoint}] [-r {Region}] -w {workspacename} [-h] ``` **Exemplo:** ``` emrwal deleteWorkspace -w examplews ``` ## `listTagsForResource` O comando `listTagsForResource` lista todas as tags de pares de valores-chave do Workspace do Amazon EMR WAL que você especifica. **Uso:** ``` emrwal listTagsForResource -arn {resource-arn} [-e {endpoint}] [-r {Region}] [-h] ``` **Exemplo:** ``` emrwal listTagsForResource -arn arn:aws:emrwal::1234567891234:workspace/examplews ``` ## `listWals` O `listWals` comando lista todo o Amazon EMR WALs no espaço de trabalho que você especificar. **Uso:** ``` emrwal listWals [-nextToken {token-string}] [-pageSize {integer}] [-e {endpoint}] [-r {Region}] [-w {workspacename}] [-p ] [-M {integer}] [-h] ``` **Exemplo:** ``` emrwal listWals -w examplews ``` ## `listWorkspaces` O comando `listWorkspaces` lista todos os Workspaces do Amazon EMR WAL que estão disponíveis para você. **Uso:** ``` emrwal listWorkspaces [-nextToken {token-string}] [-pageSize {integer}] [-e {endpoint}] [-r {Region}] [-M {integer}] [-h] ``` **Exemplo:** ``` emrwal listWorkspaces ``` ## `tagResource` O comando `tagResource` atribui uma ou mais tags de pares de valores-chave ao Workspace do Amazon EMR WAL que você especifica. **Uso:** ``` emrwal tagResource -arn {resource-arn} -tags [-e {endpoint}] [-r {Region}] [-h] ``` **Exemplo:** ``` emrwal tagResource -arn arn:aws:emrwal::1234567891234:workspace/examplews -tags tag_key=tag_value ``` ## `untagResource` O comando `untagResource` cancela a atribuição de uma ou mais tags de pares de valores-chave ao Workspace do Amazon EMR WAL que você especifica. **Uso:** ``` emrwal untagResource -arn {resource-arn} -tagKeys [-e {endpoint}] [-r {Region}] [-h] ``` **Exemplo:** ``` emrwal untagResource -arn arn:aws:emrwal::1234567891234:workspace/examplews -tagKeys tag_key ```