View a markdown version of this page

Replicação entre clusters do EMR WAL - Amazon EMR
Cross-cluster configuração de replicaçãoCross-cluster confirmação de replicação

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Replicação entre clusters do EMR WAL

A partir do EMR 7.5, o EMR WAL oferece suporte à replicação entre clusters do HBase de logs de gravação antecipada. Este tópico mostra como habilitar o recurso e verificar se ele está funcionando. Para obter mais detalhes sobre a replicação de clusters, consulte Replicação de clusters, na documentação do Apache HBase.

nota

Há um custo extra de leitura associado aos logs de gravação antecipada, pois o processo de replicação lê os dados do EMR WAL local. Para obter mais detalhes sobre os custos, consulte Sobre os lançamentos do Amazon EMR.

Cross-cluster configuração de replicação

Para ter a mesma experiência do usuário, habilitar o recurso de replicação no EMR WAL é o mesmo do que com os logs de gravação antecipada nativos do HBase. O procedimento a seguir mostra um exemplo simples. Para obter mais informações, consulte a documentação do HBase em Replicação de clusters.

  1. Inicie um cluster primário, que é a origem da replicação, com o EMR WAL habilitado. Para habilitar logs de gravação antecipada, consulte Como habilitar o Amazon EMR WAL. Além disso, inicie um cluster peer. Para esse cluster peer, você pode optar por habilitar ou não o EMR WAL.

  2. Nos dois clusters, crie uma tabela:

    HBASE_CMD="sudo -u hbase hbase"
echo "create 'test_replication_table',{NAME => 'CF'}" | $HBASE_CMD shell

  3. Adicione a configuração de peer no cluster primário e habilite a replicação de tabelas. Durante a adição do peer, ele precisa do nome de host do nó principal do cluster peer, que é PEER_DNS.

    HBASE_CMD="sudo -u hbase hbase"
PEER_DNS="ip-10-1-1-0.ec2.com"
PEER_NAME="aws"
TABLE_NAME="test_replication_table"

## Create peering with the destination cluster
echo "add_peer '$PEER_NAME', CLUSTER_KEY => '$PEER_DNS:2181:/hbase'" | $HBASE_CMD shell

## List peers in the primary cluster to confirm peer setup
echo "list_peers" | $HBASE_CMD shell

## Enable table replication
echo "enable_table_replication '$TABLE_NAME'" | $HBASE_CMD shell

Confirmação da replicação entre clusters

Após a execução das etapas de configuração, a replicação é habilitada entre o cluster primário e o cluster peer. Segue um teste que confirma se a replicação está funcionando.

  1. Adicione dados no cluster primário e verifique os dados replicados no cluster peer.

    ## Write on primary cluster with HBase CLI

put 'test_replication_table', 'aaa', 'CF:a', 'aaa_a1'
put 'test_replication_table', 'bbb', 'CF:b', 'bbb_b1'
put 'test_replication_table', 'ccc', 'CF:c', 'ccc_c1'

  2. Confirme a replicação bem-sucedida no cluster peer. Nesse caso, você deve ver dados replicados gravados do cluster primário para o cluster peer.

    ### Scan on peer cluster with HBase CLI

scan 'test_replication_table'