Replicação entre clusters do EMR WAL - Amazon EMR
Configuração da replicação entre clustersConfirmação da replicação entre clusters

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Replicação entre clusters do EMR WAL

A partir do EMR 7.5, o EMR WAL oferece suporte à replicação HBase entre clusters de registros de gravação antecipada. Este tópico mostra como habilitar o recurso e verificar se ele está funcionando. Para obter mais detalhes sobre a replicação em cluster, consulte Replicação em cluster na documentação do Apache. HBase

nota

Há um custo extra de leitura associado aos logs de gravação antecipada, pois o processo de replicação lê os dados do EMR WAL local. Para obter mais detalhes sobre os custos, consulte Sobre os lançamentos do Amazon EMR.

Configuração da replicação entre clusters

Para ter a mesma experiência do usuário, habilitar o recurso de replicação no EMR WAL é o mesmo que com HBase registros de gravação antecipada nativos. O procedimento a seguir mostra um exemplo simples. Para obter mais informações, consulte a HBase documentação em Cluster Replication.

  1. Inicie um cluster primário, que é a origem da replicação, com o EMR WAL habilitado. Para habilitar logs de gravação antecipada, consulte Como habilitar o Amazon EMR WAL. Além disso, inicie um cluster peer. Para esse cluster peer, você pode optar por habilitar ou não o EMR WAL.

  2. Nos dois clusters, crie uma tabela:

    HBASE_CMD="sudo -u hbase hbase"
echo "create 'test_replication_table',{NAME => 'CF'}" | $HBASE_CMD shell

  3. Adicione a configuração de peer no cluster primário e habilite a replicação de tabelas. Durante a adição do peer, ele precisa do nome de host do nó principal do cluster peer, que é PEER_DNS.

    HBASE_CMD="sudo -u hbase hbase"
PEER_DNS="ip-10-1-1-0.ec2.com"
PEER_NAME="aws"
TABLE_NAME="test_replication_table"

## Create peering with the destination cluster
echo "add_peer '$PEER_NAME', CLUSTER_KEY => '$PEER_DNS:2181:/hbase'" | $HBASE_CMD shell

## List peers in the primary cluster to confirm peer setup
echo "list_peers" | $HBASE_CMD shell

## Enable table replication
echo "enable_table_replication '$TABLE_NAME'" | $HBASE_CMD shell

Confirmação da replicação entre clusters

Após a execução das etapas de configuração, a replicação é habilitada entre o cluster primário e o cluster peer. Segue um teste que confirma se a replicação está funcionando.

  1. Adicione dados no cluster primário e verifique os dados replicados no cluster peer.

    ## Write on primary cluster with HBase CLI

put 'test_replication_table', 'aaa', 'CF:a', 'aaa_a1'
put 'test_replication_table', 'bbb', 'CF:b', 'bbb_b1'
put 'test_replication_table', 'ccc', 'CF:c', 'ccc_c1'

  2. Confirme a replicação bem-sucedida no cluster peer. Nesse caso, você deve ver dados replicados gravados do cluster primário para o cluster peer.

    ### Scan on peer cluster with HBase CLI

scan 'test_replication_table'