View a markdown version of this page

Replicação ativa-ativa - Amazon Managed Streaming for Apache Kafka

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Replicação ativa-ativa

Em uma configuração ativa-ativa, os dois clusters do MSK estão atendendo ativamente leituras e gravações. Uma topologia de cluster ativo-ativa oferece quase zero tempo de recuperação e a capacidade de seu aplicativo de streaming operar simultaneamente em várias regiões. AWS

Usando a replicação de nomes de tópicos prefixados (recomendado)

Recomendamos usar a replicação de nomes de tópicos prefixados (Adicionar prefixo ao nome do tópico no console) para configurações ativo-ativas. Isso requer a reconfiguração de seus consumidores para ler os tópicos replicados, mas evita cobranças adicionais de processamento de dados.

  1. Crie um replicador MSK com o cluster MSK A como origem e o cluster B do MSK como destino.

  2. Depois que o replicador do MSK acima for criado com sucesso, crie um replicador com o cluster B como origem e o cluster A como destino.

  3. Crie dois conjuntos de produtores, cada um gravando dados ao mesmo tempo no tópico local (por exemplo, “tópico”) no cluster na mesma região do produtor.

  4. Crie dois conjuntos de consumidores, cada um lendo dados usando uma assinatura curinga (como.*topic) do cluster MSK na mesma AWS região do consumidor. Dessa forma, seus consumidores lerão automaticamente os dados produzidos localmente a partir do tópico local (por exemplo,topic), bem como os dados replicados da outra região no tópico com o prefixo<sourceKafkaClusterAlias>.topic. Esses dois conjuntos de consumidores devem ter grupos de consumidores diferentes IDs para que as compensações do grupo de consumidores não sejam sobrescritas quando o MSK Replicator as copia para o outro cluster.

Usando replicação idêntica de nomes de tópicos

Se quiser evitar a reconfiguração de seus clientes, você pode criar os replicadores MSK usando replicação idêntica de nomes de tópicos (mantenha o mesmo nome de tópicos no console). No entanto, você pagará taxas adicionais de processamento e transferência de dados para cada replicador. Isso ocorre porque cada replicador precisará processar o dobro da quantidade normal de dados: uma vez para a replicação e outra para evitar loops infinitos. Você pode rastrear a quantidade total de dados processados por cada replicador usando a métrica ReplicatorBytesInPerSec.

nota

Se você usar a replicação de nome de tópico idêntico para topologia ativa-ativa, aguarde pelo menos 30 segundos após excluir um tópico antes de recriar um tópico com o mesmo nome. Esse período de espera ajuda a evitar que mensagens duplicadas sejam replicadas de volta para o cluster de origem. Seus consumidores devem ser capazes de reprocessar mensagens duplicadas sem impacto posterior.