View a markdown version of this page

Réplication active-active - Amazon Managed Streaming for Apache Kafka

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Réplication active-active

Dans une configuration active-active, les deux clusters MSK effectuent activement des opérations de lecture et d'écriture. Une topologie de cluster actif-actif offre un temps de restauration proche de zéro et permet à votre application de streaming de fonctionner simultanément dans plusieurs régions. AWS

Utilisation de la réplication des noms de rubrique préfixés (recommandé)

Nous recommandons d'utiliser la réplication des noms de rubrique préfixés (ajouter un préfixe au nom des rubriques dans la console) pour les configurations active-active. Cela nécessite de reconfigurer vos clients pour qu'ils lisent les rubriques répliquées, tout en évitant des frais de traitement des données supplémentaires.

  1. Créez un réplicateur MSK avec le cluster MSK A comme source et le cluster MSK B comme cible.

  2. Une fois que le réplicateur MSK ci-dessus a été créé avec succès, créez un réplicateur avec le cluster B comme source et le cluster A comme cible.

  3. Créez deux ensembles de producteurs, chacun écrivant des données en même temps dans le sujet local (par exemple, « sujet ») dans le cluster de la même région que le producteur.

  4. Créez deux ensembles de consommateurs, chacun lisant des données à l'aide d'un abonnement générique (tel que.*topic) auprès du cluster MSK de la même AWS région que le consommateur. Ainsi, vos consommateurs liront automatiquement les données produites localement à partir du sujet local (par exemple,topic), ainsi que les données répliquées depuis l'autre région du sujet avec le préfixe<sourceKafkaClusterAlias>.topic. Ces deux groupes de consommateurs doivent appartenir à des groupes de consommateurs différents IDs afin que les offsets des groupes de consommateurs ne soient pas remplacés lorsque MSK Replicator les copie sur l'autre cluster.

Utilisation de la réplication de noms de rubrique identiques

Pour éviter de reconfigurer vos clients, vous pouvez créer les réplicateurs MSK en utilisant la réplication de noms de rubrique identiques (conservez le même nom de rubrique dans la console). Cependant, vous devrez payer des frais supplémentaires de traitement et de transfert de données pour chaque réplicateur. En effet, chaque réplicateur devra traiter deux fois plus de données que d'habitude, une fois pour la réplication et une autre pour éviter les boucles infinies. Vous pouvez suivre la quantité totale de données traitées par chaque réplicateur à l'aide de la ReplicatorBytesInPerSec métrique.

Note

Si vous utilisez la réplication de noms de rubrique identiques pour une topologie active-active, attendez au moins 30 secondes après avoir supprimé une rubrique avant de recréer une rubrique portant le même nom. Cette période d'attente permet d'éviter que les messages dupliqués ne soient répliqués vers le cluster source. Vos consommateurs doivent être en mesure de retraiter les messages dupliqués sans impact en aval.