Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Bienvenue dans le Manuel du développeur Amazon MSK
Bienvenue dans le guide du développeur Amazon Managed Streaming for Apache Kafka. Les rubriques suivantes peuvent vous aider à démarrer avec ce guide, en fonction de ce que vous essayez de faire.
-
Créez un cluster MSK provisioned en suivant le Commencez à utiliser Amazon MSK didacticiel.
-
Approfondissez les fonctionnalités de MSK Provisioned in. Qu'est-ce que MSK Provisioned ?
-
Exécutez Apache Kafka sans avoir à gérer ni à faire évoluer la capacité du cluster avec MSK Serverless.
-
Utilisez MSK Connect pour diffuser des données depuis et vers votre cluster Apache Kafka.
Utilisez MSK Replicator pour répliquer de manière fiable les données entre des clusters MSK provisionnés dans des clusters différents ou identiques. Régions AWS
Pour connaître les détails et les points forts du produit, ainsi que son coût, consultez la page consacrée à Amazon MSK
Qu'est-ce qu'Amazon MSK ?
Amazon Managed Streaming for Apache Kafka (Amazon MSK) est un service entièrement géré qui vous permet de créer et d'exécuter des applications utilisant Apache Kafka pour traiter des données de diffusion. Amazon MSK fournit les opérations de plan de contrôle, telles que les opérations de création, de mise à jour et de suppression de clusters. Il vous permet d'utiliser les opérations de plan de données Apache Kafka, telles que celles pour la production et la consommation de données. Il exécute des versions open source d'Apache Kafka. Cela signifie que les applications, outils et plug-ins existants des partenaires et de la communauté Apache Kafka sont pris en charge sans nécessiter de modification du code d'application. Vous pouvez utiliser Amazon MSK pour créer des clusters utilisant n'importe quelle version Apache Kafka répertoriées sous Versions Apache Kafka prises en charge.
Les composants suivants décrivent l'architecture d'Amazon MSK :
-
Nœuds courtiers : lors de la création d'un cluster Amazon MSK, vous spécifiez le nombre de nœuds courtiers que vous souhaitez qu'Amazon MSK crée dans chaque zone de disponibilité. Le minimum est d'un courtier par zone de disponibilité. Chaque zone de disponibilité dispose de son propre sous-réseau VPC (Virtual Private Cloud).
Amazon MSK Provisioned propose deux types de courtiers : Courtiers Amazon MSK Standard et. Courtiers Amazon MSK Express Dans MSK Serverless, MSK gère les nœuds courtiers utilisés pour gérer votre trafic et vous n'approvisionnez les ressources de votre serveur Kafka qu'au niveau du cluster.
ZooKeeper nœuds — Amazon MSK crée également les ZooKeeper nœuds Apache pour vous. Apache ZooKeeper est un serveur open source qui permet une coordination distribuée très fiable.
KRaft contrôleurs — La communauté Apache Kafka a été développée KRaft pour remplacer Apache ZooKeeper pour la gestion des métadonnées dans les clusters Apache Kafka. En KRaft mode, les métadonnées du cluster sont propagées au sein d'un groupe de contrôleurs Kafka, qui font partie du cluster Kafka, plutôt qu'entre les nœuds. ZooKeeper KRaftles manettes sont incluses sans frais supplémentaires pour vous et ne nécessitent aucune configuration ou gestion supplémentaire de votre part.
Producteurs, consommateurs et créateurs de rubriques : Amazon MSK vous permet d'utiliser les opérations de plan de données Apache Kafka pour créer des rubriques ainsi que pour produire et consommer des données.
Opérations de cluster Vous pouvez utiliser le AWS Management Console, le AWS Command Line Interface (AWS CLI) ou le APIs dans le SDK pour effectuer des opérations sur le plan de contrôle. Par exemple, vous pouvez créer ou supprimer un cluster Amazon MSK, répertorier tous les clusters d'un compte, consulter les propriétés d'un cluster et mettre à jour le nombre et le type d'agents dans un cluster.
Amazon MSK détecte et récupère automatiquement les scénarios de défaillance les plus courants pour les clusters. Ainsi, vos applications de producteurs et de consommateurs peuvent poursuivre leurs opérations d'écriture et de lecture avec un impact minimal. Lorsque Amazon MSK détecte une défaillance de l'agent, il l'atténue ou remplace l'agent malsain ou inaccessible par un nouveau. En outre, dans la mesure du possible, il réutilise le stockage de l'ancien agent pour réduire les données qu'Apache Kafka a besoin de répliquer. Votre impact sur la disponibilité est limité au temps nécessaire pour que Amazon MSK termine la détection et la récupération. Après une récupération, vos applications de producteurs et de consommateurs peuvent continuer à communiquer avec les mêmes adresses IP d'agent que celles utilisées avant l'échec.
