Créez un cluster provisionné MSK à l'aide du AWS Management Console - Amazon Managed Streaming for Apache Kafka

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Créez un cluster provisionné MSK à l'aide du AWS Management Console

Les procédures décrites dans cette rubrique décrivent la tâche courante qui consiste à créer un cluster provisionné MSK à l'aide de l'option de création personnalisée du. AWS Management ConsoleÀ l'aide des autres options disponibles dans le AWS Management Console, vous pouvez également créer les éléments suivants :

Procédures décrites dans cette rubrique

  1. Ouvrez la console Amazon MSK à l'adresse https://console.aws.amazon.com/msk/.

  2. Choisissez Créer un cluster.

  3. Pour la méthode de création du cluster, choisissez Création personnalisée.

  4. Pour le nom du cluster, spécifiez un nom unique ne contenant pas plus de 64 caractères.

  5. Pour le type de cluster, choisissez Provisioned.

  6. Pour la version d'Apache Kafka, choisissez une version à exécuter sur les courtiers. Pour voir une comparaison des fonctionnalités Amazon MSK prises en charge par chaque version d'Apache Kafka, choisissez Afficher la compatibilité des versions.

  7. Dans la section Courtiers, procédez comme suit :

    1. Pour le type de courtier, choisissez l'une des options suivantes :

      • Courtiers express : courtiers évolutifs et performants dotés d'un stockage virtuel entièrement géré. Choisissez ce type de courtier pour les applications exigeantes à haut débit.

      • Courtiers standard : courtier Kafka traditionnel avec contrôle complet de la configuration. Choisissez ce type de courtier pour les charges de travail à usage général nécessitant un débit modéré.

      Pour plus d'informations sur ces types de courtiers, consultezTypes de courtiers Amazon MSK.

    2. Pour la taille du courtier, choisissez la taille à utiliser pour le cluster en fonction des besoins de calcul, de mémoire et de stockage du cluster.

    3. Pour Nombre de zones, choisissez le nombre de AWS Zones de disponibilitécourtiers répartis.

      Les courtiers express ont besoin de trois zones de disponibilité pour une meilleure disponibilité.

    4. Pour les courtiers par zone, spécifiez le nombre de courtiers que vous souhaitez qu'Amazon MSK crée dans chaque zone de disponibilité. Le minimum est d'un courtier par zone de disponibilité et le maximum est de 30 courtiers par cluster pour les clusters ZooKeeper basés et de 60 courtiers par cluster pour les clusters KRaft basés.

Cette procédure décrit comment configurer vos besoins en stockage de données pour tous les courtiers et spécifier le mode de stockage. Cela vous permet de définir vos besoins en matière de stockage de données en fonction de vos besoins en matière de charge de travail. En outre, cette procédure décrit les paramètres de configuration du cluster qui contrôlent le fonctionnement de vos courtiers. Ces paramètres incluent les configurations des courtiers, les paramètres de rubrique par défaut et la politique de stockage hiérarchisé.

  1. Si vous avez sélectionné le type de broker comme standard, procédez comme suit dans la section Stockage :

    1. Pour le stockage, choisissez la quantité initiale de stockage que vous souhaitez attribuer à votre cluster. Vous ne pouvez pas réduire la capacité de stockage après avoir créé le cluster.

    2. (Facultatif) En fonction de la taille du courtier (taille de l'instance) que vous avez sélectionnée, vous pouvez également spécifier le débit de stockage provisionné par courtier. Cette option vous permet d'allouer des performances d'entrée et de sortie (E/S) dédiées aux volumes Amazon EBS de chaque broker.

      Pour activer cette option, choisissez la taille du broker (taille de l'instance) kafka.m5.4xlarge ou supérieure pour x86, et kafka.m7g.2xlarge ou supérieure pour les instances basées sur Graviton. Cochez ensuite la case Activer le débit de stockage provisionné. En cochant cette case, vous pouvez définir manuellement un débit minimum de 250 MiB par seconde. Cela est utile pour les charges de travail intensives en E/S ou les applications qui nécessitent des performances de stockage rapides et prévisibles. Pour de plus amples informations, veuillez consulter Provisionner le débit de stockage pour les courtiers standard dans un cluster Amazon MSK.

    3. Pour le mode de stockage en cluster, spécifiez la manière dont les données sont stockées et gérées au sein de votre cluster. Cette option détermine le type et la configuration du stockage utilisé par vos courtiers. Choisissez l’une des options suivantes :

      • Stockage EBS uniquement : stocke toutes les données thématiques localement sur les volumes Amazon Elastic Block Store (Amazon EBS) attachés à chaque broker. Choisissez ce mode pour des besoins de performances constants et un accès rapide aux messages récents.

      • Stockage hiérarchisé et stockage EBS : associe les données Amazon EBS locales au stockage à distance et rentable pour les grands ensembles de données dans Amazon S3. Ce mode permet de réduire les coûts de stockage d'Amazon EBS, de prolonger la durée de conservation des données et de faire évoluer le stockage automatiquement sans intervention manuelle. Choisissez ce mode lorsque vous souhaitez conserver les données pendant de plus longues périodes à moindre coût, ou si vous vous attendez à une augmentation significative de vos besoins en stockage.

    Note

    Vous n'avez pas besoin de gérer le stockage pour les courtiers Express.

  2. Pour la configuration du cluster, spécifiez l'une des options suivantes pour définir le comportement de votre cluster :

    • Configuration par défaut d'Amazon MSK : contient un ensemble prédéfini de configurations optimisées pour les cas d'utilisation généraux. Choisissez cette option pour une configuration et un déploiement rapides du cluster. Pour de plus amples informations sur les configurations Amazon MSK, veuillez consulter Configuration provisionnée d'Amazon MSK.

    • Configuration personnalisée : vous permet de définir vos propres paramètres de courtier et de rubrique. Vous pouvez soit choisir une configuration personnalisée existante dans la liste, soit créer une nouvelle configuration personnalisée. Choisissez cette option pour un contrôle précis de vos courtiers, par exemple un réglage spécifique des performances, des paramètres de sécurité, etc.

  3. Choisissez Suivant pour continuer.

La configuration réseau définit la manière dont votre cluster est déployé au sein de votre AWS infrastructure. Cela inclut le VPC, les zones de disponibilité et les sous-réseaux, ainsi que les groupes de sécurité qui contrôlent le réseau, la disponibilité et l'accès.

  1. Pour la mise en réseau, procédez comme suit :

    1. Choisissez le VPC que vous souhaitez utiliser pour le cluster.

    2. Sur la base du nombre de zones de disponibilité que vous avez précédemment sélectionnées, spécifiez les zones de disponibilité et les sous-réseaux dans lesquels les courtiers seront déployés.

      Pour les courtiers standard de la région de l'ouest des États-Unis (Californie du Nord), vous avez besoin de deux sous-réseaux dans deux zones de disponibilité différentes. Pour les autres régions où Amazon MSK est disponible, vous pouvez spécifier deux ou trois sous-réseaux. Vos sous-réseaux doivent être dans des zones de disponibilité différentes.

      Pour les courtiers Express, vous avez besoin de trois sous-réseaux répartis dans trois zones de disponibilité différentes.

      Lorsque vous créez un cluster provisionné par MSK, MSK distribue les nœuds du broker de manière uniforme sur les sous-réseaux que vous spécifiez.

    3. Pour les groupes de sécurité sur Amazon EC2, choisissez ou créez un ou plusieurs groupes de sécurité auxquels vous souhaitez donner accès à votre cluster. Ces groupes EC2 de sécurité Amazon contrôlent le trafic entrant et sortant vers vos courtiers. Par exemple, les groupes de sécurité des machines clientes.

      Si vous spécifiez des groupes de sécurité partagés avec vous, vous devez vous assurer que vous êtes autorisé à les utiliser. Vous devez disposer en particulier de l'autorisation ec2:DescribeSecurityGroups. Pour plus d'informations, consultez la section Connexion à un cluster MSK.

  2. Choisissez Suivant pour continuer.

  1. Dans la section Paramètres de sécurité, procédez comme suit :

    1. Choisissez une ou plusieurs des méthodes d'authentification et d'autorisation suivantes pour contrôler l'accès des clients à vos clusters Kafka :

      • Accès non authentifié : permet aux clients d'accéder au cluster sans fournir d'informations d'authentification. Cette méthode présente un risque de sécurité et peut ne pas être conforme aux meilleures pratiques en matière de sécurité. Pour de plus amples informations, veuillez consulter msk-unrestricted-access-check.

      • Authentification basée sur les rôles IAM : active l'authentification et l'autorisation du client à l'aide des AWS utilisateurs/rôles IAM. Cette méthode fournit un contrôle précis de l'accès au cluster par le biais de politiques IAM. Nous avons recommandé cette méthode pour les applications déjà en cours d'exécution AWS.

      • Authentification SASL/SCRAM : les clients doivent fournir les identifiants de nom d'utilisateur et de mot de passe enregistrés pour l' AWS Secrets Manager authentification. Amazon MSK récupère ces informations d'identification auprès de Secrets Manager et authentifie les utilisateurs de manière sécurisée.

        Pour configurer les informations de connexion relatives à l'authentification pour un cluster, créez d'abord une ressource secrète dans Secrets Manager. Associez ensuite les informations de connexion à ce secret. Pour plus d'informations sur cette méthode de contrôle d'accès, consultezConfigurer SASL/SCRAM l'authentification pour un cluster Amazon MSK.

      • Authentification client TLS via AWS Certificate Manager (ACM) : permet l'authentification mutuelle entre les clients et les courtiers à l'aide de certificats numériques. Vous devez configurer un AWS Private Certificate Authority (AWS Private CA) identique ou différent de Compte AWS celui de votre cluster.

        Nous recommandons vivement d'utiliser des AWS Private CA s indépendants pour chaque cluster MSK lors de la mise en œuvre des MTL. Cela garantit que les certificats TLS signés par PCAs ne s'authentifient qu'auprès d'un seul cluster MSK, garantissant ainsi un contrôle d'accès strict.

  2. Dans Chiffrement, choisissez le type de clé KMS que vous souhaitez utiliser pour chiffrer les données au repos. Pour de plus amples informations, veuillez consulter Chiffrement Amazon MSK au repos.

    Le chiffrement des données au repos protège l'intégrité des données stockées, tandis que le chiffrement en transit protège la confidentialité des données grâce à la surveillance du réseau pendant le transfert.

  3. Choisissez Suivant pour continuer.

Cette procédure décrit comment configurer les indicateurs de votre courtier, ainsi que comment collecter et diffuser les journaux des courtiers. Grâce à ces paramètres, vous pouvez observer et analyser l'état de santé, les performances de votre cluster et résoudre les problèmes. Pour de plus amples informations, veuillez consulter Surveiller un cluster provisionné Amazon MSK.

  1. Pour les CloudWatch métriques Amazon relatives à ce cluster, choisissez l'un des niveaux de surveillance suivants. Les mesures collectées à chaque niveau de surveillance sont intégrées à des CloudWatch fins de visualisation et d'alerte.

    1. Surveillance de base : fournit un ensemble de mesures essentielles au niveau du cluster sans frais supplémentaires. Ce niveau convient à la plupart des cas d'utilisation nécessitant une surveillance générale.

    2. Surveillance améliorée au niveau des courtiers : fournit des statistiques détaillées sur les courtiers moyennant des frais supplémentaires. Ce niveau inclut une surveillance de base et des mesures plus détaillées des courtiers, telles que les métriques de stockage hiérarchisé, les octets in/out d'autres courtiers, le temps total des read/write opérations. Vous payez pour les indicateurs de ce niveau, tandis que les indicateurs de base restent gratuits.

    3. Surveillance améliorée au niveau des sujets : fournit des mesures pour des sujets individuels moyennant des frais supplémentaires. Choisissez ce niveau pour obtenir une vue plus précise des performances des différents courtiers par sujet. Ce niveau inclut une surveillance améliorée au niveau du courtier et des mesures thématiques, telles que des mesures de stockage hiérarchisé pour un sujet spécifique et le nombre de messages reçus par seconde.

    4. Surveillance améliorée au niveau des partitions : fournit la vue la plus précise des métriques par partition moyennant des frais supplémentaires. Choisissez ce niveau pour obtenir le suivi le plus détaillé possible en capturant les métriques pour chaque partition au sein de chaque sujet auprès des courtiers. Ce niveau inclut une surveillance améliorée au niveau des sujets et des mesures précises spécifiques aux partitions, telles que les mesures de décalage.

    Pour plus d'informations sur les métriques disponibles pour les types de courtiers Standard et Express à chacun de ces niveaux de surveillance, consultez CloudWatch métriques pour les courtiers standard etCloudWatch métriques pour les courtiers Express.

  2. (Facultatif) Si vous souhaitez exporter des métriques au format Prometheus à l'aide de JMX Exporter, de Node Exporter ou des deux, choisissez Enable open monitoring with Prometheus. Pour plus d’informations sur cette option, consultez Moniteur avec Prometheus.

  3. (Facultatif) Pour configurer votre cluster MSK afin de fournir les journaux des courtiers à différents utilisateurs à des Services AWS fins de dépannage et d'audit, choisissez une ou plusieurs des options suivantes. Amazon MSK ne crée pas ces ressources de destination pour vous si elles n'existent pas déjà. Pour de plus amples informations, veuillez consulter Journaux d'agent.

    • Envoyer vers Amazon CloudWatch Logs : envoie les journaux à l' CloudWatch aide de fonctionnalités de clustering, de recherche et de visualisation. Vous pouvez interroger et analyser les journaux sans quitter le AWS Management Console.

    • Livrer vers Amazon S3 : stocke les journaux sous forme de fichiers dans des compartiments Amazon S3 pour un archivage à long terme et une analyse par lots.

    • Envoyer à Amazon Data Firehose : envoyez les journaux à Firehose pour qu'ils soient envoyés automatiquement à Amazon OpenSearch Service afin de résoudre les problèmes en temps réel.

  4. (Facultatif) Pour identifier, organiser ou rechercher votre cluster, choisissez Ajouter une nouvelle balise pour ajouter des balises sous forme de paires clé-valeur. Par exemple, ajoutez une balise à votre cluster avec la paire clé-valeur et. Load testing Test

    Pour plus d'informations sur l'utilisation de balises dans vos clusters, consultezMarquer un cluster Amazon MSK.

  5. Choisissez Suivant pour continuer.

  1. Vérifiez les paramètres de votre cluster.

    Choisissez Modifier ou Précédent pour modifier les paramètres que vous avez précédemment spécifiés ou pour revenir à l'écran de console précédent.

  2. Choisissez Créer un cluster.

  3. Vérifiez l'état de ce cluster dans la section Récapitulatif du cluster de la page des détails du cluster. Le statut passe de Création à Actif à mesure qu'Amazon MSK alloue le cluster. Lorsque le statut est Actif, vous pouvez vous connecter au cluster. Pour de plus amples informations sur le statut des clusters, consultez Comprendre les états des clusters provisionnés par MSK.