Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Gérez le débit de stockage pour les courtiers standard dans un cluster Amazon MSK
Pour plus d'informations sur la manière de provisionner le débit à l'aide de la console, de la CLI et de l'API Amazon MSK, consultez. Provisionner le débit de stockage pour les courtiers standard dans un cluster Amazon MSK
Rubriques
Problèmes de débit et paramètres de débit maximum pour les courtiers Amazon MSK
Les obstacles au débit des courtiers ont plusieurs causes : le débit des volumes, le débit du réseau Amazon vers EC2 Amazon EBS et le débit de sortie Amazon. EC2 Vous pouvez activer le débit de stockage provisionné pour ajuster le débit du volume. Cependant, les limites de débit des courtiers peuvent être causées par le débit du réseau Amazon EC2 vers Amazon EBS et le débit de sortie Amazon EC2.
Le débit de EC2 sortie d'Amazon dépend du nombre de groupes de consommateurs et du nombre de consommateurs par groupe de consommateurs. En outre, le débit du réseau Amazon EC2 vers Amazon EBS et le débit de EC2 sortie Amazon sont plus élevés pour les courtiers de grande taille.
Pour des volumes de 10 Go ou plus, vous pouvez provisionner un débit de stockage de 250 Mio par seconde ou plus. 250 Mio par seconde est la valeur par défaut. Pour provisionner le débit de stockage, vous devez choisir la taille du broker kafka.m5.4xlarge ou supérieure (ou kafka.m7g.2xlarge ou supérieure), et vous pouvez spécifier le débit maximal comme indiqué dans le tableau suivant.
| taille du courtier | Débit de stockage maximal (Mio/s) |
|---|---|
| kafka.m5.4xlarge | 593 |
| kafka.m5.8xlarge | 850 |
| kafka.m5.12xlarge | 1 000 |
| kafka.m5.16xlarge | 1 000 |
| kafka.m5.24xlarge | 1 000 |
| kafka.m7g.2xlarge | 312,5 |
| kafka.m7g.4xlarge | 625 |
| kafka.m7g.8xlarge | 1 000 |
| kafka.m7g, 12 x large | 1 000 |
| kafka.m7g, 16 x large | 1 000 |
Mesurer le débit de stockage d'un cluster Amazon MSK
Vous pouvez utiliser les métriques VolumeReadBytes et VolumeWriteBytes pour mesurer le débit de stockage moyen d'un cluster. La somme de ces deux mesures donne le débit de stockage moyen en octets. Pour obtenir le débit de stockage moyen d'un cluster, définissez ces deux métriques sur SUM et sur la période 1 minute, puis utilisez la formule suivante.
Average storage throughput in MiB/s = (Sum(VolumeReadBytes) + Sum(VolumeWriteBytes)) / (60 * 1024 * 1024)
Pour obtenir des informations sur les métriques VolumeReadBytes et VolumeWriteBytes, consultez Surveillance de niveau PER_BROKER.
Valeurs de mise à jour de configuration pour le stockage provisionné dans un cluster Amazon MSK
Vous pouvez mettre à jour votre configuration Amazon MSK avant ou après avoir activé le débit provisionné. Toutefois, vous ne verrez pas le débit souhaité tant que vous n'aurez pas effectué les deux actions suivantes : mettre à jour le paramètre de configuration num.replica.fetchers et activer le débit provisionné.
Dans la configuration Amazon MSK par défaut, num.replica.fetchers a une valeur de 2. Pour mettre à jour votre num.replica.fetchers, vous pouvez utiliser les valeurs suggérées dans le tableau suivant. Ces valeurs sont fournies à titre indicatif. Nous vous recommandons d'ajuster ces valeurs en fonction de votre cas d'utilisation.
| taille du courtier | num.replica.fetchers |
|---|---|
| kafka.m5.4xlarge | 4 |
| kafka.m5.8xlarge | 8 |
| kafka.m5.12xlarge | 14 |
| kafka.m5.16xlarge | 16 |
| kafka.m5.24xlarge | 16 |
Votre configuration mise à jour peut ne pas prendre effet avant 24 heures et peut prendre plus de temps lorsqu'un volume source n'est pas entièrement utilisé. Toutefois, les performances des volumes de transition sont au moins égales aux performances des volumes de stockage source pendant la période de migration. Un volume de 1 Tio entièrement utilisé prend généralement environ six heures pour migrer vers une configuration mise à jour.
