Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Quota d'Amazon MSK
Vous avez Compte AWS des quotas par défaut pour Amazon MSK. Sauf indication contraire, chaque quota par compte se situe dans les Region-specific limites de votre Compte AWS.
Rubriques
Demander une augmentation de quota dans Amazon MSK
Vous pouvez demander une augmentation de quota pour chaque région à l'aide de la console Service Quotas ou d'un dossier d'assistance. AWS CLI Si aucun quota ajustable n'est disponible dans la console Service Quotas, utilisez le AWS Support Center Console pour créer un cas d'augmentation du quota de service
Le support peut approuver, refuser ou approuver partiellement vos demandes d'augmentation de quota. Les augmentations ne sont pas accordées immédiatement et peuvent prendre quelques jours avant d’entrer en vigueur.
Pour demander une augmentation à l’aide de la console Service Quotas
-
Ouvrez la console Service Quotas sur https://console.aws.amazon.com/servicequotas/
. -
Dans la barre de navigation, sélectionnez une région.
-
Dans le panneau de navigation de gauche, choisissez Services AWS.
-
Dans la zone Rechercher des services, tapez
msk, puis choisissez Amazon Managed Streaming pour Apache Kafka (MSK). -
Dans Quotas de service, choisissez le nom du quota pour lequel vous souhaitez demander une augmentation. Par exemple,
Number of brokers per account. -
Choisissez Demander une augmentation au niveau du compte.
-
Pour Augmenter la valeur du quota, entrez une nouvelle valeur de quota.
-
Cliquez sur Demander.
-
(Facultatif) Pour afficher toutes les demandes en attente ou récemment résolues dans la console, choisissez Tableau de bord dans le volet de navigation de gauche. Pour les demandes en attente, choisissez l’état de la demande pour ouvrir le reçu de la demande. L’état initial d’une demande est Pending (En attente). Une fois que le statut sera passé à Quota demandé, vous verrez le numéro de dossier auprès de l'assistance. Choisissez le numéro de dossier pour ouvrir le billet pour votre demande.
Pour plus d'informations, notamment sur la manière d'utiliser les SDK AWS CLI ou pour demander une augmentation de quota, consultez la section Demande d'augmentation de quota dans le Guide de l'utilisateur des quotas de service.
Quota de courtiers Amazon MSK Standard
Le tableau suivant décrit les quotas pour les courtiers Standard.
| Dimension | Quota | Remarques |
|---|---|---|
| Courtiers par compte | 90 | Pour demander un quota plus élevé, accédez à la console Service Quotas |
| Courtiers par cluster | 30 pour les ZooKeeper-based clusters 60 pour les KRaft-based clusters | Pour demander un quota plus élevé, accédez à la console Service Quotas |
| Espace de stockage minimum par courtier | 1 Gio | |
| Stockage maximal par courtier | 16384 Gio | |
| Nombre maximum de connexions TCP par courtier (contrôle d'accès IAM) | 3000 | Pour augmenter cette limite, vous pouvez ajuster la propriété listener.name.client_iam.max.connections ou la propriété de listener.name.client_iam_public.max.connections configuration à l'aide de l'AlterConfigAPI Kafka ou de l'kafka-configs.shoutil. Il est important de noter que l'augmentation de la valeur de l'une ou l'autre propriété peut entraîner une indisponibilité. |
| Taux de connexions TCP maximal par courtier (IAM) | 100 par seconde (tailles d'instance M5 et M7g) 4 par seconde (taille d'instance t3) | Pour gérer les tentatives en cas d'échec des connexions, vous pouvez définir le paramètre de configuration reconnect.backoff.ms côté client. Par exemple, si vous souhaitez qu'un client réessaie de se connecter au bout d'une seconde, définissez surreconnect.backoff.ms. 1000 Pour plus d'informations, consultez reconnect.backoff.ms |
| Nombre maximum de connexions TCP par courtier (non-IAM) | N/A | MSK n'impose pas de limites de connexion pour l'authentification non IAM. Vous devez surveiller d'autres indicateurs tels que l'utilisation du processeur et de la mémoire pour vous assurer de ne pas surcharger votre cluster en raison de connexions excessives. |
| Configurations par compte | 100 | Pour demander un quota plus élevé, accédez à la console Service Quotas Pour mettre à jour la configuration ou la version Apache Kafka d'un cluster MSK, assurez-vous d'abord que le nombre de partitions par agent est inférieur aux limites décrites dans Right-size votre cluster : nombre de partitions par courtier standard. |
| Révisions de configuration par compte | 50 |
Quota de courtiers Amazon MSK Express
Le tableau suivant décrit les quotas pour les courtiers Express.
| Dimension | Quota | Remarques |
|---|---|---|
| Courtiers par compte | 90 | Pour demander un quota plus élevé, accédez à la console Service Quotas |
| Courtiers par cluster | 30 pour les ZooKeeper-based clusters 60 pour les KRaft-based clusters | Pour demander un quota plus élevé, accédez à la console Service Quotas |
| Stockage maximum | Illimité | |
| Nombre maximum de connexions TCP par courtier (contrôle d'accès IAM) | 3000 |
Pour augmenter la limite de connexion, ajustez l'une des propriétés de configuration suivantes à l'aide de l' AlterConfig API Kafka ou de l'outil kafka-configs.sh :
La définition de ces propriétés sur une valeur élevée peut entraîner l'indisponibilité du cluster. |
| Taux de connexions TCP maximal par courtier (IAM) | 100 par seconde | Pour gérer les tentatives en cas d'échec des connexions, vous pouvez définir le paramètre de configuration reconnect.backoff.ms côté client. Par exemple, si vous souhaitez qu'un client réessaie de se connecter au bout d'une seconde, définissez surreconnect.backoff.ms. 1000 Pour plus d'informations, consultez reconnect.backoff.ms |
| Nombre maximum de connexions TCP par courtier (non-IAM) | N/A | MSK n'impose pas de limites de connexion pour l'authentification non IAM. Vous devez toutefois surveiller d'autres indicateurs tels que l'utilisation du processeur et de la mémoire pour vous assurer de ne pas surcharger votre cluster en raison de connexions excessives. |
| Configurations par compte | 100 | Pour demander un quota plus élevé, accédez à la console Service Quotas |
| Révisions de configuration par compte | 50 | |
| Entrée maximale par courtier | Recommandé : 15,6 - 500,0 Mo/s | En fonction de la taille de l'instance. |
| Sortie maximale par courtier | Recommandé : 31,2 - 1000,0 Mo/s | En fonction de la taille de l'instance. |
| Débit par partition | 15 au maximum MB/s |
Rubriques
Limites d'accélération du débit d'Express Broker en fonction de la taille du broker
Le tableau suivant répertorie les limites de débit recommandées et maximales liées à l'entrée et à la sortie pour différentes tailles de courtiers. Dans ce tableau, le débit recommandé est représenté par Performances soutenues, c'est-à-dire le seuil au-delà duquel les performances de vos applications ne subiront aucune dégradation. Si vous dépassez ces limites sur l'une ou l'autre des dimensions, vous pouvez obtenir un débit supérieur, mais vous risquez également de subir une dégradation des performances. Le quota maximum est le seuil à partir duquel votre cluster limitera le read/write trafic. Vos applications ne pourront pas fonctionner au-delà de ce seuil.
| Taille d’instance | Performances soutenues (Mo/s) pour l'entrée | Quota maximum (Mo/s) pour l'entrée | Performances soutenues (Mo/s) pour la sortie | Quota maximal (Mo/s) pour la sortie |
|---|---|---|---|---|
| express.m7g.large | 15,6 | 23,4 | 31,2 | 58,5 |
| express.m7g.xlarge | 31,2 | 46,8 | 62,5 | 117 |
| express.m7g.2xlarge | 62,5 | 93,7 | 125 | 234,2 |
| express.m7g.4xlarge | 124,9 | 187,5 | 249,8 | 468,7 |
| express.m7g.8xlarge | 250 | 375 | 500 | 937,5 |
| express.m7g.12 x large | 375 | 562,5 | 750 | 1406,2 |
| express.m7g.16 x large | 500 | 750 | 1 000 | 1875 |
Quota de partition d'Express Broker
Le tableau suivant indique le nombre de partitions recommandé (y compris les répliques leader et suiveur) pour chaque courtier Express. Vous ne pouvez pas dépasser le nombre maximum de partitions indiqué dans le tableau suivant pour chaque courtier Express.
Pour plus d'informations sur les meilleures pratiques à prendre en compte lors de l'attribution de partitions aux courtiers Express, consultezRight-size votre cluster : nombre de partitions par courtier Express.
| Taille de l’agent | Nombre recommandé de partitions (y compris les réplicas de leader et de suiveur) par agent | Nombre maximal de partitions par courtier |
|---|---|---|
|
|
1 000 | 1 500 |
|
1 000 | 2000 |
|
|
2500 | 4000 |
|
|
6 000 | 8000 |
|
12 000 | 16000 |
|
16000 | 24 000 |
|
20 000 | 32 000 |
Quotas du réplicateur MSK
Un maximum de 15 réplicateurs MSK par compte.
-
MSK Replicator ne reproduit que 750 sujets dans un ordre trié. Si vous devez répliquer d'autres rubriques, nous vous recommandons de créer un réplicateur distinct. Pour demander de l'assistance pour plus de 750 sujets par réplicateur, contactez le AWS support. Vous pouvez contrôler le nombre de sujets répliqués à l'aide de cette
TopicCountmétrique. -
Débit d'entrée maximal de 1 Go par seconde par MSK Replicator. Pour demander un quota plus élevé, contactez AWS le support.
-
Taille d'enregistrement MSK Replicator : taille d'enregistrement maximale de 10 Mo pour la réplication entre régions et de 20 Mo pour la réplication entre régions ().
message.max.bytesPour demander un quota plus élevé, contactez AWS le support.
Quota de MSK sans serveur
Les quotas spécifiés dans le tableau suivant sont par cluster, sauf indication contraire.
Note
Si vous rencontrez un problème avec les limites de quota de service, créez un dossier d'assistance avec votre cas d'utilisation et la limite demandée.
| Dimension | Quota | Résultat de violation de quota |
|---|---|---|
|
Débit d'entrée maximal |
200 Mbit/s |
Ralentissement avec durée de limitation en réponse |
| Débit de sortie maximal | 400 Mbit/s |
Ralentissement avec durée de limitation en réponse |
| Durée de conservation maximale | Illimité | N/A |
|
Nombre maximal de connexions client |
3000 | Fermeture de connexion |
| Nombre maximal de tentatives de connexion | 100 par seconde | Fermeture de connexion |
|
Taille maximale du message |
8 Mio | La demande échoue avec ErrorCode : INVALID_REQUEST |
| Taux maximal de demandes | 15 000 par seconde | Ralentissement avec durée de limitation en réponse |
|
Taux maximal de demandes d'API de gestion de rubriques |
2 par seconde | Ralentissement avec durée de limitation en réponse |
|
Nombre maximal d'octets à récupérer par demande |
55 Mo |
La demande échoue avec ErrorCode : INVALID_REQUEST |
|
Nombre maximal de groupes de consommateurs |
500 | JoinGroup la demande échoue |
| Nombre maximum de partitions (leaders) | 2 400 pour les rubriques non compactées. 120 pour les rubriques compactées. Pour demander un ajustement du quota de service, créez un dossier d'assistance avec votre cas d'utilisation et la limite demandée. | La demande échoue avec ErrorCode : INVALID_REQUEST |
| Taux maximal de création et de suppression de partitions | 250 en 5 minutes | La demande échoue avec ErrorCode : THROUGHPUT_QUOTA_EXCEEDED |
|
Débit d'entrée maximal par partition |
5 Mbit/s | Ralentissement avec durée de limitation en réponse |
|
Débit de sortie maximal par partition |
10 Mbit/s | Ralentissement avec durée de limitation en réponse |
|
Taille maximale de partition (pour les rubriques compactées) |
250 Go | La demande échoue avec ErrorCode : THROUGHPUT_QUOTA_EXCEEDED |
| Nombre maximal de VPC client par cluster sans serveur | 5 | |
| Nombre maximal de clusters sans serveur par compte | 10. Pour demander un ajustement du quota de service, créez un dossier d'assistance avec votre cas d'utilisation et la limite demandée. |
Quota de MSK Connect
Jusqu'à 100 plug-ins personnalisés.
-
Jusqu'à 100 configurations de worker.
-
Jusqu'à 60 workers de Connect. Si un connecteur est configuré pour avoir une capacité automatiquement mise à l'échelle, le nombre maximum de workers pour lequel le connecteur est configuré est le nombre utilisé par MSK Connect pour calculer le quota du compte.
-
Jusqu'à 10 workers par connecteur.
Pour demander un quota plus élevé pour MSK Connect, accédez à la console https://console.aws.amazon.com/servicequotas/home/services/kafka/quotas
Quotas de diffusion de données Amazon MSK
Les quotas suivants s'appliquent aux canaux de diffusion de données Amazon MSK.
| Ressource | Quota par défaut | Ajustable |
|---|---|---|
Canaux par cluster Amazon MSK | 50 | Oui |
Chaînes par thème de Kafka | 10 | Oui |
Intervalle maximal de rafraîchissement des données | 15 minutes | Non |
Intervalle minimal de rafraîchissement des données | 5 minutes | Non |
Débit minimum pour une fraîcheur de 5 minutes (tableaux S3) | 2,4 MB/s par canal | Non |
Débit maximal par canal | Jusqu'à 10 GB/s | Non |
Nombre maximal de partitions par table (tables S3) | 100 | Non |
Formats d'entrée pris en charge (tableaux S3) | JSON, JSON_SCHEMA_GSR | Non |
Formats d'entrée pris en charge (compartiment S3) | JSON ByteArray, chaîne | Non |
Format de sortie (tableaux S3) | Apache Iceberg ; fichiers Parquet avec compression ZSTD ou Snappy | Non |
Compression de sortie (compartiment S3) | AUCUN, GZIP ou ZSTD | Non |
Évolution du schéma | Non pris en charge | Non |
Longueur maximale du nom du sujet | 249 caractères | Non |
Longueur maximale du nom de table | 255 caractères | Non |
Pour demander l'augmentation d'un quota ajustable, utilisez la procédure décrite dansDemander une augmentation de quota dans Amazon MSK.
