Cota do Amazon MSK - Amazon Managed Streaming for Apache Kafka
Solicitar um aumento de cota no Amazon MSKCota de agente StandardCota de agente ExpressCotas do replicador do MSKCota para clusters com tecnologia sem servidorCota do MSK Connect

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Cota do Amazon MSK

Você Conta da AWS tem cotas padrão para o Amazon MSK. Salvo indicação em contrário, cada cota por conta é específica da região dentro da sua. Conta da AWS

Solicitar um aumento de cota no Amazon MSK

Você pode solicitar um aumento de cota para cada região usando o console Service Quotas ou um AWS CLI caso de suporte. Se uma cota ajustável não estiver disponível no console de Cotas de Serviço, use AWS Support Center Console o para criar um caso de aumento da cota de serviço.

O suporte pode aprovar, negar ou aprovar parcialmente solicitações de aumento de cota. Os aumentos não são concedidos imediatamente e podem levar alguns dias para entrar em vigor.

Para solicitar um aumento, visite o Console do Service Quotas

  1. Abra o console do Service Quotas em https://console.aws.amazon.com/servicequotas/.

  2. Na barra de navegação, na parte superior da tela, selecione uma região.

  3. No painel de navegação à esquerda, selecione Serviços da AWS.

  4. Na caixa Localizar serviços, digite msk e escolha Amazon Managed Streaming for Apache Kafka (MSK).

  5. Em Cotas de serviço, escolha o Nome da cota para a qual você deseja solicitar um aumento. Por exemplo, .Number of brokers per account

  6. Escolha Solicitar aumento no nível da conta.

  7. Em Alterar o valor da cota, insira o novo valor desejado.

  8. Escolha Solicitar.

  9. (Opcional) Para visualizar solicitações pendentes ou resolvidas recentemente no console, escolha Painel no painel de navegação esquerdo. Para solicitações pendentes, escolha o status da solicitação para abrir o recibo da solicitação. O status inicial de uma solicitação é Pending (Pendente). Depois que o status for alterado para Cota solicitada, você verá o número do caso com o Suporte. Escolha o número do caso para abrir o tíquete de sua solicitação.

Para obter mais informações, incluindo como usar AWS CLI ou solicitar um aumento SDKs de cota, consulte Solicitando um aumento de cota no Guia do Usuário de Quotas de Serviço.

Cota de agente Standard do Amazon MSK

A tabela a seguir descreve as cotas dos agentes Standard.

Dimensão Cota Observações
Agentes por conta 90 Para solicitar uma cota maior, acesse o console do Service Quotas.
Agentes por cluster 30 para clusters ZooKeeper baseados 60 para clusters KRaft baseados Para solicitar uma cota maior, acesse o console do Service Quotas.
Armazenamento mínimo por agente 1 GiB
Armazenamento máximo por agente 16384 GiB
Máximo de conexões TCP por agente (controle de acesso IAM) 3000 Para aumentar esse limite, você pode ajustar a propriedade listener.name.client_iam.max.connections ou a configuração listener.name.client_iam_public.max.connections usando a API AlterConfig do Kafka ou a ferramenta kafka-configs.sh. É importante observar que aumentar qualquer propriedade para um valor alto pode resultar em indisponibilidade.
Taxa máxima de conexões TCP por agente (IAM) 100 por segundo (tamanhos de instância M5 e M7g) 4 por segundo (tamanho de instância t3) Para processar novas tentativas em conexões com falha, você pode definir o parâmetro de configuração reconnect.backoff.ms no lado do cliente. Por exemplo, se você quiser que um cliente tente novamente as conexões após 1 segundo, defina reconnect.backoff.ms como 1000. Para obter mais informações, consulte reconnect.backoff.ms na documentação do Apache Kafka.
Máximo de conexões TCP por agente (não IAM) N/D O MSK não impõe limites de conexão para autenticação que não seja do IAM. Monitore outras métricas, como uso de CPU e memória, para garantir que seu cluster não fique sobrecarregado devido ao excesso de conexões.
Configurações por conta 100 Para solicitar uma cota maior, acesse o console do Service Quotas.

Para atualizar a configuração ou a versão do Apache Kafka de um cluster do MSK, primeiro certifique-se de que o número de partições por agente esteja abaixo dos limites descritos em Dimensione seu cluster adequadamente: número de partições por agente Standard.
Revisões de configurações por conta 50

Cota de agentes Express do Amazon MSK

A tabela a seguir descreve as cotas dos agentes Express.

Dimensão Cota Observações
Agentes por conta 90 Para solicitar uma cota maior, acesse o console do Service Quotas.
Agentes por cluster 30 para clusters ZooKeeper baseados 60 para clusters KRaft baseados Para solicitar uma cota maior, acesse o console do Service Quotas.
Armazenamento máximo Ilimitado
Máximo de conexões TCP por agente (controle de acesso IAM) 3000

Para aumentar o limite de conexão, ajuste uma das seguintes propriedades de configuração usando a AlterConfig API Kafka ou a ferramenta kafka-configs.sh:

  • listener.name.client_iam.max.connections

  • listener.name.client_iam_public.max.connections

Definir essas propriedades com um valor alto pode resultar na indisponibilidade do cluster.
Taxa máxima de conexões TCP por agente (IAM) 100 por segundo Para processar novas tentativas em conexões com falha, você pode definir o parâmetro de configuração reconnect.backoff.ms no lado do cliente. Por exemplo, se você quiser que um cliente tente novamente as conexões após 1 segundo, defina reconnect.backoff.ms como 1000. Para obter mais informações, consulte reconnect.backoff.ms na documentação do Apache Kafka.
Máximo de conexões TCP por agente (não IAM) N/D O MSK não impõe limites de conexão para autenticação que não seja do IAM. No entanto, você deve monitorar outras métricas, como uso de CPU e memória, para garantir que seu cluster não fique sobrecarregado devido ao excesso de conexões.
Configurações por conta 100 Para solicitar uma cota maior, acesse o console do Service Quotas. Para atualizar a configuração ou a versão do Apache Kafka de um cluster do MSK, primeiro certifique-se de que o número de partições por agente esteja abaixo dos limites descritos em Dimensione seu cluster adequadamente: número de partições por agente Express.
Revisões de configurações por conta 50
Entrada máxima por agente Recomendado: 15,6 - 500,0 MBps Com base no tamanho da instância.
Saída máxima por agente Recomendado: 31,2 - 1000,0 MBps Com base no tamanho da instância.

Limites de controle de utilização do throughput do agente Express por tamanho do agente

A tabela a seguir lista o limite máximo e recomendado de controle de utilização do throughput relacionado à entrada e saída para diferentes tamanhos de agentes. Nesta tabela, o throughput recomendado é representado como Desempenho sustentado, que é o limite até o qual suas aplicações não sofrerão nenhuma degradação de desempenho. Se você operar além desses limites em qualquer dimensão, poderá conseguir mais throughput, mas também poderá sofrer uma degradação do desempenho. A cota máxima é o limite no qual seu cluster limitará o tráfego. read/write Suas aplicações não conseguirão operar além desse limite.

Tamanho da instância Desempenho sustentado (MBps) para entrada Cota máxima (MBps) para entrada Desempenho sustentado (MBps) para saída Cota máxima (MBps) para saída
express.m7g.large 15,6 23,4 31.2 58,5
express.m7g.xlarge 31.2 46,8 62.5 117
express.m7g.2xlarge 62.5 93,7 125 234.2
express.m7g.4xlarge 124,9 187,5 249,8 468,7
express.m7g.8xlarge 250 375 500 937,5
express.m7g.12xlarge 375 562,5 750 1406,2
express.m7g.16xlarge 500 750 1000 1875

Cota de partição do agente Express

A tabela a seguir mostra o número recomendado de partições (incluindo partições líderes e seguidoras) de cada agente Express. Você não pode exceder o número máximo de partições mencionado na tabela a seguir para cada agente do Express.

Para saber mais sobre as melhores práticas a serem consideradas ao atribuir partições aos agentes Express, consulte Dimensione seu cluster adequadamente: número de partições por agente Express.

Tamanho do corretor Número recomendado de partições (incluindo partições líderes e seguidoras) por agente Número máximo de partições por agente

express.m7g.large

 1000 1500

express.m7g.xlarge

 1000 2000

express.m7g.2xlarge

 2500 4000

express.m7g.4xlarge

 6000 8000

express.m7g.8xlarge

 12000 16000

express.m7g.12xlarge

 16000 24000

express.m7g.16xlarge

 20000 32000

Cotas do replicador do MSK

  • Máximo de 15 replicadores do MSK por conta.

  • O Replicador do MSK replica somente até 750 tópicos de forma ordenada. Se você precisar replicar mais tópicos, recomendamos criar um replicador separado. Acesse o console do Service Quotas se precisar de suporte para mais de 750 tópicos por replicador. Você pode monitorar o número de tópicos que estão sendo replicados usando a métrica TopicCount "”.

  • Um throughput máximo de entrada de 1 GB por segundo por replicador do MSK. Solicite uma cota maior acessando o console do Service Quotas.

  • Tamanho do registro do Replicador do MSK: um tamanho máximo de registro de 10 MB (message.max.bytes). Solicite uma cota maior acessando o console do Service Quotas.

Cota do MSK Serverless

Salvo indicação em contrário, as cotas especificadas na tabela a seguir são por cluster.

nota

Caso tenha algum problema com os limites da cota de serviço, crie um caso de suporte com seu caso de uso e o limite solicitado.

Dimensão Quota Resultado de violação de cota

Throughput máximo de entrada

200 MBps

Desaceleração com duração de controle de utilização em resposta
Throughput máximo de saída 400 MBps

Desaceleração com duração de controle de utilização em resposta
Duração máxima de retenção Ilimitado N/D

Número máximo de conexões de cliente

 3000 Fechamento da conexão
Máximo de tentativas de conexão 100 por segundo Fechamento da conexão

Tamanho máximo de mensagem

 8 MiB A solicitação falha com ErrorCode: INVALID_REQUEST
Taxa máxima de solicitação 15.000 por segundo Desaceleração com duração de controle de utilização em resposta

Taxa máxima da taxa de APIs solicitações de gerenciamento de tópicos

 2 por segundo Desaceleração com duração de controle de utilização em resposta

Máximo de bytes de busca por solicitação

55 MB

 A solicitação falha com ErrorCode: INVALID_REQUEST

Número máximo de grupos de consumidores

 500 JoinGroup falha na solicitação
Número máximo de partições (líderes) 2.400 para tópicos não compactados, 120 para tópicos compactados. Para solicitar um ajuste de cota de serviço, crie um caso de suporte com seu caso de uso e limite solicitado. A solicitação falha com ErrorCode: INVALID_REQUEST
Taxa máxima de criação e exclusão de partições 250 em 5 minutos A solicitação falha com ErrorCode: THROUGHPUT_QUOTA_EXCEEDED

Throughput máximo de entrada por partição

 5 MBps Desaceleração com duração de controle de utilização em resposta

Throughput máximo de saída por partição

 10 MBps Desaceleração com duração de controle de utilização em resposta

Tamanho máximo da partição (para tópicos compactados)

 250 GB A solicitação falha com ErrorCode: THROUGHPUT_QUOTA_EXCEEDED
Número máximo de clientes VPCs por cluster sem servidor 5
Número máximo de clusters com tecnologia sem servidor por conta 10. Para solicitar um ajuste de cota de serviço, crie um caso de suporte com seu caso de uso e limite solicitado.

Cota do MSK Connect

  • Até 100 plug-ins personalizados.

  • Até 100 configurações de operador.

  • Até 60 operadores conectados. Se um conector estiver configurado com capacidade de ajuste de escala automático, o número máximo de operadores que o conector está configurado para ter é o número que o MSK Connect usa para calcular a cota da conta.

  • Até 10 operadores por conector.

Para solicitar uma cota maior para o MSK Connect, acesse o console do Service Quotas.