Cotas e limites - Amazon Kinesis Data Streams

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Cotas e limites

A tabela a seguir descreve as cotas de fluxos e fragmentos e os limites do Amazon Kinesis Data Streams.

Quota Modo sob demanda Modo provisionado

Número de fluxos de dados

Não há cota máxima no número de streams em sua AWS conta. Por padrão, pode-se criar até 50 fluxos de dados usando o modo de capacidade sob demanda. Se houver necessidade de uma cota maior, abra um tíquete de suporte.

Não há uma cota máxima para o número de fluxos com o modo provisionado em uma conta.

Número de fragmentos

Não há limite máximo. O número de fragmentos depende da quantidade de dados ingeridos e do nível de throughput necessário. O Kinesis Data Streams escala automaticamente o número de fragmentos em resposta a mudanças no volume e no tráfego de dados.

Não há limite máximo. A cota de fragmentos padrão é de 20.000 fragmentos por cada Conta da AWS , para o seguinte: Regiões da AWS

  • Leste dos EUA (Norte da Virgínia)

  • Oeste dos EUA (Oregon)

  • Europa (Irlanda)

Em todas as outras regiões, a cota padrão é de 1.000 ou 6.000 fragmentos por Conta da AWS. Você pode ver a cota de fragmentos e a utilização da sua conta por meio do console Service Quotas em. https://console.aws.amazon.com/servicequotas/

Para solicitar um aumento na cota de fragmentos, use o console Service Quotas ou. AWS CLI Consulte Solicitar um aumento de cotapara ter mais informações.

Throughput do fluxo de dados

Por padrão, os novos fluxos de dados criados com o modo de capacidade sob demanda têm 4 MB/s de taxa de transferência de gravação e 8 MB/s de leitura. No Leste dos EUA (Norte da Virgínia), Oeste dos EUA (Oregon) e Europa (Irlanda) Regiões da AWS, os fluxos de dados com o modo de capacidade sob demanda aumentam até 10% GB/s da taxa de transferência de gravação e 20% de leitura. GB/s Para outras regiões, os fluxos de dados com o modo de capacidade sob demanda aumentam para até 200 MB/s de taxa de transferência de gravação e 400 de MB/s leitura. Se você precisar de um aumento de até 10 capacidades de GB/s gravação e 20 de GB/s leitura para essas regiões, envie um ticket de suporte.

Não há limite máximo. A throughput máxima depende do número de fragmentos provisionados para o fluxo. Cada fragmento pode suportar até 1 MB/sec ou 1.000 taxas de transferência de records/sec gravação ou até 2 MB/sec ou 2.000 taxas de transferência de records/sec leitura. Se precisar de mais capacidade de ingestão, você pode facilmente aumentar o número de fragmentos no stream usando a Console de gerenciamento da AWS ou a UpdateShardCountAPI.

Tamanho da carga útil de dados

O tamanho máximo da carga útil de dados de um registro antes da base64-encoding é de até 10 MiB. O Kinesis foi projetado para lidar com registros grandes intermitentes (tamanho de 1 a 10 MiB) usando a capacidade de expansão.

Tamanho da transação GetRecords

GetRecordspode recuperar até 10 MB de dados por chamada de um único fragmento e até 10.000 registros por chamada. Cada chamada para GetRecords é contada como uma transação de leitura. Cada fragmento pode oferecer suporte a até cinco transações de leitura por segundo. Cada transação de leitura pode fornecer até 10.000 registros com uma cota máxima de 10 MB por transação.

Taxa de leitura de dados por fragmento

Cada fragmento pode suportar até uma taxa máxima total de leitura de dados de 2 MB por segundo via GetRecords. Se uma chamada para GetRecords retornar 10 MB, as chamadas subsequentes feitas nos próximos 5 segundos lançarão uma exceção.

Número de consumidores registrados por fluxo de dados

Com o modo Kinesis On-demand Advantage, você pode criar até 50 consumidores registrados (Enhanced Fan-out). Com os modos Kinesis On-Demand Standard e Kinesis Provisioned, você pode criar até 20 consumidores registrados (limite de fan-out aprimorado) para cada stream de dados.

Alternar entre os modos provisionado e sob demanda

Para cada fluxo de dados em sua AWS conta, você pode alternar entre os modos de capacidade sob demanda e provisionada duas vezes em 24 horas. 

Limites da API

Como a maioria AWS APIs, as operações da API Kinesis Data Streams têm taxas limitadas. Os limites a seguir se aplicam por conta da AWS e por região. Para obter mais informações sobre o Kinesis APIs Data Streams, consulte a Amazon Kinesis API Reference.

Limites de API do plano de controle do KDS

A seção a seguir descreve os limites do plano APIs de controle KDS. O plano de controle KDS APIs permite que você crie e gerencie seus fluxos de dados. Esses limites se aplicam por conta da AWS e por região.

Limites de API do plano de controle
API Limite de chamada de API Por conta/fluxo  Description
AddTagsToStream 5 transações por segundo (TPS) Por conta 50 tags por fluxo de dados
CreateStream 5 TPS Por conta

Não há um cota máxima para o número de fluxos em uma conta. É enviada uma LimitExceededException ao fazer uma solicitação CreateStream tentando executar um dos seguintes procedimentos:

  • Ter mais de cinco fluxos no estado CREATING em qualquer momento.

  • Criar mais fragmentos do que o autorizado para sua conta.

DecreaseStreamRetentionPeriod 5 TPS Por fluxo O valor mínimo do período de retenção de um fluxo de dados é de 24 horas.
DeleteResourcePolicy 5 TPS Por conta Se precisar de um limite maior, abra um Tíquete de suporte.
DeleteStream 5 TPS Por conta
DeregisterStreamConsumer 5 TPS Por fluxo
DescribeAccountSettings 5 TPS Por conta
DescribeLimits 1 TPS Por conta
DescribeStream 10 TPS Por conta
DescribeStreamConsumer 20 TPS Por fluxo
DescribeStreamSummary 20 TPS Por conta
DisableEnhancedMonitoring 5 TPS Por fluxo
EnableEnhancedMonitoring 5 TPS Por fluxo
GetResourcePolicy 5 TPS Por conta Se precisar de um limite maior, abra um Tíquete de suporte.
IncreaseStreamRetentionPeriod 5 TPS Por fluxo O valor máximo do período de retenção de um fluxo é de 8.760 horas (365 dias).
ListShards 1000 TPS Por fluxo
ListStreamConsumers 5 TPS Por fluxo
ListStreams 5 TPS Por conta
ListTagsForStream 5 TPS Por fluxo
MergeShards 5 TPS Por fluxo Aplicável somente no modo provisionado.
PutResourcePolicy 5 TPS Por conta Se precisar de um limite maior, abra um Tíquete de suporte.
RegisterStreamConsumer 5 TPS Por fluxo É possível registrar até 20 aplicaçõs de consumo por fluxo de dados. Uma aplicação de consumo só pode ser registrada em um fluxo de dados de cada vez. Apenas cinco aplicações de consumo podem ser criadas simultaneamente. Em outras palavras, não é possível ter mais de cinco aplicações de consumo com status CREATING ao mesmo tempo.
RemoveTagsFromStream 5 TPS Por fluxo
SplitShard 5 TPS Por fluxo Aplicável somente no modo provisionado
StartStreamEncryption Por fluxo Você pode aplicar com sucesso uma nova chave AWS KMS para criptografia do lado do servidor 25 vezes em um período contínuo de 24 horas.
StopStreamEncryption Por fluxo É possível desabilitar com êxito a criptografia no lado do servidor 25 vezes em um período contínuo de 24 horas.
UpdateShardCount Por fluxo Aplicável somente no modo provisionado. O limite padrão do número de fragmentos é 10.000. Há limites adicionais nesta API. Para obter mais informações, consulte UpdateShardCount.
UpdateStreamMode Por fluxo

Para cada fluxo de dados em sua AWS conta, você pode alternar entre os modos de capacidade sob demanda e provisionada duas vezes em 24 horas.

UpdateStreamWarmThroughput 5 TPS Por conta A throughput máxima a quente que pode ser configurada é o limite de throughput do fluxo de dados do modo sob demanda para a conta e a região.
UpdateAccountSettings 5 TPS Por conta Habilite ou desabilite configurações da conta, como o modo On-Demand Advantage.

Limites de API do plano de dados do KDS

A seção a seguir descreve os limites do plano APIs de dados KDS. O plano de dados KDS APIs permite que você use seus fluxos de dados para coletar e processar registros de dados em tempo real. Esses limites se aplicam por fragmento dentro dos fluxos de dados.

Limites de API do plano de dados
API Limite de chamada de API Limite de carga útil Outros detalhes
GetRecords 5 TPS O número máximo de registros que podem ser retornados por chamada é 10.000. O tamanho máximo de dados que GetRecords pode retornar é 10 MB. Se uma chamada retornar essa quantidade de dados, as chamadas subsequentes feitas nos próximos cinco segundos gerarão ProvisionedThroughputExceededException. Se a throughput provisionada no fluxo for insuficiente, as chamadas subsequentes feitas no próximo segundo gerarão ProvisionedThroughputExceededException.
GetShardIterator 5 TPS Um iterador de fragmentos expira cinco minutos depois que é retornado ao solicitante. Se uma GetShardIterator solicitação for feita com muita frequência, você recebe uma ProvisionedThroughputExceededException.
PutRecord 1000 TPS Cada fragmento pode oferecer suporte a gravações de até 1.000 registros por segundo, até um total máximo de gravação de dados de 10 MiB por segundo. O Kinesis foi projetado para lidar com registros grandes intermitentes (tamanho de 1 a 10 MiB) usando a capacidade de expansão.
PutRecords Cada PutRecords solicitação pode suportar até 500 registros. Cada registro na solicitação pode ter no máximo 10 MiB, até um limite de 10 MiB para toda a solicitação, incluindo as chaves de partição. Cada fragmento pode oferecer suporte a gravações de até 1.000 registros por segundo, até um total máximo de gravação de dados de 1 MB por segundo. O Kinesis foi projetado para lidar com registros grandes intermitentes (tamanho de 1 a 10 MiB) usando a capacidade de expansão.
SubscribeToShard Você pode fazer uma chamada SubscribeToShard por segundo por consumidor registrado por fragmento. Se você ligar SubscribeToShard novamente com o mesmo ConsumerArn ShardId e dentro de 5 segundos após uma chamada bem-sucedida, você receberá uma. ResourceInUseException

Aumento de cotas

É possível usar o Service Quotas para solicitar um aumento para uma cota, se a cota for ajustável. Algumas solicitações são resolvidas automaticamente, enquanto outras são enviadas ao AWS Support. Você pode acompanhar o status de uma solicitação de aumento de cota enviada ao AWS Support. As solicitações para aumentar as Service Quotas não recebem suporte prioritário. Se você tiver uma solicitação urgente, entre em contato com o AWS Support. Para obter mais informações, consulte What is Service Quotas?

Para solicitar um aumento de cota de serviço, siga o procedimento descrito em Solicitar um aumento de cota.