Desenvolver consumidores de distribuição avançada com throughput dedicada - Amazon Kinesis Data Streams

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Desenvolver consumidores de distribuição avançada com throughput dedicada

No Amazon Kinesis Data Streams, é possível criar consumidores que usem um recurso chamado distribuição avançada. Esse atributo permite que consumidores recebam registros de um fluxo com throughput de até 2 MB de dados por segundo por fragmento. Essa throughput é dedicada, o que significa que consumidores que usam a divisão avançada não precisam lidar com outros consumidores que estejam recebendo dados do fluxo. O Kinesis Data Streams envia registros de dados do fluxo para consumidores que usam a distribuição avançada. Portanto, esses consumidores não precisam sondar dados.

Importante

Com o modo On-demand Advantage, você pode registrar até 50 consumidores por stream para usar o fan-out aprimorado. Com streams padrão e provisionados sob demanda, você pode registrar até 20 consumidores por stream para usar o fan-out aprimorado.

O diagrama a seguir mostra a arquitetura de distribuição avançada. Ao usar a versão 2.0 ou posterior da Amazon Kinesis Client Library (KCL) para criar um consumidor, a KCL configurará o consumidor para usar a distribuição avançada e receber dados de todos os fragmentos do fluxo. Se usar a API para criar um consumidor que use distribuição avançada, é possível se inscrever em fragmentos individuais.

Diagrama do fluxo de trabalho que mostra a arquitetura de distribuição avançada com dois fragmentos e dois consumidores. Cada um dos dois consumidores está usando a distribuição avançada para receber dados dos dois fragmentos do fluxo.

O diagrama mostra o seguinte:

  • Um fluxo com dois fragmentos.

  • Dois consumidores que estão usando a distribuição avançada para receber dados do fluxo: consumidores X e Y. Os dois consumidores estão inscritos em todos os fragmentos e em todos os registros do fluxo. Ao usar a versão 2.0 ou posterior da KCL para criar um consumidor, a KCL inscreverá automaticamente esse consumidor em todos os fragmentos do fluxo. Por outro lado, ao usar a API para criar um consumidor, é possível se inscrever em fragmentos individuais.

  • Setas que representam as distribuições avançadas usadas pelos consumidores para receber dados do fluxo. Um tubo de ventilação aprimorado fornece até 2% MB/sec de dados por fragmento, independentemente de qualquer outro tubo ou do número total de consumidores.

Diferenças entre o consumidor de throughput compartilhada e o consumidor de distribuição avançada

A tabela a seguir compara consumidores padrão de throughput compartilhada com consumidores de distribuição avançada. O atraso na propagação da mensagem é definido como o tempo gasto em milissegundos para que uma carga útil enviada usando o despacho de carga útil (como e) chegue ao aplicativo consumidor por meio da carga útil consumidora APIs (como PutRecord ePutRecords). APIs GetRecords SubscribeToShard

Essa tabela compara consumidores de throughput compartilhada com consumidores de distribuição avançada
Características Consumidores de throughput compartilhada sem distribuição avançada Consumidores com distribuição avançada
Throughput de leitura

Fixado em um total de 2 MB/sec por fragmento. Se houver vários consumidores lendo a partir do mesmo fragmento, todos eles compartilham essa throughput. A soma das taxas de transferência que eles recebem do fragmento não excede 2 MB/s.

Dimensionada de acordo com o registro dos consumidores para usar a distribuição avançada. Cada consumidor registrado para usar a distribuição avançada recebe sua própria throughput de leitura por fragmento, de até 2 MB/s, independentemente de outros consumidores.

Atraso de propagação da mensagem

Uma média de cerca de 200 ms se houver um consumidor lendo no fluxo. Essa média chega até cerca de 1000 ms se houver cinco consumidores.

Normalmente, uma média de 70 ms se houver um ou cinco consumidores.

Custo Não aplicável

Há um custo de recuperação de dados e um custo de hora de fragmento por consumidor. Para obter mais informações, consulte Definição de preço do Amazon Kinesis Data Streams.

Registro de modelo de entrega

Extraia o modelo por meio de HTTP usando GetRecords.

O Kinesis Data Streams envia os registros para você por meio de HTTP/2 usando. SubscribeToShard

Regiões com suporte para até 50 consumidores de fan-out aprimorados (somente sob demanda Advantage)

Support para até 50 consumidores de fan-out aprimorados no modo On-Demand Advantage está disponível somente nas seguintes regiões: AWS

AWS Região Nome da região

eu-north-1

Europa (Estocolmo)

me-south-1

Oriente Médio (Bahrein)

ap-south-1

Ásia-Pacífico (Mumbai)

eu-west-3

Europa (Paris)

ap-southeast-3

Ásia-Pacífico (Jacarta)

us-east-2

Leste dos EUA (Ohio)

af-south-1

África (Cidade do Cabo)

eu-west-1

Europa (Irlanda)

me-central-1

Oriente Médio (Emirados Árabes Unidos)

eu-central-1

Europa (Frankfurt)

sa-east-1

América do Sul (São Paulo)

ap-east-1

Ásia-Pacífico (Hong Kong)

ap-south-2

Ásia-Pacífico (Hyderabad)

us-east-1

Leste dos EUA (Norte da Virgínia)

ap-northeast-2

Ásia-Pacífico (Seul)

ap-northeast-3

Ásia-Pacífico (Osaka)

eu-west-2

Europa (Londres)

ap-southeast-4

Ásia-Pacífico (Melbourne)

ap-northeast-1

Ásia-Pacífico (Tóquio)

us-west-2

Oeste dos EUA (Oregon)

us-west-1

Oeste dos EUA (Norte da Califórnia)

ap-southeast-1

Ásia-Pacífico (Singapura)

ap-southeast-2

Ásia-Pacífico (Sydney)

il-central-1

Israel (Tel Aviv)

ca-central-1

Canadá (Central)

ca-west-1

Oeste do Canadá (Calgary)

eu-south-2

Europa (Espanha)

cn-northwest-1

China (Ningxia)

eu-central-2

Europa (Zurique)

us-gov-east-1

AWS GovCloud (Leste dos EUA)

us-gov-west-1

AWS GovCloud (Oeste dos EUA)