Desarrolle consumidores con una distribución mejorada con un rendimiento dedicado - Amazon Kinesis Data Streams

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Desarrolle consumidores con una distribución mejorada con un rendimiento dedicado

En Amazon Kinesis Data Streams puede crear consumidores que utilicen una característica denominada distribución ramificada mejorada. Esta función permite a los consumidores recibir los registros de una transmisión con un rendimiento de hasta 2 MB de datos por segundo por fragmento. Este rendimiento está dedicado, lo que significa que los consumidores que utilizan la distribución ramificada mejorada no tienen que competir con otros consumidores que reciben datos del flujo. Kinesis Data Streams inserta registros de datos desde el flujo en los consumidores que utilizan la distribución ramificada mejorada. Por lo tanto, estos consumidores no necesitan sondear los datos.

importante

Es posible registrar hasta veinte consumidores por secuencia que utilicen la distribución ramificada mejorada.

En el siguiente diagrama, se muestra la arquitectura de distribución ramificada mejorada. Si utiliza la versión 2.0 o posterior de Amazon Kinesis Client Library (KCL) para crear un consumidor, KCL configura el consumidor para que utilice la distribución ramificada mejorada para recibir datos de todas las particiones del flujo. Si utiliza la API para crear un consumidor que utiliza la distribución ramificada mejorada, puede suscribirse a fragmentos individuales.

Diagrama de flujo que muestra la arquitectura de distribución ramificada mejorada con dos fragmentos y dos consumidores. Cada uno de los dos consumidores utiliza la distribución ramificada mejorada para recibir datos de ambos fragmentos de la secuencia.

En el diagrama se muestra lo siguiente:

  • Una secuencia con dos fragmentos.

  • Dos consumidores que utilizan la distribución ramificada mejorada para recibir datos de la secuencia: Consumer X y Consumer Y. Ambos están suscritos a todos los fragmentos y a todos los registros de la secuencia. Si utiliza la versión 2.0 o posterior de KCL para crear un consumidor, KCL suscribe automáticamente ese consumidor a todas las particiones del flujo. Por otro lado, si utiliza la API para crear un consumidor, puede suscribirse a fragmentos individuales.

  • Flechas que representan las canalizaciones de distribución ramificada mejorada que utilizan los consumidores para recibir datos de la secuencia. Un tubo de ventilación mejorado proporciona hasta un 2% MB/sec de datos por fragmento, independientemente de cualquier otro tubo o del número total de consumidores.

Diferencias entre un consumidor con un rendimiento compartido y un consumidor con mayor capacidad de distribución

En la siguiente tabla, se comparan los consumidores con un rendimiento compartido predeterminado con los consumidores con un rendimiento distribuido mejorado. El retraso de propagación del mensaje se define como el tiempo en milisegundos que tarda una carga útil enviada mediante el envío de la carga útil (como y) en llegar a la aplicación de consumo a través de la carga útil que consume APIs (como PutRecord yPutRecords). APIs GetRecords SubscribeToShard

En esta tabla se comparan los consumidores con un rendimiento compartido y los consumidores con mayor capacidad de distribución
Características Consumidores con un rendimiento compartido sin una distribución mejorada Consumidores con mayor capacidad de distribución
Velocidad de lectura

Se ha fijado un total de 2 MB/sec por fragmento. Si hay varios consumidores que leen en un mismo fragmento, todos ellos comparten este rendimiento. La suma de rendimientos que reciben desde el fragmento no supera los 2 MB/s.

Se escala a medida que los consumidores se registran para utilizar la distribución ramificada mejorada. Cada consumidor registrado para usar un despliegue mejorado recibe su propio rendimiento de lectura por fragmento, hasta 2 MB/seg, independientemente de otros consumidores.

Retraso de propagación de mensajes

Un promedio de alrededor de 200 ms si hay un consumidor leyendo la secuencia. Este promedio alcanza aproximadamente los 1000 ms si hay cinco consumidores.

Por lo general, el promedio es de 70 ms si hay un consumidor o cinco consumidores.

Costo No aplicable

Existe un costo de recuperación de datos y un costo por hora y fragmento para los consumidores. Para obtener más información, consulte los precios de Amazon Kinesis Data Streams.

Modelo de entrega de registros

Utilice HTTP para colocar el modelo en lugar de HTTP. GetRecords

Kinesis Data Streams le envía los registros a través de HTTP/2 mediante. SubscribeToShard