Desarrollo de consumidores de distribución ramificada mejorada con rendimiento dedicado - Amazon Kinesis Data Streams

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Desarrollo de consumidores de distribución ramificada mejorada con rendimiento dedicado

En Amazon Kinesis Data Streams puede crear consumidores que utilicen una característica denominada distribución ramificada mejorada. Esta característica permite a los consumidores recibir registros de un flujo con un rendimiento de hasta 2 MB de datos por segundo por partición. Este rendimiento está dedicado, lo que significa que los consumidores que utilizan la distribución ramificada mejorada no tienen que competir con otros consumidores que reciben datos del flujo. Kinesis Data Streams inserta registros de datos desde el flujo en los consumidores que utilizan la distribución ramificada mejorada. Por lo tanto, estos consumidores no necesitan sondear los datos.

importante

Con el modo On-Demand Advantage, puedes registrar hasta 50 consumidores por transmisión para utilizar una distribución mejorada. Con las transmisiones bajo demanda estándar y aprovisionadas, puedes registrar hasta 20 consumidores por transmisión para utilizar la distribución mejorada.

En el siguiente diagrama, se muestra la arquitectura de distribución ramificada mejorada. Si utiliza la versión 2.0 o posterior de Amazon Kinesis Client Library (KCL) para crear un consumidor, KCL configura el consumidor para que utilice la distribución ramificada mejorada para recibir datos de todas las particiones del flujo. Si utiliza la API para crear un consumidor que utiliza la distribución ramificada mejorada, puede suscribirse a fragmentos individuales.

Diagrama de flujo que muestra la arquitectura de distribución ramificada mejorada con dos fragmentos y dos consumidores. Cada uno de los dos consumidores utiliza la distribución ramificada mejorada para recibir datos de ambos fragmentos de la secuencia.

En el diagrama se muestra lo siguiente:

  • Una secuencia con dos fragmentos.

  • Dos consumidores que utilizan la distribución ramificada mejorada para recibir datos de la secuencia: Consumer X y Consumer Y. Ambos están suscritos a todos los fragmentos y a todos los registros de la secuencia. Si utiliza la versión 2.0 o posterior de KCL para crear un consumidor, KCL suscribe automáticamente ese consumidor a todas las particiones del flujo. Por otro lado, si utiliza la API para crear un consumidor, puede suscribirse a fragmentos individuales.

  • Flechas que representan las canalizaciones de distribución ramificada mejorada que utilizan los consumidores para recibir datos de la secuencia. Una canalización de distribución mejorada proporciona hasta un 2% MB/sec de datos por fragmento, independientemente de cualquier otra canalización o del número total de consumidores.

Diferencias entre el consumidor de rendimiento compartido y el consumidor de distribución ramificada mejorada

En la tabla siguiente, se comparan los consumidores de rendimiento compartido predeterminado y los consumidores de distribución ramificada mejorada. El retardo de propagación del mensaje se define como el tiempo en milisegundos que tarda una carga útil enviada mediante el envío de la carga útil APIs (como PutRecord yPutRecords) en llegar a la aplicación de consumo a través de la carga útil que consume (como y). APIs GetRecords SubscribeToShard

En esta tabla se comparan los consumidores de rendimiento compartido y los consumidores de distribución ramificada mejorada
Características Consumidores de rendimiento compartido sin una distribución ramificada mejorada Consumidores de distribución ramificada mejorada
Velocidad de lectura

Se ha fijado en un total de 2 por fragmento. MB/sec Si hay varios consumidores que leen en un mismo fragmento, todos ellos comparten este rendimiento. La suma de rendimientos que reciben desde el fragmento no supera los 2 MB/s.

Se escala a medida que los consumidores se registran para utilizar la distribución ramificada mejorada. Cada consumidor registrado para usar un despliegue mejorado recibe su propio rendimiento de lectura por fragmento, hasta 2 MB/seg, independientemente de otros consumidores.

Retraso de propagación de mensajes

Un promedio de alrededor de 200 ms si hay un consumidor leyendo la secuencia. Este promedio alcanza aproximadamente los 1000 ms si hay cinco consumidores.

Por lo general, el promedio es de 70 ms si hay un consumidor o cinco consumidores.

Costo No aplicable

Existe un costo de recuperación de datos y un costo por hora y fragmento para los consumidores. Para obtener más información, consulte los precios de Amazon Kinesis Data Streams.

Modelo de entrega de registros

Utilice HTTP para colocar el modelo en lugar de HTTP. GetRecords

Kinesis Data Streams le envía los registros a través de HTTP/2 mediante. SubscribeToShard

Compatible con regiones para un máximo de 50 usuarios con sistema de distribución mejorada (solo On-Demand Advantage)

El soporte para hasta 50 consumidores con distribución mejorada en el modo On-Demand Advantage solo está disponible en las siguientes AWS regiones:

AWSRegión Nombre de la región

eu-north-1

Europa (Estocolmo)

me-south-1

Middle East (Bahrain)

ap-south-1

Asia-Pacífico (Mumbai)

eu-west-3

Europa (París)

ap-southeast-3

Asia-Pacífico (Yakarta)

us-east-2

Este de EE. UU. (Ohio)

af-south-1

África (Ciudad del Cabo)

eu-west-1

Europa (Irlanda)

me-central-1

Medio Oriente (EAU)

eu-central-1

Europa (Fráncfort)

sa-east-1

América del Sur (São Paulo)

ap-east-1

Asia-Pacífico (Hong Kong)

ap-south-2

Asia-Pacífico (Hyderabad)

us-east-1

Este de EE. UU. (Norte de Virginia)

ap-northeast-2

Asia-Pacífico (Seúl)

ap-northeast-3

Asia-Pacífico (Osaka)

eu-west-2

Europa (Londres)

ap-southeast-4

Asia-Pacífico (Melbourne)

ap-northeast-1

Asia-Pacífico (Tokio)

us-west-2

Oeste de EE. UU. (Oregón)

us-west-1

Oeste de EE. UU. (Norte de California)

ap-southeast-1

Asia-Pacífico (Singapur)

ap-southeast-2

Asia-Pacífico (Sídney)

il-central-1

Israel (Tel Aviv)

ca-central-1

Canadá (centro)

ca-west-1

Oeste de Canadá (Calgary)

eu-south-2

Europa (España)

cn-northwest-1

China (Ningxia)

eu-central-2

Europa (Zúrich)

us-gov-east-1

AWSGovCloud (Este de EE. UU.)

us-gov-west-1

AWSGovCloud (EE. UU.-Oeste)