Configuraciones de KCL

Permite sustituir el nombre de la tabla que se utiliza para la tabla de asignaciones de Amazon DynamoDB.

El nombre de la secuencia cuyos registros procesa de esta aplicación.

Identificador único que representa esta instancia del procesador de aplicaciones. Deben ser único.

El número de milisegundos que deben transcurrir antes de que se pueda considerar que se ha producido un error en el propietario de una asignación. En el caso de las aplicaciones que tienen una gran cantidad de particiones, se pueden establecer en un número mayor para reducir la cantidad de IOPS de DynamoDB necesarios para el seguimiento de los arrendamientos.

El tiempo entre llamadas de sincronización del fragmento.

Cuando se establece, se eliminan las asignaciones tan pronto como se inicia el procesamiento del fragmento secundario.

Cuando se establece, los fragmentos secundarios que tienen un fragmento abierto se pasan por alto. Esto es principalmente para DynamoDB Streams.

La cantidad máxima de arrendamientos que debe aceptar un solo proceso de trabajo. Si se establece un valor demasiado bajo, podría causar que se pierdan datos si los procesos de trabajo no pueden procesar todas las particiones y que la asignación del arrendamiento entre los procesos de trabajo no sea óptima. Tenga en cuenta el número total de particiones, el número de procesos de trabajo y la capacidad de procesamiento de los procesos de trabajo al configurarlo.

Controla el tamaño del grupo de subprocesos del renovador de asignaciones. Cuanto más grande sea el número de asignaciones que puede tomar la aplicación, más grande debe ser este grupo.

Determina el modo de capacidad de la tabla de arrendamiento creada en DynamoDB. Existen dos opciones: el modo bajo demanda (PAY_PER_REQUEST) y el modo aprovisionado. Recomendamos utilizar la configuración predeterminada del modo bajo demanda, ya que escala automáticamente para adaptarse a la carga de trabajo sin necesidad de planificar la capacidad.

La posición inicial de la secuencia en la que debería comenzar la aplicación. Esto solo se utiliza durante la creación inicial de la asignación.

InitialPositionInStream.TRIM_HORIZON

Un valor porcentual que determina cuándo el algoritmo de equilibrio de carga debería reasignar las particiones entre los procesos de trabajo.

Es una nueva configuración presentada en KCL 3.x.

Un valor porcentual que se utiliza para amortiguar la cantidad de carga que se moverá desde el proceso de trabajo sobrecargado en una sola operación de rebalanceo.

Es una nueva configuración presentada en KCL 3.x.

Determina si aún es necesario contratar un arrendamiento adicional al proceso de trabajo sobrecargado, incluso si esto provoca que el monto total del arrendamiento solicitado supere el monto de rendimiento deseado.

Es una nueva configuración presentada en KCL 3.x.

Determina si KCL debe ignorar las métricas de recursos de los procesos de trabajos (como el uso de la CPU) al reasignar los arrendamientos y equilibrar la carga. Configúrelo en TRUE si quiere evitar que KCL equilibre la carga según el uso de la CPU.

Es una nueva configuración presentada en KCL 3.x.

Cantidad de rendimiento máximo que se debe asignar a un proceso de trabajo durante la asignación del arrendamiento.

Es una nueva configuración presentada en KCL 3.x.

Controla el comportamiento de la transferencia del arrendamiento entre los procesos de trabajo. Si se establece en true, KCL intentará transferir los arrendamientos sin problemas, dejando que el fragmento RecordProcessor tenga tiempo suficiente para completar el procesamiento antes de entregar el arrendamiento a otro trabajador. Esto puede ayudar a garantizar la integridad de los datos y realizar transiciones fluidas, pero puede aumentar el tiempo de transferencia.

Si se establece en falso, el contrato de arrendamiento se transferirá inmediatamente sin esperar a que se cierre correctamente. RecordProcessor Esto puede llevar a que las transferencias sean más rápidas, pero se corre el riesgo de que el procesamiento quede incompleto.

Nota: Los puntos de control deben implementarse dentro del método shutdownRequested () del RecordProcessor para poder beneficiarse de la elegante función de traspaso de arrendamientos.

Es una nueva configuración presentada en KCL 3.x.

Especifica el tiempo mínimo (en milisegundos) que se debe esperar a que el fragmento actual se cierre correctamente antes de RecordProcessor transferir forzosamente el arrendamiento al siguiente propietario.

Si el método processRecords suele ejecutarse durante más tiempo que el valor predeterminado, tenga en mente aumentar esta configuración. Esto garantiza que RecordProcessor tenga tiempo suficiente para completar su procesamiento antes de que se produzca la transferencia del arrendamiento.

Es una nueva configuración presentada en KCL 3.x.

Permite establecer el número máximo de registros que devuelve Kinesis.

Configura el retraso entre los GetRecords intentos en caso de error.

El tamaño del grupo de subprocesos utilizado para GetRecords.

Determina cuánto tiempo espera KCL entre GetRecords llamadas para sondear los datos de los flujos de datos. La unidad es de milisegundos.

Cuando se establece, se llama al procesador de registros incluso cuando no se proporciona ningún registro de Kinesis.

Determina la frecuencia con que debería sondear un procesador de registros para ver si el fragmento principal se ha completado. La unidad es milisegundos.

Deshabilita la sincronización de los datos de los fragmentos si la tabla de asignaciones todavía contiene entradas.

FALSO

La priorización de fragmentos que se va a utilizar.

NoOpShardPrioritization

Determina en qué modo de compatibilidad de versiones de KCL se ejecutará la aplicación. Esta configuración es solo para la migración desde versiones anteriores de KCL. Al migrar a la versión 3.x, debe establecer esta configuración en CLIENT_VERSION_CONFIG_COMPATIBLE_WITH_2X. Puede eliminar esta configuración cuando complete la migración.

El tiempo que se debe esperar para reintentar la tareas de KCL con errores. La unidad es de milisegundos.

Tiempo que se debe esperar antes de registrar una advertencia si una tarea no ha finalizado.

Especifica el tiempo máximo (en milisegundos) para almacenar en búfer las métricas antes de publicarlas. CloudWatch

Especifica el número máximo de métricas que se deben almacenar en búfer antes de publicarlas CloudWatch.

Especifica el nivel de granularidad de CloudWatch las métricas que se van a habilitar y publicar.

Valores posibles: NONE, SUMMARY, DETAILED.

MetricsLevel.DETALLADO

Controla las dimensiones permitidas para las CloudWatch métricas.

El número máximo de asignaciones del que debería intentar apropiarse una aplicación al mismo tiempo. KCL 3.x ignorará esta configuración y reasignará los arrendamientos según la utilización de los recursos por parte de los procesos de trabajo.

Controla si los trabajadores deben dar prioridad a los arrendamientos muy vencidos (los arrendamientos no se renuevan hasta triplicar el tiempo de conmutación por error) y a los nuevos arrendamientos de particiones, independiente del número de arrendamientos de destino, pero respetando los límites máximos de arrendamiento. KCL 3.x ignorará esta configuración y siempre distribuirá los arrendamientos vencidos entre los procesos de trabajo.