Configuración de orígenes de eventos de Amazon MSK para Lambda

Para usar un clúster de Amazon MSK como origen de eventos para su función de Lambda, cree una asignación de orígenes de eventos que conecte los dos recursos. Esta página describe cómo crear una asignación de orígenes de eventos para Amazon MSK.

Esta página asume que ya ha configurado correctamente su clúster de MSK y la Amazon Virtual Private Cloud (VPC) en la que reside. Si necesita configurar el clúster o la VPC, consulte Configuración del clúster de Amazon MSK y la red de Amazon VPC para Lambda.

Utilizar un clúster de Amazon MSK como origen de eventos

Cuando agrega su clúster de Apache Kafka o Amazon MSK como desencadenador para su función de Lambda, el clúster se utiliza como origen de eventos.

Lambda lee los datos de eventos de los temas de Kafka que especifique como Topics en una solicitud de CreateEventSourceMapping, en función de la posición inicial que especifique. Después de un procesamiento exitoso, su tema de Kafka se compromete a su clúster de Kafka.

Lambda lee los mensajes secuencialmente para cada partición de tema de Kafka. Una sola carga de Lambda puede contener mensajes de varias particiones. Cuando hay más registros disponibles, Lambda continúa procesando registros en lotes, en función del valor de BatchSize que especifique en una solicitud de CreateEventSourceMapping, hasta que la función se ponga al día con el tema.

Después de que Lambda procese cada lote, confirma los desplazamientos de los mensajes en ese lote. Si su función devuelve un error para cualquiera de los mensajes de un lote, Lambda reintenta todo el lote de mensajes hasta que el procesamiento sea correcto o los mensajes caduquen. Puede enviar los registros con error en todos los reintentos a un destino en caso de error para su posterior procesamiento.