Configurar as origens de eventos do Amazon MSK para o Lambda

Para usar um cluster do Amazon MSK como origem de eventos para a função do Lambda, você cria um mapeamento da origem do evento que conecta os dois recursos. Esta página descreve como criar um mapeamento da origem do evento para o Amazon MSK.

Esta página pressupõe que você já configurou adequadamente o cluster do MSK e a Amazon Virtual Private Cloud (VPC) em que ele reside. Se você precisar configurar o cluster ou a VPC, consulte Configurar o cluster do Amazon MSK e a rede do Amazon VPC para o Lambda.

Usar um cluster do Amazon MSK como uma origem de eventos

Quando você adiciona seu cluster do Apache Kafka ou do Amazon MSK como um gatilho para a função do Lambda, o cluster é usado como uma origem de eventos.

O Lambda lê os dados de eventos dos tópicos do Kafka que você especifica como Topics em uma solicitação de CreateEventSourceMapping com base na posição inicial especificada. Após o processamento bem-sucedido, seu tópico do Kafka é confirmado no cluster do Kafka.

O Lambda lê as mensagens sequencialmente para cada partição de tópico do Kafka. Uma única carga do Lambda pode conter mensagens de várias partições. Quando mais registros ficam disponíveis, o Lambda continua processando os registros em lotes, com base no valor de BatchSize especificado na solicitação de CreateEventSourceMapping, até a função estar atualizada com o tópico.

Depois que o Lambda processa cada lote, ele confirma os deslocamentos das mensagens nesse lote. Se sua função retorna um erro para qualquer uma das mensagens em um lote, o Lambda tenta novamente todo o lote de mensagens até que o processamento seja bem-sucedido ou as mensagens expiram. É possível enviar registros que apresentaram falha em todas as tentativas a um destino em caso de falha para processamento posterior.