Configurazione di origini eventi Apache Kafka autogestito per Lambda

Per utilizzare un cluster Apache Kafka autogestito come origine eventi per la funzione Lambda, è necessario creare una mappatura dell'origine eventi che collega le due risorse. Questa pagina descrive come creare una mappatura dell'origine eventi per Apache Kafka autogestito.

Questa pagina presuppone che tu abbia già configurato correttamente il tuo cluster Kafka e la rete in cui risiede. Se è necessario configurare il cluster o la rete, consultaConfigurazione del cluster e della rete Apache Kafka autogestiti per Lambda.

Lambda ora supporta un cluster Apache Kafka autogestito come origine eventi.

Quando aggiungi il cluster Apache Kafka o Amazon MSK come trigger per la funzione Lambda, il cluster viene utilizzato come origine eventi.

Lambda legge i dati dell'evento dagli argomenti Kafka specificati come Topics in una richiesta CreateEventSourceMapping, in base al specificato. Dopo che l'elaborazione è avvenuta con successo, l'argomento Kafka viene salvato nel cluster Kafka.

Lambda legge i messaggi in sequenza per ogni partizione dell'argomento Kafka. Un singolo payload Lambda può contenere messaggi provenienti da più partizioni. Quando sono disponibili più registri, Lambda continua a elaborare i registri in batch, in base al valore specificato in una richiesta CreateEventSourceMapping fino a quando la funzione non raggiunge l'argomento.

Dopo che Lambda ha elaborato ogni batch, esegue il commit degli offset dei messaggi in quel batch. Se la funzione restituisce un errore per uno qualsiasi dei messaggi di un batch, Lambda ritenta l'intero batch di messaggi fino a quando l'elaborazione non riesce o i messaggi scadono. È possibile inviare i record per i quali tutti i nuovi tentativi falliscono a una destinazione in errore per un'elaborazione successiva.