Usar o Lambda com o Apache Kafka - AWS Lambda

Usar o Lambda com o Apache Kafka

O Lambda suportaApache Kafkacomo umOrigem do evento. O Apache Kafka é uma plataforma de streaming de eventos de código aberto, desenvolvida para processar pipelines de dados e aplicações de streaming de alto throughput em tempo real. Há duas maneiras principais de usar o Lambda com o Apache Kafka:

  • Usar o Lambda com o Amazon MSK: o Amazon Managed Streaming for Apache Kafka (Amazon MSK) é um serviço totalmente gerenciado pela AWS. O Amazon MSK ajuda a automatizar o gerenciamento da infraestrutura do Kafka, incluindo provisionamento, aplicação de patches e escalação.

  • Usar o Lambda com o Apache Kafka autogerenciado: na terminologia da AWS, um cluster autogerenciado inclui os clusters do Kafka não hospedados pela AWS. Por exemplo, ainda é possível usar o Lambda com um cluster do Kafka hospedado em um provedor de nuvem que não seja a AWS, como o Confluent Cloud ou o Redpanda.

Ao decidir entre o Amazon MSK e o Apache Kafka autogerenciado, considere as necessidades operacionais e os requisitos de controle. O Amazon MSK será a melhor opção se quiser que a AWS ajude você a gerenciar rapidamente uma configuração do Kafka escalável e pronta para produção com o mínimo de sobrecarga operacional. Ele simplifica a segurança, o monitoramento e a alta disponibilidade, ajudando você a se concentrar no desenvolvimento de aplicações, e não no gerenciamento da infraestrutura. Por outro lado, o Apache Kafka autogerenciado é mais adequado para casos de uso executados em ambientes não hospedados pela AWS, incluindo clusters on-premises.

Tópicos