Boas-vindas ao Guia do desenvolvedor do Amazon MSK - Amazon Managed Streaming for Apache Kafka
O que é o Amazon MSK?

Boas-vindas ao Guia do desenvolvedor do Amazon MSK

Receba as boas-vindas ao Guia do desenvolvedor do Amazon Managed Streaming for Apache Kafka. Os tópicos a seguir podem ajudar você a começar a usar este guia com base no que você estiver tentando fazer.

Para os destaques, detalhes do produto e preços, consulte a página de serviços do Amazon MSK.

O que é o Amazon MSK?

O Amazon Managed Streaming for Apache Kafka (Amazon MSK) é um serviço totalmente gerenciado que o habilita a criar e executar aplicações que usam o Apache Kafka para processar dados de transmissões. O Amazon MSK fornece as operações do ambiente de gerenciamento, como as operações para criar, atualizar e excluir clusters. Ele permite usar operações do plano de dados do Apache Kafka, como aqueles para produzir e consumir dados. Ele executa versões de código aberto do Apache Kafka. Isso significa que aplicativos, ferramentas e plug-ins existentes de parceiros e da comunidade Apache Kafka são compatíveis sem a necessidade de fazer alterações no código do aplicativo. É possível usar o Amazon MSK para criar clusters com qualquer uma das versões do Apache Kafka listadas em Versões compatíveis do Apache Kafka.

Estes componentes descrevem a arquitetura do Amazon MSK:

  • Nós de agente: ao criar um cluster do Amazon MSK, especifique quantos nós de agente você deseja que o Amazon MSK crie em cada Zona de disponibilidade. O mínimo é de um agente por zona de disponibilidade. Cada zona de disponibilidade tem sua própria sub-rede de nuvem privada virtual (VPC).

    O Amazon MSK Provisioned oferece dois tipos de agentes: Agentes do Amazon MSK Standard e Agentes Express do Amazon MSK. No MSK Serverless, o MSK gerencia os nós de agentes usados para lidar com seu tráfego e você só provisiona os recursos do servidor Kafka em nível de cluster.

  • Nós do ZooKeeper: o Amazon MSK também cria os nós do Apache ZooKeeper para você. O Apache ZooKeeper é um servidor de código aberto que permite uma coordenação distribuída altamente confiável.

  • Controladores KRaft: a comunidade Apache Kafka desenvolveu o KRaft para substituir o Apache ZooKeeper no gerenciamento de metadados em clusters do Apache Kafka. No modo KRaft, os metadados do cluster são propagados em um grupo de controladores do Kafka, que fazem parte do cluster do Kafka, em vez de nos nós do ZooKeeper. Os controladores KRaft estão incluídos sem custo adicional e não exigem configuração ou gerenciamento adicionais de sua parte.

  • Produtores, consumidores e criadores de tópicos: o Amazon MSK permite que você use operações do plano de dados do Apache Kafka para criar tópicos, além de produzir e consumir dados.

  • Operações de cluster: é possível usar o Console de gerenciamento da AWS, a AWS Command Line Interface (AWS CLI) ou as APIs no SDK para executar operações do ambiente de gerenciamento. Por exemplo, você pode criar ou excluir um cluster do Amazon MSK, listar todos os clusters em uma conta, visualizar as propriedades de um cluster e atualizar o número e o tipo de agentes em um cluster.

O Amazon MSK detecta e se recupera automaticamente dos cenários de falha mais comuns para clusters, permitindo que as aplicações produtoras e consumidoras possam continuar suas operações de gravação e leitura com o menor impacto. Quando o Amazon MSK detecta uma falha de agente, ele mitiga a falha ou substitui o agente não íntegro ou inacessível por um novo. Além disso, sempre que possível, ele reutiliza o armazenamento do agente mais antigo para reduzir os dados que o Apache Kafka precisa replicar. Seu impacto na disponibilidade é limitado ao tempo necessário para o Amazon MSK concluir a detecção e a recuperação. Após uma recuperação, os aplicativos de produtor e consumidor podem continuar se comunicando com os mesmos endereços IP do agente usados antes da falha.