As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Versões compatíveis do Apache Kafka

O Amazon Managed Streaming for Apache Kafka (Amazon MSK) é compatível com as seguintes versões do Apache Kafka e do Amazon MSK. A comunidade do Apache Kafka fornece aproximadamente 12 meses de suporte para uma versão após sua data de lançamento. Para obter mais detalhes, consulte a política de EOL (fim da vida útil) do Apache Kafka.

A tabela a seguir lista as versões do Apache Kafka compatíveis com o Amazon MSK.

Para obter mais informações sobre a política de compatibilidade de versão do Amazon EKS, consulte Política de suporte à versão do Amazon MSK.

Amazon MSK versão 4.1.x

Agora o Amazon Managed Streaming for Apache Kafka (Amazon MSK) é compatível com o Apache Kafka versão 4.1, que introduz Filas como um recurso de pré-visualização, um novo protocolo de Rebalanceamento de fluxos em acesso antecipado e Réplicas de Líderes Elegíveis (ELR). Além desses recursos, o Apache Kafka versão 4.1 inclui várias correções de erros e melhorias.

Um dos principais destaques do Kafka 4.1 é a introdução de Filas como um recurso de pré-visualização. Você pode usar vários consumidores para processar mensagens das mesmas partições de tópicos, melhorando o paralelismo e a taxa de transferência de cargas de trabalho que precisam de entrega de mensagens. point-to-point O novo Protocolo de rebalanceamento de fluxos se baseia no protocolo de rebalanceamento do consumidor do Kafka 4.0, estendendo os recursos de coordenação do agente ao Kafka Streams para otimizar a atribuição e o rebalanceamento de tarefas. E agora o ELR está habilitado por padrão para fortalecer a disponibilidade.

Para obter uma lista completa de melhorias e correções de erros, consulte as Notas de lançamento do Apache Kafka para a versão 4.1.

Para começar a usar o Apache Kafka 4.1 no Amazon MSK, escolha a versão 4.1.x ao criar um novo cluster por meio do, ou. Console de gerenciamento da AWS AWS CLI AWS SDKs Você também pode atualizar os clusters existentes provisionados pelo MSK com uma atualização contínua no local. O Amazon MSK orquestra as reinicializações de agentes para manter a disponibilidade e proteger seus dados durante a atualização. O suporte à versão 4.1 do Kafka está disponível em todos os lugares onde o Regiões da AWS Amazon MSK é oferecido.

Amazon MSK versão 4.0.x

Agora o Amazon Managed Streaming for Apache Kafka (Amazon MSK) é compatível com o Apache Kafka versão 4.0. Essa versão traz os mais recentes avanços em gerenciamento e desempenho de clusters para o MSK Provisioned. O Kafka 4.0 introduz um novo protocolo de rebalanceamento do consumidor, agora disponível para o público geral, que ajuda a garantir rebalanceamentos de grupos mais suaves e rápidos. Além disso, o Kafka 4.0 exige que corretores e ferramentas usem o Java 17, fornecendo segurança e desempenho aprimorados, incluindo várias correções de bugs e melhorias e descontinuando o gerenciamento de metadados via Apache. ZooKeeper

Para obter uma lista completa de melhorias e correções de erros, consulte as Notas de lançamento do Apache Kafka para a versão 4.0.

Amazon MSK versão 3.9.x

Agora o Amazon Managed Streaming for Apache Kafka (Amazon MSK) é compatível com o Apache Kafka versão 3.9. Essa versão aprimora a funcionalidade de armazenamento em camadas, permitindo reter dados em camadas ao desativar o armazenamento em camadas no nível do tópico. As aplicações de consumo podem ler dados do histórico a partir do deslocamento remoto de início de logs (Rx – recepção) enquanto mantêm deslocamentos contínuos de logs nos armazenamentos local e remoto.

A versão 3.9 é a última versão a oferecer suporte aos sistemas de gerenciamento de KRaft metadados ZooKeeper e aos sistemas de gerenciamento de metadados. O Amazon MSK fornecerá suporte estendido para a versão 3.9 por no mínimo dois anos a partir da data de lançamento.

Para obter a lista completa de melhorias e correções de erros, consulte as Notas de lançamento do Apache Kafka versão 3.9.x.

Amazon MSK versão 3.8.x (recomendado)

Agora o Amazon Managed Streaming for Apache Kafka (Amazon MSK) é compatível com o Apache Kafka versão 3.8. Agora você pode criar novos clusters usando a versão 3.8 com o KRAFT ou o ZooKeeper modo para gerenciamento de metadados ou atualizar seus clusters ZooKeeper baseados existentes para usar a versão 3.8. O Apache Kafka versão 3.8 também inclui várias correções de erros e novos recursos que melhoram o desempenho. Os principais recursos novos incluem suporte para a configuração do nível de compressão. Assim você pode otimizar ainda mais seu desempenho ao usar tipos de compactação como lz4, zstd e gzip, permitindo a alteração do nível de compactação padrão.

Para obter a lista completa de melhorias e correções de erros, consulte as Notas de lançamento do Apache Kafka versão 3.8.x.

Apache Kafka versão 3.7.x (com armazenamento em camadas pronto para produção)

O Apache Kafka versão 3.7.x no MSK inclui compatibilidade com o Apache Kafka versão 3.7.0. Você pode criar clusters ou atualizar clusters existentes para usar a nova versão 3.7.x. Com essa mudança no nome da versão, você não precisa mais adotar versões mais recentes de correção de patches, como a 3.7.1, quando forem lançadas pela comunidade do Apache Kafka. O Amazon MSK atualizará automaticamente a versão 3.7.x para ser compatível com as futuras versões de patch assim que elas estiverem disponíveis. Isso permite que você se beneficie da segurança e das correções de erros disponíveis nas versões de correção de patches sem acionar uma atualização de versão. Essas versões de correção de patches lançadas pelo Apache Kafka não quebram a compatibilidade de versões e você pode se beneficiar das novas versões de correção de patches sem se preocupar com erros de leitura ou gravação nas aplicações clientes. Certifique-se de que suas ferramentas de automação de infraestrutura, como CloudFormation, estejam atualizadas para considerar essa alteração na nomenclatura da versão.

O Amazon MSK agora oferece suporte ao KRaft modo (Apache Kafka Raft) no Apache Kafka versão 3.7.x. No Amazon MSK, assim como ZooKeeper nos nós, KRaft os controladores são incluídos sem custo adicional para você e não exigem configuração ou gerenciamento adicionais de sua parte. Agora você pode criar clusters em qualquer KRaft modo ou ZooKeeper modo no Apache Kafka versão 3.7.x. No modo KRaft, você pode adicionar até 60 agentes para hospedar mais partições por cluster, sem solicitar um aumento de limite, em comparação com a cota de 30 agentes em clusters baseados no Zookeeper. Para saber mais KRaft sobre o MSK, consulteKRaft modo.

A versão 3.7.x do Apache Kafka também inclui várias correções de erros e novos recursos que melhoram a performance. As principais melhorias incluem otimizações de descoberta de líderes para clientes e opções de otimização de liberação de segmentos de logs. Para obter uma lista completa de melhorias e correções de erros, consulte as notas de lançamento do Apache Kafka para 3.7.0.

Apache Kafka versão 3.6.0 (com armazenamento em camadas pronto para produção)

Para obter informações sobre a versão 3.6.0 (com armazenamento em camadas pronto para produção) do Apache Kafka, consulte as notas de versão no site de downloads do Apache Kafka.

Para fins de estabilidade, o Amazon MSK continuará usando e gerenciando o Zookeeper para gerenciamento de quórum nesta versão.

Amazon MSK versão 3.5.1

O Amazon Managed Streaming for Apache Kafka (Amazon MSK) agora é compatível com a versão 3.5.1 do Apache Kafka para clusters novos e existentes. A versão 3.5.1 do Apache Kafka também inclui várias correções de erros e novos recursos que melhoram a performance. Os principais recursos incluem a introdução de uma nova atribuição de partições com reconhecimento de rack para consumidores. O Amazon MSK continuará a usar e gerenciar o Zookeeper para gerenciamento de quórum nesta versão. Para obter uma lista completa de melhorias e correções de erros, consulte as notas de lançamento do Apache Kafka para 3.5.1.

Para obter informações sobre a versão 3.5.1 do Apache Kafka, consulte as notas de versão no site de downloads do Apache Kafka.

Amazon MSK versão 3.4.0

O Amazon Managed Streaming for Apache Kafka (Amazon MSK) agora é compatível com a versão 3.4.0 do Apache Kafka para clusters novos e existentes. A versão 3.4.0 do Apache Kafka também inclui várias correções de erros e novos recursos que melhoram a performance. Os principais recursos incluem uma correção para melhorar a estabilidade da busca na réplica mais próxima. O Amazon MSK continuará a usar e gerenciar o Zookeeper para gerenciamento de quórum nesta versão. Para obter uma lista completa de melhorias e correções de erros, consulte as notas de lançamento do Apache Kafka para 3.4.0.

Para obter informações sobre a versão 3.4.0 do Apache Kafka, consulte as notas de versão no site de downloads do Apache Kafka.

Amazon MSK versão 3.3.2

O Amazon Managed Streaming for Apache Kafka (Amazon MSK) agora é compatível com a versão 3.3.2 do Apache Kafka para clusters novos e existentes. A versão 3.3.2 do Apache Kafka também inclui várias correções de erros e novos recursos que melhoram a performance. Os principais recursos incluem uma correção para melhorar a estabilidade da busca na réplica mais próxima. O Amazon MSK continuará a usar e gerenciar o Zookeeper para gerenciamento de quórum nesta versão. Para obter uma lista completa de melhorias e correções de erros, consulte as notas de lançamento do Apache Kafka para 3.3.2.

Para obter informações sobre a versão 3.3.2 do Apache Kafka, consulte as notas de versão no site de downloads do Apache Kafka.

Amazon MSK versão 3.3.1

O Amazon Managed Streaming for Apache Kafka (Amazon MSK) agora é compatível com a versão 3.3.1 do Apache Kafka para clusters novos e existentes. A versão 3.3.1 do Apache Kafka também inclui várias correções de erros e novos recursos que melhoram a performance. Alguns dos principais recursos incluem aprimoramentos nas métricas e no particionador. Para fins de estabilidade, o Amazon MSK continuará usando e gerenciando o Zookeeper para gerenciamento de quórum nesta versão. Para obter uma lista completa de melhorias e correções de erros, consulte as notas de lançamento do Apache Kafka para 3.3.1.

Para obter informações sobre a versão 3.3.1 do Apache Kafka, consulte as notas de versão no site de downloads do Apache Kafka.

Amazon MSK versão 3.1.1

O Amazon Managed Streaming for Apache Kafka (Amazon MSK) agora é compatível com a versões 3.1.1 e 3.2.0 do Apache Kafka para clusters novos e existentes. As versões 3.1.1 e 3.2.0 do Apache Kafka também incluem várias correções de erros e novos recursos que melhoram a performance. Alguns dos principais recursos incluem aprimoramentos nas métricas e no uso do tópico. IDs O MSK continuará a usar e gerenciar o Zookeeper para gerenciamento de quórum nesta versão para fins de estabilidade. Para obter uma lista completa de melhorias e correções de erros, consulte as notas de lançamento do Apache Kafka para 3.1.1 e 3.2.0.

Para obter informações sobre as versões 3.1.1 e 3.2.0 do Apache Kafka, consulte as notas de lançamento da versão 3.2.0 e as notas de lançamento da versão 3.1.1 no site de downloads do Apache Kafka.

Armazenamento em camadas do Amazon MSK versão 2.8.2.tiered

Essa versão é uma versão exclusiva do Amazon MSK do Apache Kafka versão 2.8.2, sendo compatível com clientes Apache Kafka de código aberto.

A versão 2.8.2.tiered contém a funcionalidade de armazenamento em camadas que é compatível com a APIs introduzida no KIP-405 para Apache Kafka. Para obter mais informações sobre o recurso de armazenamento em camadas do Amazon MSK, consulte Armazenamento em camadas para agentes Standard.

Apache Kafka versão 2.5.1

A versão 2.5.1 do Apache Kafka inclui várias correções de erros e novos recursos, incluindo criptografia em trânsito para clientes Apache e de administração. ZooKeeper O Amazon MSK fornece ZooKeeper endpoints TLS, que você pode consultar com a operação. DescribeCluster

A saída da DescribeClusteroperação inclui o ZookeeperConnectStringTls nó, que lista os endpoints do TLS zookeeper.

O exemplo a seguir mostra o nó ZookeeperConnectStringTls da resposta para a operação DescribeCluster:

"ZookeeperConnectStringTls": "z-3.awskafkatutorialc.abcd123.c3.kafka.us-east-1.amazonaws.com:2182,z-2.awskafkatutorialc.abcd123.c3.kafka.us-east-1.amazonaws.com:2182,z-1.awskafkatutorialc.abcd123.c3.kafka.us-east-1.amazonaws.com:2182"

Para obter informações sobre o uso da criptografia TLS com o zookeeper, consulte Usando a segurança TLS com o Apache ZooKeeper.

Para obter mais informações sobre a versão 2.5.1 do Apache Kafka, consulte as notas de versão no site de downloads do Apache Kafka.

Correção de bugs do Amazon MSK versão 2.4.1.1

Essa versão é uma versão de correção de bugs do Apache Kafka versão 2.4.1 exclusiva do Amazon MSK. Essa versão de correção de bugs contém uma correção para o KAFKA-9752, um problema raro que faz com que grupos de consumidores façam o rebalanceamento contínuo e permaneçam no estado PreparingRebalance. Esse problema afeta clusters que executam as versões 2.3.1 e 2.4.1. Essa versão contém uma correção produzida pela comunidade que está disponível na versão 2.5.0 do Apache Kafka.

Recomendamos que você use a correção de bugs do MSK versão 2.4.1.1 para novos clusters do Amazon MSK se preferir usar o Apache Kafka 2.4.1. É possível atualizar os clusters existentes que executam o Apache Kafka versão 2.4.1 para essa versão a fim de incorporar essa correção. Para obter informações sobre como atualizar um cluster existente, consulte Atualizar a versão do Apache Kafka.

Para contornar esse problema sem atualizar o cluster para a versão 2.4.1.1, consulte a seção Grupo de consumidores preso no estado PreparingRebalance do guia Solução de problemas para o cluster do Amazon MSK.

Apache Kafka versão 2.4.1 (use 2.4.1.1 alternativamente)

O KIP-392 é uma das principais propostas de melhoria do Kafka incluídas na versão 2.4.1 do Apache Kafka. Essa melhoria permite que os consumidores busquem a partir da réplica mais próxima. Para usar esse recurso, defina client.rack nas propriedades do consumidor como o ID da zona de disponibilidade do consumidor. Um exemplo de ID AZ é use1-az1. O Amazon MSK define broker.rack as zonas IDs de disponibilidade dos corretores. Também é necessário definir a propriedade de configuração replica.selector.class como org.apache.kafka.common.replica.RackAwareReplicaSelector, que é uma implementação de reconhecimento de rack fornecida pelo Apache Kafka.

Quando você usa esta versão do Apache Kafka, as métricas no nível de monitoramento PER_TOPIC_PER_BROKER aparecem somente após os valores se tornarem diferentes de zero pela primeira vez. Para obter mais informações sobre isso, consulte Monitoramento no nível PER_TOPIC_PER_BROKER.

Para obter informações sobre como encontrar a Zona de Disponibilidade IDs, consulte AZ IDs for Your Resource no guia AWS Resource Access Manager do usuário.

Para obter informações sobre como definir propriedades de configuração, consulte Configurações do Amazon MSK Provisioned.

Para obter mais informações sobre o KIP-392, consulte Permitir que os consumidores busquem a partir da réplica mais próxima nas páginas do Confluence.

Para obter mais informações sobre a versão 2.4.1 do Apache Kafka, consulte as notas de release no site de downloads do Apache Kafka.