View a markdown version of this page

Migrar do modo ZooKeeper Kraft - Amazon Managed Streaming for Apache Kafka
Pré-requisitosO que acontece durante a migraçãoMigre usando o AWS CLIDepois da migração

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Migrar do modo ZooKeeper Kraft

Você pode migrar um cluster ZooKeeper-based MSK existente para o modo Kraft usando a API. UpdateClusterKafkaVersion A migração é realizada no local — seu cluster permanece disponível durante todo o processo e nenhum dado é movido. O Amazon MSK provisiona controladores Kraft, migra metadados do cluster para o quórum do Kraft e ZooKeeper descomissiona os nós automaticamente. ZooKeeper

Pré-requisitos

Antes de migrar seu cluster do ZooKeeper modo Kraft, certifique-se do seguinte:

  • Seu cluster está executando a versão 3.9.x Apache Kafka no modo. ZooKeeper Se o cluster estiver em uma versão mais antiga, atualize para a 3.9.x primeira usando o processo de atualização da versão padrão.

  • Seu cluster está no ACTIVE estado sem operações pendentes.

  • Se você usa ferramentas que dependem de ZooKeeper acesso direto (como versões mais antigas do Cruise Control ou ferramentas administrativas personalizadas), atualize-as para usar as APIs do Kafka Admin em vez de conexões diretas. ZooKeeper

  • Para clusters padrão (provisionados): o acesso ZooKeeper do cliente deve estar desativado. Use a UpdateConnectivity API para definir ZookeeperAccess.Enabled=false antes de iniciar a migração. Os clusters expressos não exigem essa etapa.

  • Todos os aplicativos cliente usam a cadeia de --bootstrap-server conexão, não a cadeia de --zookeeper conexão. A cadeia de ZooKeeper conexão não está disponível após a migração.

  • Seu cluster não tem o Acesso Público e o Monitoramento Aberto habilitados simultaneamente.

  • Seu cluster não usa instâncias do kafka.t3.small broker.

  • Seu cluster não usa ouvintes dinâmicos anunciados. Para verificar se a advertised.listeners propriedade foi definida dinamicamente em seus corretores, execute o comando a seguir, onde $bs está a string de conexão do servidor bootstrap do cluster, e certifique-se de que a saída não inclua: advertised.listeners

    bin/kafka-configs.sh --bootstrap-server $bs --entity-type brokers --describe

    Para obter mais informações sobre propriedades definidas dinamicamente, consulteConfiguração dinâmica do Amazon MSK.

O que acontece durante a migração

Quando você inicia uma ZooKeeper-to-KRaft migração, o Amazon MSK executa as seguintes etapas automaticamente:

  1. O Amazon MSK provisiona nós do controlador Kraft em seu cluster. Esses controladores estão incluídos sem custo adicional.

  2. A migração do plano de dados é executada: os corretores são reconfigurados para usar o quórum Kraft para metadados e, ao mesmo tempo, continuar atendendo ao tráfego do cliente.

  3. Depois que todos os corretores estiverem registrados com o quórum do Kraft, o Amazon MSK desativa os nós. ZooKeeper

  4. O modo de gerenciamento de cluster é atualizado para o Kraft.

A migração é uma operação de longa duração que pode levar várias horas, dependendo do tamanho do cluster. Você pode monitorar o status da operação usando a DescribeClusterOperation API.

Importante

A migração não pode ser revertida. Depois que o cluster é migrado para o modo Kraft, você não pode voltar ao ZooKeeper modo.

Migre usando o AWS CLI

  1. Verifique as versões de destino disponíveis para seu cluster:

    aws kafka get-compatible-kafka-versions --cluster-arn ClusterArn

    A saída inclui versões de destino do Kraft (com um .kraft sufixo) se seu cluster estiver qualificado para migração.

  2. Inicie a migração especificando a versão de destino do Kraft:

    aws kafka update-cluster-kafka-version \
    --cluster-arn ClusterArn \
    --current-version Current-Cluster-Version \
    --target-kafka-version "3.9.x.kraft"
    Importante

    As versões de cluster não são inteiros simples. Use a DescribeCluster operação para encontrar a versão atual do seu cluster.

  3. Monitore o progresso da migração:

    aws kafka describe-cluster-operation --cluster-operation-arn ClusterOperationArn

    O estado da operação passa UPDATE_IN_PROGRESS e termina com. UPDATE_COMPLETE

Depois da migração

Depois que a migração for concluída:

  • Seu cluster opera no modo Kraft. Todos os metadados são gerenciados pelos controladores Kraft.

  • ZooKeeper os nós são removidos. A cadeia de ZooKeeper conexão não está mais disponível.

  • Os aplicativos cliente continuarão funcionando sem nenhuma alteração se usarem a cadeia de --bootstrap-server conexão.

  • Você pode visualizar os endpoints do controlador Kraft usando a ListNodes API se precisar deles para monitoramento aberto.