Rebalanceamento em estado estável para clusters Amazon MSK - Amazon Managed Streaming for Apache Kafka

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Rebalanceamento em estado estável para clusters Amazon MSK

O rebalanceamento em estado estacionário faz parte do recurso de rebalanceamento inteligente, que é ativado por padrão para todos os novos clusters provisionados pela MSK com corretores Express. Conforme você aumenta ou diminui a escala de seus clusters, o Amazon MSK gerencia automaticamente o gerenciamento de partições distribuindo partições para novos agentes e movendo partições de corretores que devem ser removidos. Para garantir a distribuição ideal da carga de trabalho entre os corretores, o rebalanceamento inteligente usa as melhores práticas do Amazon MSK para determinar limites para iniciar automaticamente o rebalanceamento de seus corretores.

Você pode pausar e retomar o reequilíbrio em estado estacionário quando necessário. O rebalanceamento em estado estável monitora continuamente seu cluster e faz o seguinte:

  • Monitora o uso de recursos do corretor (CPU, rede, armazenamento).

  • Ajusta o posicionamento da partição automaticamente sem nenhum impacto na disponibilidade dos dados.

  • Conclui as operações de rebalanceamento até 180 vezes mais rápido para corretores Express em comparação com corretores Standard.

  • Mantém o desempenho do cluster.

Tópicos
    Pause and resume steady state rebalancing in Console de gerenciamento da AWS

    1. Abra o console Amazon MSK em https://console.aws.amazon.com/msk/casa? region=us-east-1#/home/.

    2. Na página Clusters, escolha um cluster baseado no Express. Para obter informações sobre a criação de um cluster provisionado baseado no Express, consulte. Etapa 1: criar um cluster do MSK Provisioned

    3. Na página de detalhes do cluster, verifique se o status do rebalanceamento inteligente é Ativo. Se o rebalanceamento inteligente não estiver disponível ou o status for Pausado, crie um novo cluster baseado no Express.

    4. Na lista suspensa Ações, escolha Editar rebalanceamento inteligente.

    5. Na página Editar rebalanceamento inteligente, faça o seguinte:

      1. Escolha Pausado.

      2. Escolha Salvar alterações.

    Pause and resume steady state rebalancing using AWS CLI

    Para definir o status de rebalanceamento de um cluster para ACTIVE usar o AWS CLI, use o comando update-rebalancing, conforme mostrado no exemplo a seguir. Nesse comando, especifique o status com o rebalancing parâmetro.

    aws msk update-rebalancing --cluster-arn arn:aws:kafka:us-east-1:123456789012:cluster/myCluster/abcd1234-5678-90ef-ghij-klmnopqrstuv-1 --current-version ABCDEF1GHIJK0L --rebalancing "{\"Rebalancing\":{\"Status\":\"ACTIVE\"}}"
    Pause and resume steady state rebalancing using AWS SDK

    Você também pode definir o status de rebalanceamento de um cluster usando a UpdateRebalancingRequestAPI para modificar programaticamente a contagem de agentes. Os exemplos a seguir mostram como definir o status de rebalanceamento como e. ACTIVE PAUSED

    final UpdateRebalancingRequest updateRebalancingRequest = new UpdateRebalancingRequest()
    .withClusterArn(arn:aws:kafka:us-east-1:123456789012:cluster/myCluster/abcd1234-5678-90ef-ghij-klmnopqrstuv-1)
    .withCurrentVersion(ABCDEF1GHIJK0L)
    .withRebalancing(new Rebalancing().withStatus("ACTIVE"));
    final UpdateRebalancingRequest updateRebalancingRequest = new UpdateRebalancingRequest()
    .withClusterArn(arn:aws:kafka:us-east-1:123456789012:cluster/myCluster/abcd1234-5678-90ef-ghij-klmnopqrstuv-1)
    .withCurrentVersion(ABCDEF1GHIJK0L)
    .withRebalancing(new Rebalancing().withStatus("PAUSED"));