As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Gerenciar o throughput do armazenamento para agentes Standard em um cluster do Amazon MSK

Para obter informações sobre como provisionar o throughput usando o console, a CLI e a API do Amazon MSK, consulte Provisionar o throughput do armazenamento para agentes Standard em um cluster do Amazon MSK.

Configurações de throughput máximo e gargalos de throughput de agentes do Amazon MSK

Há várias causas de gargalos no throughput do agente: throughput de volume, throughput de rede do Amazon EC2 para o Amazon EBS e throughput de saída do Amazon EC2. Você pode ativar o throughput do armazenamento provisionado para ajustar o throughput do volume. No entanto, as limitações de throughput do agente podem ser causadas pelo throughput de rede do Amazon EC2 para o Amazon EBS e pelo throughput de saída do Amazon EC2.

O throughput de saída do Amazon EC2 é afetado pelo número de grupos de consumidores e consumidores por grupo de consumidores. Além disso, tanto o throughput de rede do Amazon EC2 para o Amazon EBS quanto o throughput de saída do Amazon EC2 são maiores para tamanhos maiores de agentes.

Para volumes com tamanhos de 10 GiB ou mais, você pode provisionar um throughput de armazenamento de 250 MiB por segundo ou mais. O valor de 250 MiB por segundo é o padrão. Para provisionar o throughput de armazenamento, você deve escolher o tamanho de agente kafka.m5.4xlarge ou maior (ou kafka.m7g.2xlarge ou maior), e você pode especificar o throughput máximo conforme apresentado na tabela a seguir.

Avalie o throughput de armazenamento de um cluster do Amazon MSK

Você pode usar as métricas VolumeReadBytes e VolumeWriteBytes para medir o throughput médio de armazenamento de um cluster. A soma dessas duas métricas fornece o throughput médio de armazenamento em bytes. Para obter o throughput médio de armazenamento de um cluster, defina essas duas métricas como SUM e o período como 1 minuto e então aplique a fórmula a seguir.

Average storage throughput in MiB/s = (Sum(VolumeReadBytes) + Sum(VolumeWriteBytes)) / (60 * 1024 * 1024)

Para obter mais informações sobre as métricas VolumeReadBytes e VolumeWriteBytes, consulte Monitoramento no nível PER_BROKER.

Valores de atualização de configuração para armazenamento provisionado em um cluster do Amazon MSK

Você pode atualizar sua configuração do Amazon MSK antes ou depois de ativar o throughput provisionado. No entanto, você não verá o throughput desejado até realizar estas duas ações: atualizar o parâmetro de configuração num.replica.fetchers e ativar o throughput provisionado.

Na configuração padrão do Amazon MSK, num.replica.fetchers tem um valor de 2. Para atualizar seu num.replica.fetchers, você pode usar os valores sugeridos na tabela a seguir. Estes valores são para fins de orientação. Recomendamos ajustar os valores com base no seu caso de uso.

Sua configuração atualizada pode não entrar em vigor por até 24 horas e isso pode levar mais tempo quando um volume de origem não for totalmente utilizado. No entanto, o desempenho do volume de transição é, no mínimo, igual ao desempenho dos volumes de armazenamento de origem durante o período de migração. Um volume de 1 TiB totalmente utilizado normalmente leva aproximadamente 6 horas para migrar para uma configuração atualizada.