Criar um cluster do Amazon MSK Provisioned usando o Console de gerenciamento da AWS - Amazon Managed Streaming for Apache Kafka

Criar um cluster do Amazon MSK Provisioned usando o Console de gerenciamento da AWS

Este processo descreve a tarefa comum de criar um cluster do Amazon MSK Provisioned usando a opção Criação personalizada no Console de gerenciamento da AWS. Usando outras opções disponíveis no Console de gerenciamento da AWS, você também pode criar o seguinte:

Procedimentos neste tópico

  1. Abra o console do Amazon MSK em https://console.aws.amazon.com/msk/.

  2. Selecione Create cluster (Criar cluster).

  3. Em Método de criação de cluster, escolha Criação personalizada.

  4. Especifique um Nome de cluster que seja exclusivo e com um máximo de 64 caracteres.

  5. Em Tipo de cluster, escolha Provisionado.

  6. Para a versão Apache Kafka, escolha uma versão para executar nos agentes. Para ver uma comparação dos recursos do Amazon MSK compatíveis com cada versão do Apache Kafka, escolha Exibir compatibilidade da versão.

  7. Na seção Agentes, faça o seguinte:

    1. Em Tipo de agente, escolha uma das seguintes opções:

      • Agentes Express: agentes escaláveis e de alto desempenho com armazenamento virtual totalmente gerenciado. Escolha esse tipo de agente para aplicações exigentes e de alto throughput.

      • Agentes Standard: agente Kafka tradicional com controle total de configuração. Escolha esse tipo de agente para workloads de uso geral com requisitos moderados de throughput.

      Para obter mais informações sobre tipos de agentes, consulte Tipos de agentes do Amazon MSK.

    2. Selecione um Tamanho de agente para usar no cluster com base nas necessidades de computação, memória e armazenamento do cluster.

    3. Em Número de zonas, escolha o número de Zonas de disponibilidade da AWS pelas quais os agentes serão distribuídos.

      Os agentes Express exigem três Zonas de disponibilidade para proporcionar maior disponibilidade.

    4. Especifique a quantidade de Agentes por zona que você deseja que o Amazon MSK crie em cada zona de disponibilidade. O mínimo é de um agente por zona de disponibilidade, e o máximo é de 30 agentes por cluster para clusters baseados no ZooKeeper e 60 agentes por cluster para clusters baseados no KRaft.

Este procedimento descreve como você pode configurar suas necessidades de armazenamento de dados em todos os agentes e especificar o modo de armazenamento. Ajuda a definir os requisitos de armazenamento de dados com base nas necessidades das suas workloads. Esse procedimento também descreve as configurações do cluster que controlam a forma como seus agentes operam. Incluem as configurações do agente, de tópicos padrão e política de armazenamento em camadas.

  1. Se você selecionou o tipo de agente como Standard, faça o seguinte na seção Armazenamento:

    1. Selecione a quantidade inicial de Armazenamento que você deseja que o cluster tenha. Não é possível diminuir a capacidade de armazenamento depois de criar o cluster.

    2. Dependendo do tamanho do agente (tamanho da instância) selecionado, você pode especificar o throughput de armazenamento provisionado por agente. Essa opção permite que você aloque desempenho de entrada e saída (E/S) para os volumes do Amazon EBS de cada agente.

      Para habilitar essa opção, escolha o tamanho do agente (tamanho da instância) kafka.m5.4xlarge ou maior para x86 e kafka.m7g.2xlarge ou maior para instâncias baseadas no Graviton. Em seguida, marque a caixa de seleção Habilitar throughput de armazenamento provisionado. Ao marcar essa caixa de seleção, você pode definir manualmente um mínimo de 250 MiB por segundo de throughput. É útil para workloads ou aplicações com uso intenso de E/S que exigem desempenho de armazenamento previsível e de alta velocidade. Para obter mais informações, consulte Provisionar o throughput do armazenamento para agentes Standard em um cluster do Amazon MSK.

    3. No Modo de armazenamento em cluster, especifique como os dados serão armazenados e gerenciados em seu cluster. Essa opção determina o tipo e a configuração do armazenamento usado por seus agentes. Escolha uma das seguintes opções:

      • Somente armazenamento do EBS Armazena todos os dados de tópicos no local em volumes do Amazon Elastic Block Store (Amazon EBS) anexados a cada agente. Escolha esse modo caso necessite de desempenho consistente e acesso rápido às mensagens recentes.

      • Armazenamento em camadas e armazenamento EBS: combina dados locais do Amazon EBS com armazenamento remoto e econômico para grandes conjuntos de dados no Amazon S3. Esse modo reduz os custos de armazenamento do Amazon EBS, suporta maior retenção de dados e escala automaticamente o armazenamento sem intervenção manual. Escolha esse modo quando quiser reter dados por períodos mais longos com um custo menor ou se espera que suas necessidades de armazenamento aumentem significativamente.

    nota

    Você não precisa gerenciar o armazenamento para agentes Express.

  2. Para a Configuração do cluster, especifique uma das seguintes opções para definir o comportamento do seu cluster:

    • Configuração padrão do Amazon MSK: contém um conjunto predefinido de configurações otimizadas para casos de uso geral. Escolha essa opção para agilizar a configuração e implantação do cluster. Para obter informações sobre configurações do Amazon MSK, consulte Configurações do Amazon MSK Provisioned.

    • Configuração personalizada: permite que você especifique suas próprias configurações de agente e tópico. Você poderá escolher uma configuração personalizada existente na lista ou poderá criar uma. Escolha essa opção para obter um controle aprimorado de seus agentes, como ajuste específico de desempenho, configurações de segurança e muito mais.

  3. Escolha Próximo para continuar.

A configuração de rede define como seu cluster é implantado em sua infraestrutura da AWS. Inclui VPC, zonas de disponibilidade e sub-redes e grupos de segurança que controlam a rede, a disponibilidade e o acesso.

  1. Em Rede, faça o seguinte:

    1. Escolha a VPC que você deseja usar para o cluster.

    2. Com base no número de zonas de disponibilidade que você selecionou anteriormente, especifique as zonas de disponibilidade e sub-redes nas quais os agentes serão implantados.

      Para agentes Standard na região Oeste dos EUA (N. da Califórnia), é necessário ter duas sub-redes em duas zonas de disponibilidade diferentes. Em todas as outras regiões que disponibilizam o Amazon MSK, é possível especificar duas ou três sub-redes. As suas sub-redes devem estar em diferentes zonas de disponibilidade.

      Para agentes Express, você precisará de três sub-redes em três Zonas de disponibilidade diferentes.

      Quando você cria um cluster do MSK Provisioned, o MSK distribui os nós de agentes uniformemente pelas sub-redes especificadas.

    3. Para Grupos de segurança no Amazon EC2, escolha ou crie um ou mais grupos de segurança para os quais você deseja conceder acesso ao cluster. Os grupos de segurança do Amazon EC2 controlam o tráfego de entrada e de saída para os seus agentes. Por exemplo, os grupos de segurança das máquinas clientes.

      Se especificar grupos de segurança que foram compartilhados com você, deverá garantir que tenha as permissões para usá-los. Especificamente, você precisa da permissão ec2:DescribeSecurityGroups. Para obter mais informações, consulte Como se conectar a um cluster do MSK.

  2. Escolha Próximo para continuar.

  1. Na seção Configurações de segurança, faça o seguinte:

    1. Escolha um ou mais dos seguintes métodos de autenticação e autorização para controlar o acesso do cliente aos seus clusters do Kafka:

      • Acesso não autenticado: permite que os clientes acessem o cluster sem fornecer nenhuma credencial de autenticação. Esse método é um risco de segurança e pode não estar em conformidade com as melhores práticas de segurança. Para obter mais informações, consulte msk-unrestricted-access-check.

      • Autenticação baseada em perfis do IAM: permite a autenticação e autorização do cliente usando usuários/perfis do AWS IAM. Esse método fornece controle refinado sobre o acesso ao cluster por meio de políticas do IAM. Recomendamos esse método para aplicações que já estejam em execução na AWS.

      • Autenticação SASL/SCRAM: exige que os clientes forneçam credenciais como nome de usuário e senha armazenadas no AWS Secrets Manager para autenticação. O Amazon MSK recupera essas credenciais do Secrets Manager e autentica os usuários com segurança.

        Para configurar as credenciais de acesso relacionadas à autenticação para um cluster, primeiro crie um recurso de Segredo no Secrets Manager. Em seguida, associe as credenciais de login a esse segredo. Obtenha mais informações sobre esse método de controle do acesso em Configurar a autenticação SASL/SCRAM para um cluster do Amazon MSK.

      • Autenticação de cliente TLS por meio de AWS Certificate Manager (ACM): permite a autenticação mútua entre clientes e agentes usando certificados digitais. Você deve configurar um Autoridade de Certificação Privada da AWS (CA Privada da AWS) igual ou diferente à Conta da AWS do seu cluster.

        É altamente recomendável usar CA Privada da AWSs independentes para cada cluster MSK ao implementar mTLS. Dessa forma, haverá a garantia de que os certificados TLS assinados por PCAs serão autenticados somente em um cluster do MSK, mantendo um controle de acesso rígido.

  2. Em Criptografia, escolha o tipo de chave do KMS que deseja usar para criptografar dados em repouso. Para obter mais informações, consulte Criptografia do Amazon MSK em repouso.

    A criptografia de dados em repouso protege a integridade dos dados armazenados, enquanto a criptografia em trânsito protege a confidencialidade dos dados do monitoramento da rede durante a transferência.

  3. Escolha Próximo para continuar.

Este procedimento descreve como configurar suas métricas de agente e como coletar e entregar logs do agente. Com essas configurações, você pode observar e analisar a integridade, o desempenho do seu cluster, além de solucionar problemas. Para obter mais informações, consulte Monitorar um cluster do Amazon MSK Provisioned.

  1. Em Métricas do Amazon CloudWatch para esse cluster, escolha um dos seguintes níveis de monitoramento. As métricas coletadas em cada nível de monitoramento são integradas ao CloudWatch para proporcionar visualização e geração de alertas.

    1. Monitoramento básico: fornece um conjunto de métricas essenciais em nível de cluster sem custo adicional. Esse nível é bom para a maioria dos casos de uso com necessidades gerais de monitoramento.

    2. Monitoramento aprimorado em nível de agente: fornece métricas detalhadas do agente por um custo adicional. Esse nível inclui monitoramento básico e métricas mais detalhadas do agente, como métricas de armazenamento em camadas, bytes de entrada/saída de outros agentes e tempo total das operações de leitura/gravação. Você pagará pelas métricas desse nível, enquanto as métricas do nível básico continuam sendo gratuitas.

    3. Monitoramento aprimorado em nível de tópico: fornece métricas para tópicos individuais por um custo adicional. Escolha esse nível para obter uma visualização mais detalhada do desempenho do tópico entre os agentes. Esse nível inclui monitoramento aprimorado em nível de agente e métricas em nível de tópico, como métricas de armazenamento em camadas para um tópico específico e o número de mensagens recebidas por segundo.

    4. Monitoramento aprimorado em nível de partição: fornece a visão mais granular das métricas por partição por um custo adicional. Escolha esse nível para obter o monitoramento mais detalhado capturando métricas para cada partição dentro de cada tópico entre os agentes. Esse nível inclui monitoramento aprimorado em nível de tópico e métricas específicas de partições detalhadas, como métricas de compensação de atraso.

    Para obter mais informações sobre as métricas disponíveis para os agentes Standard e Express em cada um dos níveis de monitoramento, consulte Métricas do CloudWatch para agentes Standard e Métricas do CloudWatch para agentes Express.

  2. (Opcional) Se você quiser exportar métricas no formato Prometheus usando o JMX Exporter, o Node Exporter ou ambos, escolha Habilitar monitoramento aberto com o Prometheus. Para obter mais informações sobre essa opção, consulte Monitore com o Prometheus.

  3. (Opcional) Para configurar seu cluster do MSK para fornecer logs de agentes a vários Serviços da AWS para solucionar problemas e auditoria, escolha uma ou mais das opções a seguir. O Amazon MSK não cria esses recursos de destino para você se eles ainda não existirem. Para obter mais informações, consulte Logs do agente.

    • Entregar ao Amazon CloudWatch Logs: envia os logs para o CloudWatch com recursos de agrupamento em clusters, pesquisa e visualização. Você pode consultar e analisar logs sem sair do Console de gerenciamento da AWS.

    • Entregar ao Amazon S3: armazene logs como arquivos em buckets do Amazon S3 para arquivamento de longo prazo e análise em lote.

    • Entregar ao Amazon Data Firehose: envie logs ao Firehose para entrega automática ao Amazon OpenSearch Service a fim de solucionar problemas em tempo real.

  4. (Opcional) Para ajudar a identificar, organizar ou pesquisar o cluster, escolha Adicionar nova tag para adicionar tags como pares de chave-valor. Por exemplo, adicione uma tag ao seu cluster com o par de valores-chave Load testing e Test.

    Para obter mais informações sobre como usar tags em seu cluster, consulte Marcar um cluster do Amazon MSK.

  5. Escolha Próximo para continuar.

  1. Revise as configurações do cluster.

    Escolha Editar ou Anterior para alterar qualquer uma das configurações que você especificou anteriormente ou voltar para a tela anterior do console.

  2. Selecione Criar cluster.

  3. Verifique o status desse cluster na seção Resumo do cluster da página Detalhes do cluster. O status muda de Criando para Ativo conforme o Amazon MSK provisiona o cluster. Quando o status estiver Ativo, você poderá se conectar ao cluster. Para obter mais informações sobre status de cluster, consulte Entenda os estados do cluster do MSK Provisioned.