Crie um cluster provisionado pelo MSK usando o AWS Management Console

Abra o console do Amazon MSK em https://console.aws.amazon.com/msk/.

Selecione Criar cluster.

Em Método de criação de cluster, escolha Criação personalizada.

Em Nome do cluster, especifique um nome que seja exclusivo e contenha no máximo 64 caracteres.

Em Tipo de cluster, escolha Provisionado.

Para a versão Apache Kafka, escolha uma versão para ser executada nos corretores. Para ver uma comparação dos recursos do Amazon MSK que são compatíveis com cada versão do Apache Kafka, escolha Exibir compatibilidade de versão.

Na seção Corretores, faça o seguinte:

1. Para o tipo de corretor, escolha uma das seguintes opções:

   • Corretores expressos: corretores escaláveis e de alto desempenho com armazenamento virtual totalmente gerenciado. Escolha esse tipo de corretor para aplicativos exigentes e de alto rendimento.

   • Corretores padrão: corretor Kafka tradicional com controle total de configuração. Escolha esse tipo de agente para cargas de trabalho de uso geral com requisitos moderados de taxa de transferência.

   Para obter mais informações sobre esses tipos de corretores, consulteTipos de corretores Amazon MSK.

2. Para o tamanho do Broker, escolha um tamanho a ser usado para o cluster com base nas necessidades de computação, memória e armazenamento do cluster.

3. Em Número de zonas, escolha o número de corretores Zonas de disponibilidade da AWSnos quais os corretores são distribuídos.

   Os corretores expressos exigem três zonas de disponibilidade para maior disponibilidade.

4. Para corretores por zona, especifique o número de corretores que você deseja que o Amazon MSK crie em cada zona de disponibilidade. O mínimo é um agente por zona de disponibilidade e o máximo é 30 agentes por cluster para clusters ZooKeeper baseados e 60 corretores por cluster para clusters KRaftbaseados.

Se você selecionou o tipo de corretor como Padrão, faça o seguinte na seção Armazenamento:

1. Em Armazenamento, escolha a quantidade inicial de armazenamento que você deseja que seu cluster tenha. Não é possível diminuir a capacidade de armazenamento depois de criar o cluster.

2. (Opcional) Dependendo do tamanho do agente (tamanho da instância) selecionado, você também pode especificar a taxa de transferência de armazenamento provisionado por agente. Essa opção permite que você aloque desempenho dedicado de entrada e saída (E/S) para os volumes do Amazon EBS de cada agente.

   Para habilitar essa opção, escolha o tamanho do agente (tamanho da instância) kafka.m5.4xlarge ou maior para x86 e kafka.m7g.2xlarge ou maior para instâncias baseadas no Graviton. Em seguida, escolha a caixa de seleção Habilitar taxa de transferência de armazenamento provisionado. Ao marcar essa caixa de seleção, você pode definir manualmente um mínimo de 250 MiB por segundo de taxa de transferência. Isso é útil para cargas de trabalho com uso intenso de E/S ou aplicativos que exigem desempenho de armazenamento previsível e de alta velocidade. Para obter mais informações, consulte Provisione a taxa de transferência de armazenamento para corretores padrão em um cluster Amazon MSK.

3. Para o modo de armazenamento em cluster, especifique como os dados são armazenados e gerenciados em seu cluster. Essa opção determina o tipo e a configuração do armazenamento usado por seus corretores. Escolha uma das seguintes opções:

   • Somente armazenamento do EBS: armazena todos os dados de tópicos localmente nos volumes do Amazon Elastic Block Store (Amazon EBS) anexados a cada corretor. Escolha esse modo para necessidades de desempenho consistentes e acesso rápido às mensagens recentes.

   • Armazenamento hierárquico e armazenamento EBS: combina dados locais do Amazon EBS com armazenamento remoto e econômico para grandes conjuntos de dados no Amazon S3. Esse modo reduz os custos de armazenamento do Amazon EBS, suporta maior retenção de dados e escala o armazenamento automaticamente sem intervenção manual. Escolha esse modo quando quiser reter dados por períodos mais longos a um custo menor ou esperar que suas necessidades de armazenamento aumentem significativamente.

Para a configuração do cluster, especifique uma das seguintes opções para definir o comportamento do seu cluster:

Escolha Próximo para continuar.

Para redes, faça o seguinte:

1. Escolha a VPC que você deseja usar para o cluster.

2. Com base no número de zonas de disponibilidade que você selecionou anteriormente, especifique as zonas de disponibilidade e as sub-redes nas quais os corretores serão implantados.

   Para corretores padrão na região Oeste dos EUA (Norte da Califórnia), você precisa de duas sub-redes em duas zonas de disponibilidade diferentes. Em todas as outras regiões que disponibilizam o Amazon MSK, é possível especificar duas ou três sub-redes. As suas sub-redes devem estar em diferentes zonas de disponibilidade.

   Para corretores Express, você precisa de três sub-redes em três zonas de disponibilidade diferentes.

   Quando você cria um cluster provisionado pelo MSK, o MSK distribui os nós do broker uniformemente pelas sub-redes que você especifica.

3. Para grupos de segurança na Amazon EC2, escolha ou crie um ou mais grupos de segurança aos quais você deseja dar acesso ao seu cluster. Esses grupos EC2 de segurança da Amazon controlam o tráfego de entrada e saída para seus corretores. Por exemplo, os grupos de segurança das máquinas clientes.

   Se especificar grupos de segurança que foram compartilhados com você, deverá garantir que tenha as permissões para usá-los. Especificamente, você precisa da permissão ec2:DescribeSecurityGroups. Para obter mais informações, consulte Conectando-se a um cluster MSK.

Escolha Próximo para continuar.

Na seção Configurações de segurança, faça o seguinte:

1. Escolha um ou mais dos seguintes métodos de autenticação e autorização para controlar o acesso do cliente aos seus clusters do Kafka:

   • Acesso não autenticado: permite que os clientes acessem o cluster sem fornecer nenhuma credencial de autenticação. Esse método é um risco de segurança e pode não estar em conformidade com as melhores práticas de segurança. Para obter mais informações, consulte msk-unrestricted-access-check.

   • Autenticação baseada em funções do IAM: permite a autenticação e autorização do cliente usando usuários/funções AWS do IAM. Esse método fornece controle refinado sobre o acesso ao cluster por meio de políticas do IAM. Recomendamos esse método para aplicativos que já estão sendo executados em AWS.

   • Autenticação SASL/SCRAM: exige que os clientes forneçam credenciais de nome de usuário e senha armazenadas para autenticação. AWS Secrets Manager O Amazon MSK recupera essas credenciais do Secrets Manager e autentica os usuários com segurança.

     Para configurar as credenciais de login relacionadas à autenticação de um cluster, primeiro crie um recurso secreto no Secrets Manager. Em seguida, associe as credenciais de login a esse segredo. Para obter mais informações sobre esse método de controle de acesso, consulteConfigurar a SASL/SCRAM autenticação para um cluster Amazon MSK.

   • Autenticação de cliente TLS por meio de AWS Certificate Manager (ACM): permite a autenticação mútua entre clientes e corretores usando certificados digitais. Você deve configurar um AWS Private Certificate Authority (AWS Private CA) igual ou diferente Conta da AWS do seu cluster.

     É altamente recomendável usar AWS Private CA s independentes para cada cluster MSK ao implementar mTLS. Isso garante que os certificados TLS assinados por sejam autenticados PCAs apenas com um único cluster MSK, mantendo assim um controle de acesso rigoroso.

Em Criptografia, escolha o tipo de chave KMS que você deseja usar para criptografar dados em repouso. Para obter mais informações, consulte Criptografia do Amazon MSK em repouso.

A criptografia de dados em repouso protege a integridade dos dados armazenados, enquanto a criptografia em trânsito protege a confidencialidade dos dados do monitoramento da rede durante a transferência.

Escolha Próximo para continuar.

Para CloudWatch as métricas da Amazon para esse cluster, escolha um dos seguintes níveis de monitoramento. As métricas coletadas em cada nível de monitoramento são integradas CloudWatch para visualização e alertas.

1. Monitoramento básico: fornece um conjunto de métricas essenciais em nível de cluster sem custo adicional. Esse nível é bom para a maioria dos casos de uso com necessidades gerais de monitoramento.

2. Monitoramento aprimorado em nível de corretor: fornece métricas detalhadas do corretor a um custo adicional. Esse nível inclui monitoramento básico e métricas de corretoras mais granulares, como métricas de armazenamento hierárquico, bytes in/out de outras corretoras e tempo total de operações. read/write Você paga pelas métricas nesse nível, enquanto as métricas do nível básico continuam sendo gratuitas.

3. Monitoramento aprimorado em nível de tópico: fornece métricas para tópicos individuais a um custo adicional. Escolha esse nível para obter uma visão mais granular do desempenho do tópico em todos os corretores. Esse nível inclui monitoramento aprimorado em nível de corretor e métricas em nível de tópico, como métricas de armazenamento hierárquico para um tópico específico e número de mensagens recebidas por segundo.

4. Monitoramento aprimorado em nível de partição: fornece a visão mais granular das métricas por partição a um custo adicional. Escolha esse nível para obter o monitoramento mais detalhado capturando métricas para cada partição em cada tópico entre os corretores. Esse nível inclui monitoramento aprimorado em nível de tópico e métricas específicas de partição refinadas, como métricas de defasagem de compensação.

Para obter mais informações sobre as métricas disponíveis para os tipos de corretores Standard e Express em cada um desses níveis de monitoramento, consulte CloudWatch métricas para corretores padrão CloudWatch métricas para corretores Express e.

(Opcional) Se você quiser exportar métricas no formato Prometheus usando JMX Exporter, Node Exporter ou ambos, escolha Habilitar monitoramento aberto com o Prometheus. Para obter mais informações sobre essa opção, consulte Monitorare com o Prometheus.

(Opcional) Para configurar seu cluster MSK para fornecer registros de agentes a vários Serviços da AWS para solução de problemas e auditoria, escolha uma ou mais das opções a seguir. O Amazon MSK não cria esses recursos de destino para você se eles ainda não existirem. Para obter mais informações, consulte Logs do agente.

(Opcional) Para ajudar a identificar, organizar ou pesquisar seu cluster, escolha Adicionar nova tag para adicionar tags como pares de valores-chave. Por exemplo, adicione uma tag ao seu cluster com o par de Load testing valores-chave e. Test

Para obter mais informações sobre o uso de tags em seus clusters, consulteMarcar um cluster do Amazon MSK.

Escolha Próximo para continuar.

Revise as configurações do cluster.

Escolha Editar ou Anterior para alterar qualquer uma das configurações especificadas anteriormente ou voltar para a tela anterior do console.

Selecione Criar cluster.

Verifique o status desse cluster na seção Resumo do cluster da página de detalhes do cluster. O status muda de Criando para Ativo conforme o Amazon MSK provisiona o cluster. Quando o status estiver Ativo, você poderá se conectar ao cluster. Para obter mais informações sobre status de cluster, consulte Entenda os estados do cluster provisionado pelo MSK.