Cree un clúster aprovisionado de MSK mediante AWS Management Console - Transmisión gestionada de Amazon para Apache Kafka

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Cree un clúster aprovisionado de MSK mediante AWS Management Console

Los procedimientos de este tema describen la tarea común de crear un clúster aprovisionado de MSK mediante la opción de creación personalizada de. AWS Management Console Con otras opciones disponibles en el AWS Management Console, también puede crear lo siguiente:

Procedimientos de este tema

  1. Abra la consola de Amazon MSK en https://console.aws.amazon.com/msk/.

  2. Elija Create cluster.

  3. Para el Método de creación de clústeres, elija Creación personalizada.

  4. Para el nombre del clúster, especifique un nombre que sea único y que no contenga más de 64 caracteres.

  5. En Tipo de clúster, seleccione Aprovisionado.

  6. Para la versión de Apache Kafka, elija una versión para ejecutarla en los corredores. Para ver una comparación de las funciones de Amazon MSK compatibles con cada versión de Apache Kafka, seleccione Ver compatibilidad de versiones.

  7. En la sección Agentes, haga lo siguiente:

    1. Para el tipo de corredor, elija una de las siguientes opciones:

      • Express Brokers: corredores escalables y de alto rendimiento con almacenamiento virtual totalmente gestionado. Elija este tipo de intermediario para aplicaciones exigentes y de alto rendimiento.

      • Brokers estándar: Broker tradicional de Kafka con control total de la configuración. Elija este tipo de agente para cargas de trabajo de uso general con requisitos de rendimiento moderados.

      Para obtener más información sobre estos tipos de corredores, consulte. Tipos de brókeres de Amazon MSK

    2. Para Broker Size, elija el tamaño que desee utilizar para el clúster en función de las necesidades de procesamiento, memoria y almacenamiento del clúster.

    3. En Número de zonas, elija el número de zonas Zonas de disponibilidad de AWSen las que se distribuyen los corredores.

      Los corredores exprés requieren tres zonas de disponibilidad para una mayor disponibilidad.

    4. En el caso de los corredores por zona, especifique el número de agentes que desea que Amazon MSK cree en cada zona de disponibilidad. El mínimo es un agente por zona de disponibilidad y el máximo es de 30 agentes por clúster para los clústeres ZooKeeper basados y 60 agentes por clúster para los clústeres KRaft basados.

Este procedimiento describe cómo puede configurar sus necesidades de almacenamiento de datos en todos los corredores y especificar el modo de almacenamiento. Esto le ayuda a definir sus requisitos de almacenamiento de datos en función de sus necesidades de carga de trabajo. Además, este procedimiento describe los ajustes de configuración del clúster que controlan el funcionamiento de sus corredores. Estos ajustes incluyen las configuraciones de los corredores, la configuración de los temas predeterminados y la política de almacenamiento por niveles.

  1. Si seleccionó el tipo de agente como Estándar, haga lo siguiente en la sección Almacenamiento:

    1. En Almacenamiento, elija la cantidad inicial de almacenamiento que desea que tenga su clúster. Una vez creado el clúster, no se puede reducir la capacidad de almacenamiento.

    2. (Opcional) Según el tamaño del agente (tamaño de la instancia) que haya seleccionado, también puede especificar el rendimiento del almacenamiento aprovisionado por agente. Esta opción le permite asignar un rendimiento de entrada y salida (E/S) dedicado a los volúmenes de Amazon EBS de cada agente.

      Para activar esta opción, elija el tamaño del agente (tamaño de instancia) kafka.m5.4xlarge o superior para las instancias x86 y kafka.m7g.2xlarge o superior para las instancias basadas en Graviton. A continuación, seleccione la casilla de verificación Habilitar el rendimiento del almacenamiento aprovisionado. Al seleccionar esta casilla de verificación, puede establecer manualmente un rendimiento mínimo de 250 MiB por segundo. Esto resulta útil para las cargas de trabajo con un uso intensivo de E/S o las aplicaciones que requieren un rendimiento de almacenamiento predecible y de alta velocidad. Para obtener más información, consulte Aprovisione el rendimiento del almacenamiento para los corredores estándar en un clúster de Amazon MSK.

    3. En el modo de almacenamiento en clúster, especifique cómo se almacenan y administran los datos dentro del clúster. Esta opción determina el tipo y la configuración del almacenamiento que utilizan sus corredores. Seleccione una de las siguientes opciones:

      • Solo almacenamiento en EBS: almacena todos los datos de los temas de forma local en los volúmenes de Amazon Elastic Block Store (Amazon EBS) adjuntos a cada agente. Elija este modo para satisfacer necesidades de rendimiento uniformes y acceder rápidamente a los mensajes recientes.

      • Almacenamiento por niveles y almacenamiento de EBS: combina los datos locales de Amazon EBS con un almacenamiento remoto y rentable para conjuntos de datos de gran tamaño en Amazon S3. Este modo reduce los costos de almacenamiento de Amazon EBS, permite una retención de datos más prolongada y escala el almacenamiento automáticamente sin intervención manual. Elija este modo cuando desee conservar los datos durante períodos más prolongados a un costo menor o espere que sus necesidades de almacenamiento aumenten considerablemente.

    nota

    No necesita administrar el almacenamiento para Express Brokers.

  2. Para la configuración del clúster, especifique una de las siguientes opciones para definir el comportamiento del clúster:

    • Configuración predeterminada de Amazon MSK: contiene un conjunto predefinido de configuraciones optimizadas para casos de uso de uso general. Elija esta opción para una configuración e implementación rápidas del clúster. Para obtener información acerca de las configuraciones de Amazon MSK, consulte Configuración aprovisionada de Amazon MSK.

    • Configuración personalizada: le permite especificar su propia configuración de corredor y tema. Puede elegir una configuración personalizada existente de la lista o crear una nueva configuración personalizada. Elija esta opción para obtener un control más preciso para sus corredores, como ajustes específicos del rendimiento, ajustes de seguridad y mucho más.

  3. Elija Paso siguiente para continuar.

La configuración de la red define cómo se implementa el clúster en AWS la infraestructura. Esto incluye la VPC, las zonas y subredes de disponibilidad y los grupos de seguridad que controlan las redes, la disponibilidad y el acceso.

  1. En el caso de las redes, haga lo siguiente:

    1. Elija la VPC que desee usar para el clúster.

    2. En función del número de zonas de disponibilidad que haya seleccionado anteriormente, especifique las zonas de disponibilidad y las subredes en las que se desplegarán los agentes.

      Para los corredores estándar de la región de EE. UU. Oeste (norte de California), se necesitan dos subredes en dos zonas de disponibilidad diferentes. En el resto de las regiones donde esté disponible Amazon MSK, puede especificar dos o tres subredes. Todas las subredes deben estar en diferentes zonas de disponibilidad.

      Para los corredores de Express, necesita tres subredes en tres zonas de disponibilidad diferentes.

      Al crear un clúster aprovisionado por MSK, MSK distribuye los nodos del intermediario de manera uniforme en las subredes que especifique.

    3. Para los grupos de seguridad en Amazon EC2, elige o crea uno o más grupos de seguridad a los que quieras dar acceso a tu clúster. Estos grupos EC2 de seguridad de Amazon controlan el tráfico entrante y saliente a sus agentes. Por ejemplo, los grupos de seguridad de las máquinas cliente.

      Si especifica grupos de seguridad que se comparten con usted, debe asegurarse de que tiene permisos para usarlos. En concreto, necesita el permiso ec2:DescribeSecurityGroups. Para obtener más información, consulte Conectarse a un clúster de MSK.

  2. Elija Paso siguiente para continuar.

  1. En la sección Configuración de seguridad, haga lo siguiente:

    1. Elija uno o varios de los siguientes métodos de autenticación y autorización para controlar el acceso de los clientes a sus clústeres de Kafka:

      • Acceso no autenticado: permite a los clientes acceder al clúster sin proporcionar ninguna credencial de autenticación. Este método supone un riesgo para la seguridad y es posible que no cumpla con las prácticas recomendadas de seguridad. Para obtener más información, consulte msk-unrestricted-access-check.

      • Autenticación basada en roles de IAM: permite la autenticación y autorización de los clientes mediante AWS usuarios/roles de IAM. Este método proporciona un control detallado del acceso a los clústeres mediante políticas de IAM. Recomendamos este método para las aplicaciones que ya se están ejecutando. AWS

      • Autenticación SASL/SCRAM: requiere que los clientes proporcionen las credenciales de nombre de usuario y contraseña almacenadas para la autenticación. AWS Secrets Manager Amazon MSK recupera estas credenciales de Secrets Manager y autentica a los usuarios de forma segura.

        Para configurar las credenciales de inicio de sesión relacionadas con la autenticación de un clúster, cree primero un recurso secreto en Secrets Manager. A continuación, asocie las credenciales de inicio de sesión a ese secreto. Para obtener más información sobre este método de control de acceso, consulteConfigurar la SASL/SCRAM autenticación para un clúster de Amazon MSK.

      • Autenticación de clientes mediante TLS AWS Certificate Manager (ACM): permite la autenticación mutua entre clientes y agentes mediante certificados digitales. Debe configurar un AWS Private Certificate Authority (AWS Private CA) igual o diferente al de su Cuenta de AWS clúster.

        Recomendamos encarecidamente utilizar AWS Private CA s independientes para cada clúster de MSK al implementar mTLS. Esto garantiza que los certificados TLS firmados por PCAs solo se autentiquen con un único clúster de MSK, manteniendo así un estricto control de acceso.

  2. En Cifrado, elija el tipo de clave KMS que desee usar para cifrar los datos en reposo. Para obtener más información, consulte Cifrado en reposo de Amazon MSK.

    El cifrado de los datos en reposo protege la integridad de los datos almacenados, mientras que el cifrado en tránsito protege la confidencialidad de los datos frente a la supervisión de la red durante la transferencia.

  3. Elija Paso siguiente para continuar.

Este procedimiento describe cómo configurar las métricas de los corredores y cómo recopilar y entregar los registros de los corredores. Con esta configuración, puede observar y analizar el estado y el rendimiento de su clúster y solucionar problemas. Para obtener más información, consulte Supervise un clúster aprovisionado de Amazon MSK.

  1. Para CloudWatch las métricas de Amazon de este clúster, elige uno de los siguientes niveles de supervisión. Las métricas recopiladas en cada nivel de monitoreo se integran CloudWatch para la visualización y las alertas.

    1. Supervisión básica: proporciona un conjunto de métricas esenciales a nivel de clúster sin coste adicional. Este nivel es adecuado para la mayoría de los casos de uso con necesidades generales de supervisión.

    2. Supervisión mejorada a nivel de corredor: proporciona métricas detalladas de los corredores a un costo adicional. Este nivel incluye la supervisión básica y métricas de los corredores más detalladas, como las métricas de almacenamiento en niveles, los bytes in/out de otros corredores y el tiempo total de las operaciones. read/write Pagas por las métricas de este nivel, mientras que las métricas del nivel básico siguen siendo gratuitas.

    3. Supervisión mejorada a nivel de tema: proporciona métricas para temas individuales a un costo adicional. Elija este nivel para obtener una visión más detallada del rendimiento de los temas en todos los corredores. Este nivel incluye una supervisión mejorada a nivel de agente y métricas a nivel de tema, como las métricas de almacenamiento por niveles para un tema específico y la cantidad de mensajes recibidos por segundo.

    4. Supervisión mejorada a nivel de partición: proporciona la vista más detallada de las métricas por partición con un coste adicional. Elija este nivel para obtener la supervisión más detallada mediante la captura de las métricas de cada partición dentro de cada tema de los distintos corredores. Este nivel incluye una supervisión mejorada a nivel de tema y métricas detalladas específicas de cada partición, como las métricas de desfase de compensación.

    Para obtener más información sobre las métricas disponibles para los tipos de corredores estándar y exprés en cada uno de estos niveles de supervisión, consulte y. CloudWatch métricas para corredores estándar CloudWatch métricas para corredores de Express

  2. (Opcional) Si desea exportar métricas en formato Prometheus mediante JMX Exporter, Node Exporter o ambos, seleccione Habilitar la supervisión abierta con Prometheus. Para obtener más información acerca de esta opción, consulta Supervisión con Prometheus.

  3. (Opcional) Para configurar su clúster de MSK de forma que envíe los registros de los corredores a varios agentes Servicios de AWS para la solución de problemas y la auditoría, elija una o varias de las siguientes opciones. Amazon MSK no crea estos recursos de destino si aún no existen. Para obtener más información, consulte Registros de agente.

    • Entregar a Amazon CloudWatch Logs: envía los registros a CloudWatch con funciones de agrupamiento, búsqueda y visualización. Puede consultar y analizar los registros sin salir del AWS Management Console.

    • Entregar a Amazon S3: almacena los registros como archivos en depósitos de Amazon S3 para archivarlos a largo plazo y analizarlos por lotes.

    • Entregar a Amazon Data Firehose: envía los registros a Firehose para su entrega automática al OpenSearch Servicio de Amazon para solucionar problemas en tiempo real.

  4. (Opcional) Para ayudarte a identificar, organizar o buscar tu clúster, selecciona Añadir nueva etiqueta para añadir etiquetas como pares clave-valor. Por ejemplo, agrega una etiqueta a tu clúster con el par clave-valor de y. Load testing Test

    Para obtener más información sobre el uso de etiquetas en los clústeres, consulte. Etiquetado de un clúster de Amazon MSK

  5. Elija Paso siguiente para continuar.

  1. Revise la configuración del clúster.

    Seleccione Editar o Anterior para cambiar cualquiera de los ajustes que especificó anteriormente o volver a la pantalla de la consola anterior.

  2. Elija Create cluster.

  3. Compruebe el estado de este clúster en la sección de resumen del clúster de la página de detalles del clúster. El estado cambia de En creación a Activo a medida que Amazon MSK aprovisiona el clúster. Cuando el estado sea Activo, puede conectarse al clúster. Para obtener más información acerca del estado de un clúster, consulte Conozca los estados de los clústeres aprovisionados por MSK.