Creación de un clúster de MSK aprovisionado mediante la Consola de administración de AWS - Transmisión administrada de Amazon para Apache Kafka

Creación de un clúster de MSK aprovisionado mediante la Consola de administración de AWS

Los procedimientos de este tema describen la tarea común de crear un clúster de MSK aprovisionado mediante la opción Creación personalizada en Consola de administración de AWS. Mediante otras opciones disponibles en la Consola de administración de AWS, también puede crear lo siguiente:

Procedimientos en este tema

  1. Abra la consola de Amazon MSK en https://console.aws.amazon.com/msk/.

  2. Elija Create cluster.

  3. Para el Método de creación de clústeres, elija Creación personalizada.

  4. En Nombre del clúster, especifique un nombre que sea único y no contenga más de 64 caracteres.

  5. En Tipo de clúster, seleccione Aprovisionado.

  6. En Versión de Apache Kafka, elija una versión para ejecutar en los agentes. Para ver una comparación de las características de Amazon MSK compatibles con cada versión de Apache Kafka, seleccione Ver compatibilidad de versiones.

  7. En la sección Agentes, realice lo siguiente:

    1. En Tipo de agente, elija una de las siguientes opciones:

      • Agentes Express: agentes de alto rendimiento y escalables con almacenamiento virtual completamente administrado. Elija este tipo de agente para aplicaciones exigentes con requisitos de alto rendimiento.

      • Agentes Standard: agente tradicional de Kafka con control total de la configuración. Elija este tipo de agente para cargas de trabajo de uso general con requisitos de rendimiento moderados.

      Para obtener más información sobre estos tipos de agente, consulte Tipos de agentes de Amazon MSK.

    2. En Tamaño del agente, elija un tamaño para el clúster en función de las necesidades de computación, memoria y almacenamiento del clúster.

    3. En Número de zonas, elija la cantidad de Zonas de disponibilidad de AWS entre las cuales se distribuyen los agentes.

      Los agentes Express requieren tres zonas de disponibilidad para ofrecer mayor disponibilidad.

    4. En Agentes por zona, especifique el número de agentes que desea que Amazon MSK cree en cada zona de disponibilidad. El mínimo es un agente por zona de disponibilidad y el máximo es 30 agentes por clúster para los clústeres basados en ZooKeeper y 60 agentes por clúster para los clústeres basados en KRaft.

Este procedimiento describe cómo puede configurar las necesidades de almacenamiento de datos en todos los agentes y especificar el modo de almacenamiento. Esto ayuda a definir los requisitos de almacenamiento de datos en función de las necesidades de la carga de trabajo. Además, este procedimiento describe las opciones de configuración del clúster que controlan cómo operan los agentes. Estas configuraciones incluyen configuraciones de agentes, configuraciones predeterminadas de temas y la política de almacenamiento por niveles.

  1. Si seleccionó el tipo de agente como Standard, realice lo siguiente en la sección Almacenamiento:

    1. En Almacenamiento, elija la cantidad inicial de almacenamiento que desea que el clúster tenga. Una vez creado el clúster, no se puede reducir la capacidad de almacenamiento.

    2. (Opcional) Según el tamaño del agente (tamaño de instancia) que haya seleccionado, también puede especificar Rendimiento de almacenamiento aprovisionado por agente. Esta opción permite asignar rendimiento dedicado de entrada y salida (E/S) para los volúmenes de Amazon EBS de cada agente.

      Para activar esta opción, elija el tamaño del agente (tamaño de instancia) kafka.m5.4xlarge o superior para las instancias x86 y kafka.m7g.2xlarge o superior para las instancias basadas en Graviton. A continuación, seleccione la casilla Habilitar rendimiento de almacenamiento aprovisionado. Al seleccionar esta casilla, puede establecer manualmente un mínimo de 250 MiB por segundo de rendimiento. Esto resulta útil para cargas de trabajo intensivas en E/S o aplicaciones que requieren un rendimiento de almacenamiento alto y predecible. Para obtener más información, consulte Aprovisionamiento del rendimiento de almacenamiento para agentes Standard en un clúster de Amazon MSK.

    3. En Modo de almacenamiento del clúster, especifique cómo se almacenan y administran los datos dentro del clúster. Esta opción determina el tipo y la configuración del almacenamiento que se utiliza para los agentes. Seleccione una de las siguientes opciones:

      • Almacenamiento de EBS únicamente: almacena todos los datos de los temas de forma local en volúmenes de Amazon Elastic Block Store (Amazon EBS) conectados a cada agente. Elija este modo para necesidades de rendimiento constante y acceso rápido a mensajes recientes.

      • Almacenamiento por niveles y almacenamiento de EBS: combina datos locales de Amazon EBS con almacenamiento remoto rentable para grandes conjuntos de datos en Amazon S3. Este modo reduce los costos de almacenamiento de Amazon EBS, admite una mayor retención de datos y escala el almacenamiento automáticamente sin intervención manual. Elija este modo cuando desee retener datos durante períodos más prolongados a menor costo o cuando prevea que las necesidades de almacenamiento crecerán de forma significativa.

    nota

    No necesita administrar el almacenamiento para los agentes Express.

  2. En Configuración del clúster, especifique una de las siguientes opciones para definir el comportamiento del clúster:

    • Configuración predeterminada de Amazon MSK: contiene un conjunto predefinido de configuraciones optimizadas para casos de uso general. Elija esta opción para una configuración e implementación rápidas del clúster. Para obtener información acerca de las configuraciones de Amazon MSK, consulte Configuración de Amazon MSK aprovisionado.

    • Configuración personalizada: permite especificar configuraciones de agentes y de temas propias. Puede elegir una configuración personalizada existente de la lista o crear una nueva configuración personalizada. Elija esta opción para un control refinado sobre los agentes, como ajustes específicos de rendimiento, configuraciones de seguridad y más.

  3. Elija Paso siguiente para continuar.

La configuración de red define cómo se implementa el clúster dentro de la infraestructura de AWS. Esto incluye la VPC, las zonas de disponibilidad y las subredes, así como los grupos de seguridad que controlan la conectividad, la disponibilidad y el acceso.

  1. En Redes, realice lo siguiente:

    1. Elija la VPC que desea utilizar para el clúster.

    2. Según el número de zonas de disponibilidad que haya seleccionado previamente, especifique las zonas de disponibilidad y las subredes donde se implementarán los agentes.

      Para agentes Standard en la región Oeste de EE: UU. (Norte de California), necesita dos subredes en dos zonas de disponibilidad diferentes. En el resto de las regiones donde esté disponible Amazon MSK, puede especificar dos o tres subredes. Todas las subredes deben estar en diferentes zonas de disponibilidad.

      Para agentes Express, necesita tres subredes en tres zonas de disponibilidad diferentes.

      Cuando crea un clúster de MSK aprovisionado, MSK distribuye los nodos de agentes de manera uniforme entre las subredes que especifique.

    3. En Grupos de seguridad en Amazon EC2, elija o cree uno o más grupos de seguridad a los que desee conceder acceso al clúster. Estos grupos de seguridad de Amazon EC2 controlan el tráfico entrante y saliente hacia los agentes. Por ejemplo, los grupos de seguridad de las máquinas cliente.

      Si especifica grupos de seguridad que se comparten con usted, debe asegurarse de que tiene permisos para usarlos. En concreto, necesita el permiso ec2:DescribeSecurityGroups. Para obtener más información, consulte Conexión a un clúster de MSK.

  2. Elija Paso siguiente para continuar.

  1. En la sección Ajustes de seguridad, realice lo siguiente:

    1. Elija uno o más de los siguientes métodos de autenticación y autorización para controlar el acceso de los clientes a sus clústeres de Kafka:

      • Acceso no autenticado: permite que los clientes accedan al clúster sin proporcionar credenciales de autenticación. Este método representa un riesgo de seguridad y podría no cumplir con las prácticas recomendadas de seguridad. Para obtener más información, consulte msk-unrestricted-access-check.

      • Autenticación basada en roles de IAM: habilita la autenticación y autorización de clientes mediante usuarios/roles de AWS IAM. Este método proporciona un control detallado del acceso al clúster mediante políticas de IAM. Recomendamos este método para aplicaciones que ya se ejecutan en AWS.

      • Autenticación SASL/SCRAM: requiere que los clientes proporcionen credenciales de nombre de usuario y contraseña almacenadas en AWS Secrets Manager para la autenticación. Amazon MSK obtiene estas credenciales desde Secrets Manager y autentica a los usuarios de forma segura.

        Para configurar las credenciales de inicio de sesión relacionadas con la autenticación de un clúster, primero cree un recurso de secreto en Secrets Manager. A continuación, asocie las credenciales de inicio de sesión a ese secreto. Para obtener más información sobre este método de control de acceso, consulte Configuración de la autenticación SASL/SCRAM para un clúster de Amazon MSK.

      • Autenticación de clientes mediante TLS a través de AWS Certificate Manager (ACM): habilita la autenticación mutua entre clientes y agentes mediante certificados digitales. Debe configurar un AWS Private Certificate Authority (AWS Private CA) ya sea en la misma Cuenta de AWS o en una diferente que el clúster.

        Recomendamos encarecidamente utilizar AWS Private CA independientes para cada clúster de MSK al implementar mTLS. Esto garantiza que los certificados TLS firmados por las autoridades de certificación privadas (PCA) solo autentiquen con un único clúster de MSK y así ejercer un control de acceso estricto.

  2. En Cifrado, elija el tipo de clave de KMS que desea usar para cifrar los datos en reposo. Para obtener más información, consulte Cifrado en reposo de Amazon MSK.

    El cifrado de los datos en reposo protege la integridad de los datos almacenados, mientras que el cifrado en tránsito protege la confidencialidad de los datos frente a la supervisión de la red durante la transferencia.

  3. Elija Paso siguiente para continuar.

Este procedimiento describe cómo configurar las métricas de los agentes, así como recopilar y entregar los registros de los agentes. Con estos ajustes, puede observar y analizar el estado del clúster, el rendimiento y solucionar problemas. Para obtener más información, consulte Supervisión de un clúster de Amazon MSK aprovisionado.

  1. En Métricas de Amazon CloudWatch para este clúster, elija uno de los siguientes niveles de supervisión. Las métricas recopiladas en cada nivel de supervisión se integran con CloudWatch para la visualización y las alertas.

    1. Supervisión básica: proporciona un conjunto de métricas esenciales a nivel de clúster sin costo adicional. Este nivel es adecuado para la mayoría de los casos de uso con necesidades generales de supervisión.

    2. Supervisión mejorada a nivel de agente: proporciona métricas detalladas a nivel de agente con un costo adicional. Este nivel incluye la supervisión básica y métricas de los agentes más detalladas, como las métricas de almacenamiento por niveles, los bytes de entrada/salida de otros agentes y el tiempo total de las operaciones de lectura/escritura. Las métricas de este nivel tienen costo, mientras que las métricas del nivel básico aún son gratuitas.

    3. Supervisión mejorada a nivel de tema: proporciona métricas para temas individuales con un costo adicional. Elija este nivel para obtener una vista más detallada del rendimiento de los temas en los agentes. Este nivel incluye una supervisión mejorada en el nivel de agente y métricas en el nivel de tema, como métricas de almacenamiento por niveles para un tema específico y la cantidad de mensajes recibidos por segundo.

    4. Supervisión mejorada a nivel de partición: proporciona la vista más detallada de métricas por partición con un costo adicional. Elija este nivel para obtener la supervisión más detallada mediante la captura de métricas para cada partición en cada tema en los agentes. Este nivel incluye una supervisión mejorada en el nivel de tema y métricas específicas de las particiones detalladas, como las métricas de compensación del retraso.

    Para obtener más información sobre las métricas disponibles para los tipos de agente Standard y Express en cada uno de estos niveles de supervisión, consulte Métricas de CloudWatch para agentes Standard y Métricas de CloudWatch para agentes Express.

  2. (Opcional) Si desea exportar métricas en formato Prometheus mediante JMX Exporter, Node Exporter o ambos, seleccione Habilitar supervisión abierta con Prometheus. Para obtener más información acerca de esta opción, consulta Supervisión con Prometheus.

  3. (Opcional) Para configurar el clúster de MSK de modo que entregue los registros de los agentes a varios Servicios de AWS para la solución de problemas y la auditoría, seleccione una o más de las siguientes opciones. Amazon MSK no crea estos recursos de destino si aún no existen. Para obtener más información, consulte Registros de agente.

    • Entregar a Registros de Amazon CloudWatch: envía los registros a CloudWatch con capacidades de agrupación en clústeres, búsqueda y visualización. Puede consultar y analizar los registros sin salir de la Consola de administración de AWS.

    • Entrega a Amazon S3: almacena los registros como archivos en buckets de Amazon S3 para archivado a largo plazo y análisis por lotes.

    • Entrega a Amazon Data Firehose: envía los registros a Firehose para su entrega automática a Amazon OpenSearch Service y la solución de problemas en tiempo real.

  4. (Opcional) Para ayudar a identificar, organizar o buscar el clúster, seleccione Agregar nueva etiqueta para agregar etiquetas como pares clave-valor. Por ejemplo, agregue una etiqueta al clúster con el par clave-valor de Load testing y Test.

    Para obtener más información sobre el uso de etiquetas en los clústeres, consulte Etiquetado de un clúster de Amazon MSK.

  5. Elija Paso siguiente para continuar.

  1. Revise la configuración del clúster.

    Seleccione Editar o Anterior para cambiar cualquiera de las configuraciones que especificó previamente o volver a la pantalla anterior de la consola.

  2. Elija Create cluster.

  3. Verifique el estado de este clúster en la sección Resumen del clúster de la página Detalles del clúster. El estado cambia de En creación a Activo a medida que Amazon MSK aprovisiona el clúster. Cuando el estado sea Activo, puede conectarse al clúster. Para obtener más información acerca del estado de un clúster, consulte Descripción de los estados de los clústeres de MSK aprovisionados.