Le damos la bienvenida a la Guía para desarrolladores de Amazon MSK
Bienvenido a la Guía para desarrolladores de Amazon Managed Streaming para Apache Kafka. Los temas siguientes pueden ser de ayuda para comenzar a utilizar esta guía, en función de lo que intente hacer.
-
Cree un clúster de MSK aprovisionado según el tutorial de Introducción a Amazon MSK.
-
Profundice en la funcionalidad de MSK aprovisionado en ¿Qué es MSK aprovisionado?.
-
Ejecute Apache Kafka sin tener que administrar ni escalar la capacidad del clúster con MSK sin servidor.
-
Utilice MSK Connect para transmitir datos hacia el clúster de Apache Kafka y desde este.
Utilice MSK Replicator para replicar datos de forma confiable entre clústeres de MSK aprovisionado en diferentes Regiones de AWS o en la misma.
Para los aspectos destacados, los detalles del producto y los precios, consulte la página de servicio de Amazon MSK
¿Qué es Amazon MSK?
Amazon Managed Streaming for Apache Kafka (Amazon MSK) es un servicio totalmente administrado que permite crear y ejecutar aplicaciones que utilizan Apache Kafka para procesar datos de streaming. Amazon MSK proporciona las operaciones de plano de control, como las de creación, actualización y eliminación de clústeres. Le permite utilizar operaciones de plano de datos de Apache Kafka, como producir y consumir datos. Ejecuta versiones de código abierto de Apache Kafka. Esto significa que las aplicaciones, herramientas y complementos existentes de los socios y la comunidad Apache Kafka son compatibles sin necesidad de cambios en el código de la aplicación. Puede utilizar Amazon MSK para crear clústeres que utilicen cualquiera de las versiones de Apache Kafka que figuran en la siguiente lista de Versiones compatibles de Apache Kafka.
Estos componentes describen la arquitectura de Amazon MSK:
-
Nodos de agentes: al crear un clúster de Amazon MSK, especifique cuántos nodos de agentes desea que Amazon MSK cree en cada zona de disponibilidad. El mínimo es un agente por zona de disponibilidad. Cada zona de disponibilidad tiene su propia subred de nube virtual privada (VPC).
Amazon MSK aprovisionado ofrece dos tipos de agentes: Agentes Standard de Amazon MSK y Agentes Express de Amazon MSK. En MSK sin servidor, MSK administra los nodos de agentes utilizados para gestionar el tráfico, por lo que solo debe aprovisionar los recursos del servidor de Kafka a nivel de clúster.
Nodos ZooKeeper: Amazon MSK también crea los nodos ZooKeeper de Apache. Apache ZooKeeper es un servidor de código abierto que permite una coordinación distribuida altamente confiable.
Controladores KRaft: la comunidad de Apache Kafka desarrolló KRaft para reemplazar a Apache ZooKeeper para la administración de metadatos en los clústeres de Apache Kafka. En el modo KRaft, los metadatos del clúster se propagan dentro de un grupo de controladores de Kafka, que forman parte del clúster de Kafka, en lugar de entre los nodos de ZooKeeper. Los controladores KRaft se incluyen sin costo adicional para usted y no requieren ninguna configuración o administración adicionales por su parte.
Productores, consumidores y creadores de temas: Amazon MSK le permite utilizar operaciones de plano de datos de Apache Kafka para crear temas y para producir y consumir datos.
Operaciones de clúster: puede utilizar la Consola de administración de AWS, la AWS Command Line Interface (AWS CLI) o las API del SDK para realizar operaciones de plano de control. Por ejemplo, puede crear o eliminar un clúster de Amazon MSK, mostrar todos los clústeres de una cuenta, ver las propiedades de un clúster y actualizar el número y el tipo de agentes de un clúster.
Amazon MSK detecta los escenarios de error más comunes para clústeres, y se recupera de dichos escenarios, de modo que las aplicaciones de productoras y consumidoras puedan continuar sus operaciones de escritura y lectura con un impacto mínimo. Cuando Amazon MSK detecta un error de agente, mitiga el error o reemplaza al agente inaccesible o incorrecto por uno nuevo. Además, cuando es posible, reutiliza el almacenamiento del agente más antiguo para reducir los datos que Apache Kafka necesita replicar. El impacto a la disponibilidad se limita al tiempo necesario para que Amazon MSK complete la detección y recuperación. Después de una recuperación, las aplicaciones de productor y consumidor pueden seguir comunicándose con las mismas direcciones IP del agente que usaban antes del error.
