View a markdown version of this page

Procesamiento de datos basado en SQL en Amazon ECS - Procesamiento de datos basado en SQL en Amazon ECS
Procesamiento de datos basado en SQL en Amazon ECSDocumentación adicionalHistorial del diagrama

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Procesamiento de datos basado en SQL en Amazon ECS

Fecha de publicación: 8 de marzo de 2021 () Historial del diagrama

Esta arquitectura muestra cómo crear una alternativa de extracción, transformación y carga (ETL) basada en la configuración y sin código mediante un marco ETL (ARC) en contenedores que simplifique y acelere el procesamiento de datos. Apache Spark El marco se ejecuta en Amazon Elastic Container Service con AWS Fargate. https://docs.aws.amazon.com/AmazonECS/latest/developerguide/Welcome.html https://docs.aws.amazon.com/AmazonECS/latest/developerguide/AWS_Fargate.html

Procesamiento de datos basado en SQL en Amazon ECS

Diagrama de arquitectura que muestra el procesamiento de SQL-based datos con Amazon Elastic Container Service, AWS Fargate AWS Lambda, Amazon Simple Storage Service y Amazon CloudWatch.

Los siguientes pasos describen la arquitectura:

  1. Un usuario crea una canalización de datos ETL basada en el marco ARC y los scripts SQL en un ARC Jupyter Notebook interactivo. El cuaderno se ejecuta en Amazon ECS con AWS Fargate.

  2. Los trabajos de portátil y ETL procesan datos por lotes y transmiten datos a través de AWS PrivateLink. El tráfico entre los procesos de ETL y los almacenes de datos no sale de la red de Amazon.

  3. El cuaderno ARC Jupyter produce un archivo JSON de configuración del flujo de trabajo. El usuario carga el archivo y los scripts SQL en Amazon Simple Storage Service mediante un proceso de implementación CI/CD automatizado o de forma manual.

  4. Un evento de llegada de archivos de Amazon S3 activa una AWS Lambda función.

  5. La función Lambda activa una tarea de Amazon ECS para procesar datos por lotes de forma transitoria o para procesar datos en streaming de forma continua en un contenedor de larga duración. Cada trabajo utiliza recursos informáticos aislados.

  6. Amazon CloudWatch Events programa y organiza los trabajos habituales de ARC ETL y las tareas de Amazon ECS con los tipos de lanzamiento de AWS Fargate o Amazon EC2.

  7. Los trabajos de ETL de ARC generan registros de aplicaciones para cada etapa del procesamiento de datos de forma granular. CloudWatch proporciona capacidades de monitoreo y alerta.

Documentación adicional

Para obtener información adicional, consulte los siguientes recursos:

Historial del diagrama

Para recibir notificaciones sobre las actualizaciones de este diagrama de arquitectura de referencia, suscríbase a la fuente RSS.

CambioDescripciónFecha

Publicación inicial

El diagrama de arquitectura de referencia se publicó por primera vez.

8 de marzo de 2021

nota

Para suscribirse a las actualizaciones de RSS, debe tener un complemento de RSS habilitado para el navegador que esté utilizando.