View a markdown version of this page

Elaborazione dei dati basata su SQL in Amazon ECS - Elaborazione dei dati basata su SQL in Amazon ECS
Elaborazione dei dati basata su SQL in Amazon ECSApprofondimentiStoria del diagramma

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Elaborazione dei dati basata su SQL in Amazon ECS

Data di pubblicazione: 8 marzo 2021 () Storia del diagramma

Questa architettura mostra come creare un'alternativa ETL (extract-transform-load) basata sulla configurazione e senza codice utilizzando un framework ETL (ARC) containerizzato che semplifica e accelera l'elaborazione dei dati con. https://arc.tripl.ai/ Apache Spark Il framework viene eseguito su Amazon Elastic Container Service con AWS Fargate.

Elaborazione dei dati basata su SQL in Amazon ECS

Diagramma di architettura che mostra l'elaborazione dei SQL-based dati tramite Amazon Elastic Container Service, AWS Fargate AWS Lambda, Amazon Simple Storage Service e Amazon. CloudWatch

I passaggi seguenti descrivono l'architettura:

  1. Un utente crea una pipeline di dati ETL basata sul framework ARC e sugli script SQL in un ARC Jupyter Notebook interattivo. Il notebook funziona su Amazon ECS con AWS Fargate.

  2. Il notebook e i job ETL elaborano batch e trasmettono dati tramite AWS. PrivateLink Il traffico tra i processi ETL e gli archivi di dati non esce dalla rete Amazon.

  3. Il notebook ARC Jupyter produce un file JSON di configurazione del flusso di lavoro. L'utente carica il file e gli script SQL su Amazon Simple Storage Service tramite un CI/CD processo di distribuzione automatico o manualmente.

  4. Un evento di arrivo di un file Amazon S3 attiva una funzione. AWS Lambda

  5. La funzione Lambda avvia un'attività Amazon ECS per elaborare i dati batch in modo transitorio o per elaborare i dati di flusso in modo continuo in un contenitore a lunga durata. Ogni job utilizza risorse di calcolo isolate.

  6. Amazon CloudWatch Events pianifica e orchestra i processi ARC ETL regolari e le attività Amazon ECS con i tipi di lancio di AWS Fargate o Amazon EC2.

  7. I job ARC ETL generano log delle applicazioni per ogni fase di elaborazione dei dati a livello granulare. CloudWatch fornisce funzionalità di monitoraggio e avviso.

Approfondimenti

Per ulteriori informazioni, consulta le seguenti risorse:

Storia del diagramma

Per ricevere notifiche sugli aggiornamenti di questo diagramma di architettura di riferimento, iscriviti al feed RSS.

ModificaDescrizioneData

Pubblicazione iniziale

Diagramma dell'architettura di riferimento pubblicato per la prima volta.

8 marzo 2021

Nota

Per iscriverti agli aggiornamenti RSS, devi avere un plugin RSS abilitato per il browser che stai utilizzando.