As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Processamento de dados baseado em SQL no Amazon ECS
Data de publicação: 8 de março de 2021 (Histórico do diagrama)
Essa arquitetura mostra como criar uma alternativa de ETL (extract-transform-load) orientada por configuração e sem código usando uma estrutura ETL em contêiner (ARC) que simplifica e acelera o processamento de dados com. https://arc.tripl.ai/
Processamento de dados baseado em SQL no Amazon ECS
As etapas a seguir descrevem a arquitetura:
-
Um usuário cria um pipeline de dados ETL com base na estrutura ARC e nos scripts SQL em um ARC Jupyter Notebook interativo. O notebook é executado no Amazon ECS com o AWS Fargate.
-
Os trabalhos de notebook e ETL processam dados em lote e transmitem pela AWS PrivateLink. O tráfego entre processos de ETL e armazenamentos de dados não sai da rede Amazon.
-
O notebook ARC Jupyter produz um arquivo JSON de configuração do fluxo de trabalho. O usuário faz o upload do arquivo e dos scripts SQL para o Amazon Simple Storage Service por meio de um processo de implantação CI/CD automatizado ou manualmente.
-
Um evento de chegada de arquivo do Amazon S3 aciona uma função. AWS Lambda
-
A função Lambda ativa uma tarefa do Amazon ECS para processar dados em lote de forma transitória ou para processar dados de stream continuamente em um contêiner de longa duração. Cada trabalho usa recursos computacionais isolados.
-
O Amazon CloudWatch Events agenda e orquestra trabalhos regulares do ARC ETL e tarefas do Amazon ECS com os tipos de lançamento do AWS Fargate ou Amazon EC2.
-
As tarefas ARC ETL geram registros de aplicativos para cada estágio de processamento de dados em um nível granular. CloudWatch fornece recursos de monitoramento e alerta.
Outras fontes de leitura
Para obter informações adicionais, consulte os seguintes recursos:
Histórico do diagrama
Para ser notificado sobre atualizações nesse diagrama de arquitetura de referência, assine o feed RSS.
| Alteração | Descrição | Data |
|---|---|---|
Publicação inicial | Diagrama de arquitetura de referência publicado pela primeira vez. | 8 de março de 2021 |
nota
Para assinar as atualizações de RSS, você deve ter um plug-in RSS ativado para o navegador que está usando.
