Introdução ao ETL com tecnologia sem servidor em AWS Glue
Dheer Toprani e Adnan Alvee, do Amazon Web Services (AWS)
Março de 2024 (histórico do documento)
Na Nuvem Amazon Web Services (AWS), o AWS Glue é um ambiente com tecnologia sem servidor totalmente gerenciado, onde você pode extrair, transformar e carregar (ETL) dados em alta escala. Com o AWS Glue, você pode categorizar os dados, limpá-los, enriquecê-los e movê-los de modo confiável entre vários armazenamentos e fluxos de dados de uma maneira econômica.
O AWS Glue é uma tecnologia sem servidor, então você não precisa se preocupar com o provisionamento ou o gerenciamento de servidores. Com o AWS Glue, você paga apenas pelos recursos que usa e pode aumentar ou diminuir a escala verticalmente conforme necessário.
O AWS Glue consiste nos seguintes componentes:
-
AWS Glue ETL — O AWS Glue ETL fornece opções de lote e streaming para extrair, transformar e carregar dados de uma fonte para outra.
-
AWS Glue Data Catalog – O Catálogo de dados é um repositório central para organizar os metadados de todos os seus ativos de dados. O Catálogo de dados fornece uma interface unificada na qual você pode pesquisar, descobrir e compartilhar ativos de dados entre serviços de data analytics.
-
AWS Glue DataBrew: o DataBrew é uma ferramenta de preparação de dados no-code que você pode usar para explorar, limpar e transformar dados visualmente. Você pode escolher entre mais de 250 transformações pré-criadas para automatizar as tarefas de preparação de dados sem escrever nenhum código.
Este guia fornece uma introdução de alto nível ao AWS Glue, incluindo como ele funciona e como você pode começar a usá-lo. Ele aborda os principais conceitos que você precisa conhecer antes de criar trabalhos do AWS Glue, como automação, monitoramento e integração com outros serviços da AWS. A seção Próximas etapas ajudará você a se familiarizar com a gravação de códigos no AWS Glue. Se você já tem alguma experiência usando o AWS Glue, a seção Práticas recomendadas ajudará a preencher quaisquer lacunas em seu conhecimento. Ao final deste guia, você estará equipado com o conhecimento e os recursos necessários para começar a usar o AWS Glue de forma eficaz.
