As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Automação e controle de acesso

Automação

A automação de pipelines é uma parte crucial do design moderno de arquitetura centrada em dados. Para executar seu sistema de produção com êxito, recomendamos que você tenha um pipeline de dados que tenha um gatilho inicial, etapas de conexão e um mecanismo para separar as etapas com falha das aprovadas. Também é importante registrar em log as falhas sem prejudicar o resto do processo de ETL.

Você pode usar os fluxos de trabalho do AWS Glue para criar um pipeline. O pipeline oferece suporte a todas as tarefas do AWS Glue, EventBridge gatilhos e rastreadores da Amazon. Você também pode criar fluxos de trabalho do zero ou usando os esquemas do AWS Glue. Um esquema fornece um framework que ajuda você a começar a usar casos de uso reutilizáveis. Por exemplo, poderia ser um fluxo de trabalho para importar dados do Amazon S3 para uma tabela do DynamoDB. Você pode até mesmo usar parâmetros para tornar o blueprint reutilizável.

Se o pipeline de dados envolver mais serviços fora do AWS Glue, recomendamos que você use o AWS Step Functions como orquestrador. O Step Functions pode criar fluxos de trabalho automatizados, incluindo etapas de aprovação manual para resposta a incidentes de segurança. Você também pode usar Step Functions para processamento paralelo ou sequencial em grande escala.

Por fim, recomendamos usar EventBridgepara inserir gatilhos em programações, eventos ou sob demanda. Você também pode usar EventBridge para criar pipelines com filtros.

Controle de acesso

Recomendamos que você use o AWS Identity and Access Management (IAM) para controle de acesso. O IAM permite especificar quem ou o que pode acessar os serviços e recursos na AWS e gerenciar de forma centralizada as permissões refinadas. Cada fase do ciclo de vida, do armazenamento à automação e ao uso de ferramentas de processamento, exige as permissões de acesso corretas. Ao trabalhar com casos de uso centrados em dados, você pode usar o AWS Lake Formation para simplificar o processo de disponibilização de dados para analytics abrangente e também para várias contas.