Executar um fluxo de trabalho de ETL/ELT usando o Step Functions e a API do Amazon Redshift
Este projeto de exemplo demonstra como usar o Step Functions e a API de dados do Amazon Redshift para executar um fluxo de trabalho ETL/ELT que carrega dados no data warehouse do Amazon Redshift.
Neste projeto, o Step Functions usa uma função AWS Lambda e a API de dados do Amazon Redshift para criar os objetos de banco de dados necessários e gerar um conjunto de dados de exemplo e, em seguida, executa duas tarefas em paralelo que executam o carregamento de tabelas de dimensões, seguidos por uma tabela de fatos. Quando as duas tarefas de carregamento de dimensões terminam com sucesso, o Step Functions executa o trabalho de carregamento da tabela de fatos, executa a tarefa de validação e, em seguida, pausa o cluster do Amazon Redshift.
nota
Você pode modificar a lógica do ETL para receber dados de outras fontes, como o Amazon S3, que pode usar o comando COPY para copiar dados do Amazon S3 para uma tabela do Amazon Redshift.
Para obter mais informações sobre as integrações de serviços do Amazon Redshift e do Step Functions, consulte os seguintes guias:
Para obter mais informações sobre as políticas do IAM para Lambda e Amazon Redshift, consulte os seguintes guias:
nota
Este projeto de exemplo pode incorrer em cobranças.
Para os novos usuários da AWS, existe um nível de uso gratuito. Neste nível, os serviços são gratuitos abaixo de um determinado nível de uso. Para obter mais informações sobre os custos da AWS e o Nível Gratuito, consulte a AWS Step Functions Definição de preço
Etapa 1: Criar a máquina de estado
-
Abra o console do Step Functions
e clique em Criar máquina de estado. -
Selecione Criar a partir do modelo e encontre o modelo inicial relacionado. Escolha Próximo para continuar.
-
Escolha como usar o modelo:
-
Executar uma demonstração: cria uma máquina de estado somente leitura. Após a revisão, você pode criar o fluxo de trabalho e todos os recursos relacionados.
-
Comece a criar: fornece uma definição de fluxo de trabalho editável que você pode revisar, personalizar e implantar com seus próprios recursos. (Recursos relacionados, como perfis ou filas, não serão criados automaticamente.)
-
-
Escolha Usar modelo para continuar com a seleção.
nota
Cobranças padrão são aplicadas aos serviços implantados na conta.
Etapa 2: Executar a máquina de estado de demonstração
Se você escolher a opção Executar uma demonstração, todos os recursos relacionados serão implantados e estarão prontos para execução. Se você escolheu a opção Comece a criar, talvez seja necessário definir valores de espaço reservado e criar recursos adicionais antes de executar seu fluxo de trabalho personalizado.
Selecione Implantar e executar.
Aguarde até que a pilha do CloudFormation seja implantada. Esse processo pode levar até 10 minutos.
Depois que a opção Iniciar execução for exibida, revise a Entrada e selecione Iniciar execução.
Parabéns!
Agora você deve ter uma demonstração em execução da máquina de estado. Você pode escolher estados na visualização do gráfico para revisar a entrada, a saída, as variáveis, a definição e os eventos.
