As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
AWS Transfer Family fluxos de trabalho gerenciados
AWS Transfer Family suporta fluxos de trabalho gerenciados para processamento de arquivos. Com fluxos de trabalho gerenciados, você pode iniciar um fluxo de trabalho após a transferência de um arquivo por SFTP, FTPS ou FTP. Usando esse recurso, você pode atender de forma segura e econômica aos requisitos de conformidade para trocas de arquivos business-to-business (B2B) coordenando todas as etapas necessárias para o processamento de arquivos. Além disso, você se beneficia da end-to-end auditoria e da visibilidade.
Ao orquestrar as tarefas de processamento de arquivos, os fluxos de trabalho gerenciados ajudam você a pré-processar os dados antes que eles sejam consumidos pelos aplicativos posteriores. Essas tarefas de processamento de arquivos podem incluir:
-
Mover arquivos para pastas específicas do usuário.
-
Descriptografar arquivos como parte de um fluxo de trabalho.
-
Marcar arquivos.
-
Executar o processamento personalizado criando e anexando uma AWS Lambda função a um fluxo de trabalho.
-
Envio de notificações quando um arquivo foi transferido com sucesso. (Para uma postagem no blog que detalha esse caso de uso, consulte Personalizar notificações de entrega de arquivos usando fluxos de trabalho AWS Transfer Family gerenciados
.)
Para replicar e padronizar rapidamente tarefas comuns de processamento de arquivos pós-upload abrangendo várias unidades de negócios em sua organização, você pode implantar fluxos de trabalho usando a infraestrutura como código (IaC). Você pode especificar um fluxo de trabalho gerenciado a ser iniciado em arquivos que são carregados na íntegra. Você também pode especificar um fluxo de trabalho gerenciado diferente a ser iniciado em arquivos que foram carregados apenas parcialmente devido a uma desconexão prematura da sessão. O tratamento de exceções integrado ajuda você a reagir rapidamente aos resultados do processamento de arquivos, ao mesmo tempo em que oferece controle sobre como lidar com falhas. Além disso, cada etapa do fluxo de trabalho produz logs detalhados, que você pode auditar para rastrear a linhagem dos dados.
Para começar, realize as seguintes tarefas:
-
Configure seu fluxo de trabalho para conter ações de pré-processamento, como cópia, marcação e outras etapas com base em seus requisitos. Para mais detalhes, consulte Criar um fluxo de trabalho.
-
Configure uma função de execução, que o Transfer Family usa para executar o fluxo de trabalho. Para mais detalhes, consulte Políticas do IAM para fluxos de trabalho.
-
Mapeie o fluxo de trabalho para um servidor, para que, na chegada do arquivo, as ações especificadas nesse fluxo de trabalho sejam avaliadas e iniciadas em tempo real. Para mais detalhes, consulte Configurar e executar um fluxo de trabalho.
Informações relacionadas
-
Para monitorar suas execuções de fluxo de trabalho, consulte Usando CloudWatch métricas para servidores Transfer Family.
-
Para obter logs detalhados de execução e informações sobre solução de problemas, consulte Solucione erros relacionados ao fluxo de trabalho usando a Amazon CloudWatch.
-
O Transfer Family fornece uma postagem no blog e um workshop que orientam você na criação de uma solução de transferência de arquivos. Essa solução usa AWS Transfer Family SFTP/FTPS endpoints gerenciados e Amazon Cognito e DynamoDB para gerenciamento de usuários.
A postagem do blog está disponível em Usando o Amazon Cognito como provedor de identidade com AWS Transfer Family o Amazon S3
. Você pode ver os detalhes do workshop aqui . -
O vídeo a seguir fornece uma breve introdução aos fluxos de trabalho gerenciados pelo Transfer Family.
-
Este vídeo fornece um resumo desse workshop.
Tópicos
Para obter mais ajuda para começar a usar fluxos de trabalho gerenciados, consulte os seguintes recursos:
-
AWS Transfer Family vídeo de demonstração de fluxos de trabalho gerenciados
-
Publicação do blog sobre como criar uma plataforma de transferência de arquivos nativa em nuvem usando AWS Transfer Family fluxos de trabalho
Tratamento de exceções para um fluxo de trabalho
Se algum erro ocorrer durante a execução de um fluxo de trabalho, as etapas de tratamento de exceções que você especificou serão executadas. Você especifica as etapas de tratamento de erros para um fluxo de trabalho da mesma forma que especifica as etapas nominais para o fluxo de trabalho. Por exemplo, suponha que você tenha configurado o processamento personalizado em etapas nominais para validar os arquivos recebidos. Se a validação do arquivo falhar, uma etapa de tratamento de exceções poderá enviar um e-mail ao administrador.
O exemplo de fluxo de trabalho a seguir contém duas etapas:
-
Uma etapa nominal que verifica se o arquivo carregado está no formato CSV
-
Uma etapa de tratamento de exceções que envia um e-mail caso o arquivo carregado não esteja no formato CSV e a etapa nominal falhe
Para iniciar a etapa de tratamento de exceções, a AWS Lambda função na etapa nominal deve responder com. Status="FAILURE" Para obter mais informações sobre como tratar erros, consulte Use etapas personalizadas de processamento de arquivos.
Remover um fluxo de trabalho de um servidor Transfer Family
Se você associou um fluxo de trabalho a um servidor Transfer Family e agora deseja remover essa associação, pode fazer isso usando o console ou programaticamente.
Restrições e limitações de fluxos de trabalho gerenciados
Restrições
Atualmente, as restrições a seguir se aplicam aos fluxos de trabalho de processamento pós-upload do AWS Transfer Family.
-
As AWS Lambda funções entre contas e regiões não são suportadas. No entanto, você pode copiar entre contas, desde que suas políticas AWS Identity and Access Management (IAM) estejam configuradas corretamente.
-
Para todas as etapas do fluxo de trabalho, todos os buckets do Amazon S3 acessados pelo fluxo de trabalho devem estar na mesma região do próprio fluxo de trabalho.
-
Para uma etapa de descriptografia, o destino da descriptografia deve corresponder à origem da região e do armazenamento secundário (por exemplo, se o arquivo a ser descriptografado estiver armazenado no Amazon S3, o destino especificado também deverá estar no Amazon S3).
-
Somente etapas personalizadas assíncronas são suportadas.
-
Os tempos limite de etapa personalizados são aproximados. Ou seja, o tempo limite pode demorar um pouco mais do que o especificado. Além disso, o fluxo de trabalho depende da função do Lambda. Portanto, se a função for atrasada durante a execução, o fluxo de trabalho não estará ciente do atraso.
-
Se você exceder seu limite de controle de utilização, o Transfer Family não adicionará operações de fluxo de trabalho à fila.
-
Os fluxos de trabalho não são iniciados para arquivos com tamanho 0. Arquivos com tamanho maior que 0 iniciam o fluxo de trabalho associado.
-
Você pode anexar um fluxo de trabalho de processamento de arquivos a um servidor Transfer Family que usa o AS2 protocolo: no entanto, AS2 as mensagens não executam fluxos de trabalho conectados ao servidor.
Limitações
Além disso, os seguintes limites funcionais se aplicam aos fluxos de trabalho do Transfer Family:
-
O número de fluxos de trabalho por região, por conta, é limitado a 10.
-
O tempo limite máximo para etapas personalizadas é de 30 minutos.
-
O número máximo de etapas em um fluxo de trabalho é 8.
-
O número máximo de tags por fluxo de trabalho é 50.
-
O número máximo de execuções simultâneas que contêm uma etapa de descriptografia é 250 por fluxo de trabalho.
-
Você pode armazenar no máximo 3 chaves privadas PGP por servidor Transfer Family por usuário.
-
O tamanho máximo de um arquivo descriptografado é 10 GB.
-
Nós aceleramos a nova taxa de execução usando um sistema de bucket de token
com uma capacidade de expansão de 100 e uma taxa de recarga de 1. -
Sempre que você remove um fluxo de trabalho de um servidor e o substitui por um novo ou atualiza a configuração do servidor (o que afeta a função de execução de um fluxo de trabalho), você deve esperar aproximadamente 10 minutos antes de executar o novo fluxo de trabalho. O servidor do Transfer Family armazena em cache os detalhes do fluxo de trabalho e leva 10 minutos para que o servidor atualize o cache.
Além disso, você deve sair de qualquer sessão ativa de SFTP e, em seguida, fazer login novamente após o período de espera de 10 minutos para ver as alterações.
