AWS Data Pipeline O não está mais disponível para novos clientes. Os clientes atuais do AWS Data Pipeline podem continuar usando o serviço normalmente. Saiba mais
As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Trabalhar com o Task Runner
O Task Runner é um aplicativo de agente de tarefas que pesquisa o AWS Data Pipeline para tarefas agendadas e as executa em EC2 instâncias da Amazon, clusters do Amazon EMR ou outros recursos computacionais informando o status. Dependendo do seu aplicativo, você pode optar pelo seguinte:
-
AWS Data Pipeline Permitir que o instale e gerencie um ou mais aplicativos do Task Runner para você. Quando um pipeline é ativado, o padrão
Ec2InstanceouEmrClusterobjeto referenciado por um campo runSon de atividade é criado automaticamente. AWS Data Pipeline cuida da instalação do Task Runner em uma EC2 instância ou no nó principal de um cluster do EMR. Nesse padrão, AWS Data Pipeline pode fazer a maior parte do gerenciamento de instâncias ou clusters para você. -
Executar todo o pipeline ou partes dele nos recursos que você gerencia. Os recursos potenciais incluem uma EC2 instância da Amazon de longa duração, um cluster do Amazon EMR ou um servidor físico. Você pode instalar um executor de tarefas (que pode ser o Task Runner ou um agente de tarefas personalizado do seu próprio projeto) em quase todos os locais, desde que ele consiga se comunicar com o serviço da web do AWS Data Pipeline . Neste padrão, você tem controle quase completo sobre quais recursos são usados e como eles são gerenciados. Além disso, é necessário instalar e configurar o Task Runner manualmente. Para fazer isso, siga os procedimentos desta seção, conforme descrito em Executar trabalho em recursos existentes usando o Task Runner.
