S3 KeyExists - AWS Data Pipeline
ExemploSintaxeConsulte também

AWS Data Pipeline não está mais disponível para novos clientes. Os clientes existentes do AWS Data Pipeline podem continuar usando o serviço normalmente. Saiba mais

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

S3 KeyExists

Verifica se existe uma chave em um nó de dados do Amazon S3.

Exemplo

Veja a seguir um exemplo deste tipo de objeto. A precondição será acionada quando a chave, s3://amzn-s3-demo-bucket/mykey, referenciada pelo parâmetro s3Key, existir. 

{
"id" : "InputReady",
"type" : "S3KeyExists",
"role" : "test-role",
"s3Key" : "s3://amzn-s3-demo-bucket/mykey"
}

Você também pode usar S3KeyExists como uma precondição no segundo pipeline que aguarda a conclusão do primeiro pipeline. Para fazer isso:

  1. Grave um arquivo no Amazon S3 ao final da conclusão do primeiro pipeline.

  2. Crie uma precondição S3KeyExists no segundo pipeline.

Sintaxe

Campos obrigatórios Descrição Tipo de slot
perfil Especifica a função a ser usada para executar a precondição. String
s3Key A chave do Amazon S3. String

Campos opcionais Descrição Tipo de slot
attemptStatus Status mais recente da atividade remota. String
attemptTimeout Tempo limite antes de tentar concluir o trabalho remoto mais uma vez. Se configurada, uma atividade remota não concluída dentro do prazo definido após a inicialização poderá ser executada novamente. Período
failureAndRerunModo Descreve o comportamento do nó do consumidor quando as dependências apresentam falhas ou são executadas novamente. Enumeração
lateAfterTimeout O tempo decorrido após o início do pipeline no qual o objeto deve ser concluído. Ele é acionado somente quando o tipo de programação não está definido como ondemand. Período
maximumRetries Número máximo de tentativas que são iniciadas em caso de falha. Inteiro
onFail Uma ação a ser executada quando há falha no objeto atual. Objeto de referência, por exemplo, “onFail”: {"ref”:” myActionId “}
onLateAction Ações que devem ser acionadas se um objeto ainda não foi agendado ou não foi concluído. Objeto de referência, por exemplo, "onLateAction“: {" ref”:” myActionId “}
onSuccess Uma ação a ser executada quando o objeto atual é executado com êxito. Objeto de referência, por exemplo, “onSuccess”: {"ref”:” myActionId “}
parent Pai do objeto atual a partir do qual os slots serão herdados. Objeto de referência, por exemplo, “parent”: {"ref”:” myBaseObject Id "}
preconditionTimeout O período inicial após o qual a precondição é marcada como "com falha" se ainda não tiver sido atendida. Período
reportProgressTimeout Tempo limite para as chamadas sucessivas de trabalho remoto para reportProgress. Se configurada, as atividades remotas sem progresso para o período especificado poderão ser consideradas como interrompidas e serão executadas novamente. Período
retryDelay A duração do tempo limite entre duas tentativas sucessivas. Período

Campos de tempo de execução Descrição Tipo de slot
@activeInstances Lista dos objetos da instância ativa agendados no momento. Objeto de referência, por exemplo, “ActiveInstances”: {"ref”:” myRunnableObject Id "}
@actualEndTime Hora em que a execução deste objeto foi concluída. DateTime
@actualStartTime Hora em que a execução deste objeto foi iniciada. DateTime
cancellationReason O motivo do cancelamento, se esse objeto foi cancelado. String
@cascadeFailedOn Descrição da cadeia de dependência na qual o objeto apresentou falha. Objeto de referência, por exemplo, "cascadeFailedOn“: {" ref”:” myRunnableObject Id "}
currentRetryCount O número de vezes que a precondição foi testada nesta tentativa. String
emrStepLog Registros da etapa do EMR disponíveis somente nas tentativas de atividade do EMR. String
errorId O ID do erro se esse objeto apresentou falha. String
errorMessage A mensagem de erro se esse objeto apresentou falha. String
errorStackTrace O rastreamento de pilha com erro se esse objeto apresentou falha. String
hadoopJobLog Registos de trabalho do Hadoop disponíveis nas tentativas de atividades baseadas em EMR. String
hostname O nome do host do cliente que capturou a tentativa da tarefa. String
lastRetryTime Última vez em que a precondição foi testada nessa tentativa. String
nó O nó para o qual esta precondição está sendo realizada. Objeto de referência, por exemplo, “node”: {"ref”:” myRunnableObject Id "}
reportProgressTime A última vez que a atividade remota relatou progresso. DateTime
@scheduledEndTime Horário de término da programação para o objeto. DateTime
@scheduledStartTime Horário de início da programação para o objeto. DateTime
@status O status deste objeto. String
@version A versão do pipeline com que o objeto foi criado. String
@waitingOn Descrição da lista de dependências em que este objeto está aguardando. Objeto de referência, por exemplo, “waitingOn”: {"ref”:” myRunnableObject Id "}

Campos do sistema Descrição Tipo de slot
@error Erro ao descrever o objeto malformado. String
@pipelineId ID do pipeline ao qual este objeto pertence. String
@sphere A esfera de um objeto denota seu lugar no ciclo de vida: os objetos componentes dão origem aos objetos de instância que executam os objetos de tentativa. String

Consulte também