View a markdown version of this page

Importer des fichiers dans les pièces jointes aux tâches de Deadline Cloud - Deadline Cloud

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Importer des fichiers dans les pièces jointes aux tâches de Deadline Cloud

Le script Python upload_to_job_attachments télécharge des fichiers et des répertoires depuis votre poste de travail vers un compartiment Amazon S3 de pièces jointes aux tâches de Deadline Cloud dans un format de stockage adressable par contenu. Une fois les fichiers chargés, les tâches qui y font référence n'ont pas besoin de les télécharger à nouveau. Le script est utile pour préremplir les pièces jointes aux tâches avec de grands ensembles de données.

Le script fournit les éléments suivants :

  • Chargements récursifs de fichiers ou de répertoires entiers.

  • Multi-threaded transferts.

  • Déduplication automatique qui ignore les fichiers déjà présents dans Amazon S3.

  • Réessayez la logique avec un recul exponentiel.

  • Deux modes de configuration : spécification directe d'Amazon S3 ou recherche dans la file d'attente.

Téléchargez en spécifiant une file d'attente :

python upload_to_job_attachments.py \
    --farm-id farm-1234567890abcdef \
    --queue-id queue-1234567890abcdef \
    --paths /path/to/files /path/to/directory

Ou téléchargez-le directement dans un compartiment Amazon S3 avec le préfixe :

python upload_to_job_attachments.py \
    --s3-bucket my-bucket \
    --s3-prefix job-attachments \
    --paths /path/to/files

Pour les réseaux à haut débit, augmentez --threads et. --max-concurrency Pour les environnements à bande passante limitée, configurez --max-bandwidth pour limiter les téléchargements. Pour les fichiers volumineux, augmentez--multipart-chunksize.

Pour une alternative basée sur le travail qui copie des fichiers entre des compartiments Amazon S3, consultez. Copier un préfixe S3 dans les pièces jointes aux tâches sur Deadline Cloud