Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra. # Utilisation de fichiers dans le cadre de vos tâches La plupart des tâches que vous soumettez à AWS Deadline Cloud comportent des fichiers d'entrée et de sortie. Vos fichiers d'entrée et vos répertoires de sortie peuvent se trouver sur une combinaison de systèmes de fichiers partagés et de lecteurs locaux. Les offres d'emploi doivent localiser le contenu à ces emplacements. Deadline Cloud propose deux fonctionnalités, les [pièces jointes aux tâches](https://docs.aws.amazon.com/deadline-cloud/latest/userguide/storage-job-attachments.html) et [les profils de stockage](https://docs.aws.amazon.com/deadline-cloud/latest/userguide/storage-shared.html) qui fonctionnent ensemble pour aider vos tâches à localiser les fichiers dont elles ont besoin. Les offres d'emploi offrent plusieurs avantages + Déplacer des fichiers entre hôtes à l'aide d'Amazon S3 + Transférez des fichiers de votre poste de travail vers des hôtes professionnels et vice versa + Disponible pour les tâches dans les files d'attente pour lesquelles vous activez la fonctionnalité + Principalement utilisé avec les flottes gérées par les services, mais également compatible avec les flottes gérées par le client. Utilisez des profils de stockage pour cartographier la disposition des emplacements des systèmes de fichiers partagés sur votre poste de travail et sur les hôtes de travail. Ce mappage permet à vos tâches de localiser les fichiers et répertoires partagés lorsque leur emplacement diffère entre votre poste de travail et les hôtes de travail, comme dans le cas de configurations multiplateformes avec des postes de travail Windows basés et des hôtes de travail Linux basés. La carte de configuration de votre système de fichiers du profil de stockage est également utilisée par les pièces jointes aux tâches pour identifier les fichiers dont elles ont besoin pour être transférées entre les hôtes via Amazon S3. Si vous n'utilisez pas de pièces jointes aux tâches et que vous n'avez pas besoin de remapper les emplacements des fichiers et des répertoires entre les postes de travail et les hôtes de travail, vous n'avez pas besoin de modéliser vos partages de fichiers à l'aide de profils de stockage. **Topics** + [ # Exemple d'infrastructure de projet ](sample-project-infrastructure.md) + [ # Profils de stockage et mappage des chemins ](storage-profiles-and-path-mapping.md) # Exemple d'infrastructure de projet Pour démontrer l'utilisation des pièces jointes aux tâches et des profils de stockage, configurez un environnement de test avec deux projets distincts. Vous pouvez utiliser la console Deadline Cloud pour créer les ressources de test. 1. Si ce n'est pas déjà fait, créez un parc de tests. Pour créer une ferme, suivez la procédure décrite dans [Créer une ferme](https://docs.aws.amazon.com/deadline-cloud/latest/userguide/farms.html). 1. Créez deux files d'attente pour les tâches dans chacun des deux projets. Pour créer des files d'attente, suivez la procédure décrite dans [Créer une file d'attente](https://docs.aws.amazon.com/deadline-cloud/latest/userguide/create-queue.html). 1. Créez la première file d'attente appelée**Q1**. Utilisez la configuration suivante, utilisez les valeurs par défaut pour tous les autres éléments. + Pour les pièces jointes aux tâches, choisissez **Create a new Amazon S3 bucket**. + Sélectionnez **Activer l'association avec les flottes gérées par le client**. + Pour exécuter en tant qu'utilisateur, entrez à **jobuser** la fois l'utilisateur et le groupe POSIX. + Pour le rôle de service de file d'attente, créez un nouveau rôle nommé **AssetDemoFarm-Q1-Role** + Décochez la case par défaut de l'environnement de file d'attente Conda. 1. Créez la deuxième file d'attente appelée**Q2**. Utilisez la configuration suivante, utilisez les valeurs par défaut pour tous les autres éléments. + Pour les pièces jointes aux tâches, choisissez **Create a new Amazon S3 bucket**. + Sélectionnez **Activer l'association avec les flottes gérées par le client**. + Pour exécuter en tant qu'utilisateur, entrez à **jobuser** la fois l'utilisateur et le groupe POSIX. + Pour le rôle de service de file d'attente, créez un nouveau rôle nommé **AssetDemoFarm-Q2-Role** + Décochez la case par défaut de l'environnement de file d'attente Conda. 1. Créez une flotte unique gérée par le client qui exécute les tâches à partir des deux files d'attente. Pour créer le parc, suivez la procédure décrite dans [Créer un parc géré par le client](https://docs.aws.amazon.com/deadline-cloud/latest/userguide/create-a-cmf.html). Utilisez la configuration suivante : + Pour **Nom**, utilisez**DemoFleet**. + Pour le **type de flotte**, sélectionnez **Géré par le client** + Pour le **rôle de service de flotte**, créez un nouveau rôle nommé **AssetDemoFarm-Fleet-Role**. + N'associez la flotte à aucune file d'attente. L'environnement de test suppose que trois systèmes de fichiers sont partagés entre les hôtes à l'aide de partages de fichiers réseau. Dans cet exemple, les emplacements portent les noms suivants : + `FSCommon`- contient les actifs de travail d'entrée communs aux deux projets. + `FS1`- contient les actifs de travail d'entrée et de sortie pour le projet 1. + `FS2`- contient les actifs de travail d'entrée et de sortie pour le projet 2. L'environnement de test suppose également qu'il existe trois postes de travail, comme suit : + `WSAll`- Un poste Linux de travail basé utilisé par les développeurs pour tous les projets. Les emplacements des systèmes de fichiers partagés sont les suivants : + `FSCommon`: `/shared/common` + `FS1`: `/shared/projects/project1` + `FS2`: `/shared/projects/project2` + `WS1`- Un poste Windows de travail basé utilisé pour le projet 1. Les emplacements des systèmes de fichiers partagés sont les suivants : + `FSCommon`: `S:\` + `FS1`: `Z:\` + `FS2`: Non disponible + `WS1`- Un poste de travail macOS basé utilisé pour le projet 2. Les emplacements du système de fichiers partagé sont les suivants : + `FSCommon`: `/Volumes/common` + `FS1`: Non disponible + `FS2`: `/Volumes/projects/project2` Enfin, définissez les emplacements des systèmes de fichiers partagés pour les employés de votre flotte. Les exemples suivants font référence à cette configuration sous le nom de`WorkerConfig`. Les emplacements partagés sont les suivants : + `FSCommon`: `/mnt/common` + `FS1`: `/mnt/projects/project1` + `FS2`: `/mnt/projects/project2` Vous n'avez pas besoin de configurer de systèmes de fichiers partagés, de postes de travail ou de travailleurs correspondant à cette configuration. Les emplacements partagés n'ont pas besoin d'exister pour la démonstration. # Profils de stockage et mappage des chemins Utilisez des profils de stockage pour modéliser les systèmes de fichiers de votre poste de travail et de vos hôtes de travail. Chaque profil de stockage décrit le système d'exploitation et la structure du système de fichiers de l'une de vos configurations système. Cette rubrique décrit comment utiliser les profils de stockage pour modéliser les configurations du système de fichiers de vos hôtes afin que Deadline Cloud puisse générer des règles de mappage de chemins pour vos tâches, et comment ces règles de mappage de chemins sont générées à partir de vos profils de stockage. Lorsque vous soumettez une tâche à Deadline Cloud, vous pouvez fournir un identifiant de profil de stockage facultatif pour la tâche. Ce profil de stockage décrit le système de fichiers du poste de travail émetteur. Il décrit la configuration du système de fichiers d'origine utilisée par les chemins de fichiers du modèle de tâche. Vous pouvez également associer un profil de stockage à une flotte. Le profil de stockage décrit la configuration du système de fichiers de tous les hôtes de travail du parc. Si vous avez des employés dont la configuration du système de fichiers est différente, ces travailleurs doivent être affectés à un parc différent de votre ferme. Les règles de mappage de chemins décrivent comment les chemins doivent être remappés entre la façon dont ils sont spécifiés dans la tâche et l'emplacement réel du chemin sur un hôte de travail. Deadline Cloud compare la configuration du système de fichiers décrite dans le profil de stockage d'une tâche avec le profil de stockage du parc qui exécute la tâche afin de dériver ces règles de mappage de chemins. **Topics** + [ # Modélisez les emplacements des systèmes de fichiers partagés à l'aide de profils de stockage ](modeling-your-shared-filesystem-locations-with-storage-profiles.md) + [ # Configuration des profils de stockage pour les flottes ](configuring-storage-profiles-for-fleets.md) + [ # Configuration des profils de stockage pour les files d'attente ](storage-profiles-for-queues.md) + [ # Dériver les règles de mappage des chemins à partir des profils de stockage ](deriving-path-mapping-rules-from-storage-profiles.md) # Modélisez les emplacements des systèmes de fichiers partagés à l'aide de profils de stockage Un profil de stockage modélise la configuration du système de fichiers de l'une de vos configurations d'hôte. Il existe quatre configurations hôtes différentes dans l'[exemple d'infrastructure de projet](). Dans cet exemple, vous créez un profil de stockage distinct pour chacun d'entre eux. Vous pouvez créer un profil de stockage à l'aide de l'une des méthodes suivantes : + [CreateStorageProfile API](https://docs.aws.amazon.com/deadline-cloud/latest/APIReference/API_CreateStorageProfile.html) + [AWS::Deadline::StorageProfile](https://docs.aws.amazon.com/AWSCloudFormation/latest/UserGuide/aws-resource-deadline-storageprofile.html) CloudFormation ressource + [Console AWS](https://docs.aws.amazon.com/deadline-cloud/latest/userguide/storage-shared.html#storage-profile) Un profil de stockage est constitué d'une liste d'emplacements de systèmes de fichiers qui indiquent chacun à Deadline Cloud l'emplacement et le type d'emplacement du système de fichiers pertinent pour les tâches soumises ou exécutées sur un hôte. Un profil de stockage ne doit modéliser que les emplacements pertinents pour les tâches. Par exemple, l'`FSCommon`emplacement partagé est situé sur le poste de travail `WS1` à`S:\`, de sorte que l'emplacement du système de fichiers correspondant est le suivant : ``` { "name": "FSCommon", "path": "S:\\", "type": "SHARED" } ``` Utilisez les commandes suivantes pour créer le profil de stockage pour les configurations de station de travail `WS1``WS2`, `WS3` et la configuration de l'utilisateur à `WorkerConfig` l'aide de la commande [AWS CLI](https://docs.aws.amazon.com/cli/latest/userguide/cli-chap-welcome.html)in [AWS CloudShell](https://docs.aws.amazon.com/cloudshell/latest/userguide/welcome.html): ``` # Change the value of FARM_ID to your farm's identifier FARM_ID=farm-00112233445566778899aabbccddeeff aws deadline create-storage-profile --farm-id $FARM_ID \ --display-name WSAll \ --os-family LINUX \ --file-system-locations \ '[ {"name": "FSCommon", "type":"SHARED", "path":"/shared/common"}, {"name": "FS1", "type":"SHARED", "path":"/shared/projects/project1"}, {"name": "FS2", "type":"SHARED", "path":"/shared/projects/project2"} ]' aws deadline create-storage-profile --farm-id $FARM_ID \ --display-name WS1 \ --os-family WINDOWS \ --file-system-locations \ '[ {"name": "FSCommon", "type":"SHARED", "path":"S:\\"}, {"name": "FS1", "type":"SHARED", "path":"Z:\\"} ]' aws deadline create-storage-profile --farm-id $FARM_ID \ --display-name WS2 \ --os-family MACOS \ --file-system-locations \ '[ {"name": "FSCommon", "type":"SHARED", "path":"/Volumes/common"}, {"name": "FS2", "type":"SHARED", "path":"/Volumes/projects/project2"} ]' aws deadline create-storage-profile --farm-id $FARM_ID \ --display-name WorkerCfg \ --os-family LINUX \ --file-system-locations \ '[ {"name": "FSCommon", "type":"SHARED", "path":"/mnt/common"}, {"name": "FS1", "type":"SHARED", "path":"/mnt/projects/project1"}, {"name": "FS2", "type":"SHARED", "path":"/mnt/projects/project2"} ]' ``` **Note** Vous devez faire référence aux emplacements des systèmes de fichiers dans vos profils de stockage en utilisant les mêmes valeurs pour la `name` propriété dans tous les profils de stockage de votre parc de serveurs. Deadline Cloud compare les noms pour déterminer si les emplacements des systèmes de fichiers issus de différents profils de stockage font référence au même emplacement lors de la génération des règles de mappage de chemins. # Configuration des profils de stockage pour les flottes Vous pouvez configurer un parc de manière à inclure un profil de stockage qui modélise les emplacements des systèmes de fichiers de tous les employés du parc. La configuration du système de fichiers hôte de tous les travailleurs d'une flotte doit correspondre au profil de stockage de cette flotte. Les travailleurs ayant des configurations de système de fichiers différentes doivent appartenir à des flottes distinctes. Pour définir la configuration de votre flotte afin d'utiliser le profil `WorkerConfig` de stockage, utilisez le fichier [AWS CLI](https://docs.aws.amazon.com/cli/latest/userguide/cli-chap-welcome.html)dans [AWS CloudShell](https://docs.aws.amazon.com/cloudshell/latest/userguide/welcome.html): ``` # Change the value of FARM_ID to your farm's identifier FARM_ID=farm-00112233445566778899aabbccddeeff # Change the value of FLEET_ID to your fleet's identifier FLEET_ID=fleet-00112233445566778899aabbccddeeff # Change the value of WORKER_CFG_ID to your storage profile named WorkerConfig WORKER_CFG_ID=sp-00112233445566778899aabbccddeeff FLEET_WORKER_MODE=$( \ aws deadline get-fleet --farm-id $FARM_ID --fleet-id $FLEET_ID \ --query '.configuration.customerManaged.mode' \ ) FLEET_WORKER_CAPABILITIES=$( \ aws deadline get-fleet --farm-id $FARM_ID --fleet-id $FLEET_ID \ --query '.configuration.customerManaged.workerCapabilities' \ ) aws deadline update-fleet --farm-id $FARM_ID --fleet-id $FLEET_ID \ --configuration \ "{ \"customerManaged\": { \"storageProfileId\": \"$WORKER_CFG_ID\", \"mode\": $FLEET_WORKER_MODE, \"workerCapabilities\": $FLEET_WORKER_CAPABILITIES } }" ``` # Configuration des profils de stockage pour les files d'attente La configuration d'une file d'attente inclut une liste de noms distinguant majuscules et minuscules des emplacements du système de fichiers partagé auxquels les tâches soumises à la file d'attente doivent avoir accès. Par exemple, les tâches soumises à la file d'attente `Q1` nécessitent des emplacements `FSCommon` de système de fichiers et. `FS1` Les tâches soumises à la file d'attente `Q2` nécessitent l'emplacement du système de fichiers `FSCommon` et`FS2`. Pour définir les configurations de la file d'attente afin d'exiger ces emplacements de système de fichiers, utilisez le script suivant : ``` # Change the value of FARM_ID to your farm's identifier FARM_ID=farm-00112233445566778899aabbccddeeff # Change the value of QUEUE1_ID to queue Q1's identifier QUEUE1_ID=queue-00112233445566778899aabbccddeeff # Change the value of QUEUE2_ID to queue Q2's identifier QUEUE2_ID=queue-00112233445566778899aabbccddeeff aws deadline update-queue --farm-id $FARM_ID --queue-id $QUEUE1_ID \ --required-file-system-location-names-to-add FSComm FS1 aws deadline update-queue --farm-id $FARM_ID --queue-id $QUEUE2_ID \ --required-file-system-location-names-to-add FSComm FS2 ``` La configuration d'une file d'attente inclut également une liste de profils de stockage autorisés qui s'applique aux tâches soumises à cette file d'attente et aux flottes associées à cette file d'attente. Seuls les profils de stockage qui définissent les emplacements du système de fichiers pour tous les emplacements de système de fichiers requis pour la file d'attente sont autorisés dans la liste des profils de stockage autorisés de la file d'attente. Une tâche échoue si vous la soumettez avec un profil de stockage qui ne figure pas dans la liste des profils de stockage autorisés pour la file d'attente. Vous pouvez toujours soumettre une tâche sans profil de stockage à une file d'attente. Les configurations de poste de travail sont étiquetées `WSAll` et `WS1` toutes deux possèdent les emplacements de système de fichiers requis (`FSCommon`et`FS1`) pour la file d'attente`Q1`. Ils doivent être autorisés à soumettre des tâches à la file d'attente. De même, les configurations des postes `WSAll` de travail `WS2` répondent aux exigences en matière de file d'attente`Q2`. Ils doivent être autorisés à soumettre des tâches à cette file d'attente. Mettez à jour les deux configurations de file d'attente pour autoriser les tâches à être soumises avec ces profils de stockage à l'aide du script suivant : ``` # Change the value of WSALL_ID to the identifier of the WSAll storage profile WSALL_ID=sp-00112233445566778899aabbccddeeff # Change the value of WS1 to the identifier of the WS1 storage profile WS1_ID=sp-00112233445566778899aabbccddeeff # Change the value of WS2 to the identifier of the WS2 storage profile WS2_ID=sp-00112233445566778899aabbccddeeff aws deadline update-queue --farm-id $FARM_ID --queue-id $QUEUE1_ID \ --allowed-storage-profile-ids-to-add $WSALL_ID $WS1_ID aws deadline update-queue --farm-id $FARM_ID --queue-id $QUEUE2_ID \ --allowed-storage-profile-ids-to-add $WSALL_ID $WS2_ID ``` Si vous ajoutez le profil `WS2` de stockage à la liste des profils de stockage autorisés pour la file d'attente, `Q1` il échoue : ``` $ aws deadline update-queue --farm-id $FARM_ID --queue-id $QUEUE1_ID \ --allowed-storage-profile-ids-to-add $WS2_ID An error occurred (ValidationException) when calling the UpdateQueue operation: Storage profile id: sp-00112233445566778899aabbccddeeff does not have required file system location: FS1 ``` Cela est dû au fait que le profil de `WS2` stockage ne contient pas de définition de l'emplacement du système de fichiers nommé `FS1` `Q1` requis par la file d'attente. L'association d'un parc configuré à un profil de stockage ne figurant pas dans la liste des profils de stockage autorisés de la file d'attente échoue également. Par exemple : ``` $ aws deadline create-queue-fleet-association --farm-id $FARM_ID \ --fleet-id $FLEET_ID \ --queue-id $QUEUE1_ID An error occurred (ValidationException) when calling the CreateQueueFleetAssociation operation: Mismatch between storage profile ids. ``` Pour corriger l'erreur, ajoutez le profil de stockage nommé `WorkerConfig` à la liste des profils de stockage autorisés pour la file d'attente `Q1` et la file d'attente`Q2`. Associez ensuite le parc à ces files d'attente afin que les employés du parc puissent exécuter des tâches à partir des deux files d'attente. ``` # Change the value of FLEET_ID to your fleet's identifier FLEET_ID=fleet-00112233445566778899aabbccddeeff # Change the value of WORKER_CFG_ID to your storage profile named WorkerCfg WORKER_CFG_ID=sp-00112233445566778899aabbccddeeff aws deadline update-queue --farm-id $FARM_ID --queue-id $QUEUE1_ID \ --allowed-storage-profile-ids-to-add $WORKER_CFG_ID aws deadline update-queue --farm-id $FARM_ID --queue-id $QUEUE2_ID \ --allowed-storage-profile-ids-to-add $WORKER_CFG_ID aws deadline create-queue-fleet-association --farm-id $FARM_ID \ --fleet-id $FLEET_ID \ --queue-id $QUEUE1_ID aws deadline create-queue-fleet-association --farm-id $FARM_ID \ --fleet-id $FLEET_ID \ --queue-id $QUEUE2_ID ``` # Dériver les règles de mappage des chemins à partir des profils de stockage Les règles de mappage de chemins décrivent comment les chemins doivent être remappés entre la tâche et l'emplacement réel du chemin sur un hôte de travail. Lorsqu'une tâche est exécutée sur un travailleur, le profil de stockage de la tâche est comparé au profil de stockage du parc du travailleur afin de déterminer les règles de mappage des chemins pour la tâche. Deadline Cloud crée une règle de mappage pour chacun des emplacements de système de fichiers requis dans la configuration de la file d'attente. Par exemple, une tâche soumise avec le profil de `WSAll` stockage à mettre en file d'attente `Q1` est soumise aux règles de mappage des chemins : + `FSComm`: `/shared/common -> /mnt/common` + `FS1`: `/shared/projects/project1 -> /mnt/projects/project1` Deadline Cloud crée des règles pour les emplacements du système de `FS1` fichiers `FSComm` et, mais pas pour l'emplacement du système de `FS2` fichiers, même si les profils `WSAll` et `WorkerConfig` de stockage le définissent tous deux`FS2`. Cela est dû au fait que `Q1` la liste des emplacements de système de fichiers requis de la file d'attente est`["FSComm", "FS1"]`. Vous pouvez confirmer les règles de mappage de chemin disponibles pour les tâches soumises avec un profil de stockage particulier en soumettant une tâche qui imprime le [fichier de règles de mappage de chemin d'Open Job Description](https://github.com/OpenJobDescription/openjd-specifications/wiki/How-Jobs-Are-Run#path-mapping), puis en lisant le journal de session une fois la tâche terminée : ``` # Change the value of FARM_ID to your farm's identifier FARM_ID=farm-00112233445566778899aabbccddeeff # Change the value of QUEUE1_ID to queue Q1's identifier QUEUE1_ID=queue-00112233445566778899aabbccddeeff # Change the value of WSALL_ID to the identifier of the WSALL storage profile WSALL_ID=sp-00112233445566778899aabbccddeeff aws deadline create-job --farm-id $FARM_ID --queue-id $QUEUE1_ID \ --priority 50 \ --storage-profile-id $WSALL_ID \ --template-type JSON --template \ '{ "specificationVersion": "jobtemplate-2023-09", "name": "DemoPathMapping", "steps": [ { "name": "ShowPathMappingRules", "script": { "actions": { "onRun": { "command": "/bin/cat", "args": [ "{{Session.PathMappingRulesFile}}" ] } } } } ] }' ``` Si vous utilisez la [CLI Deadline Cloud](https://pypi.org/project/deadline/) pour soumettre des tâches, ses paramètres de `settings.storage_profile_id` configuration définissent le profil de stockage que les tâches soumises avec la CLI auront. Pour soumettre des tâches avec le profil `WSAll` de stockage, définissez : ``` deadline config set settings.storage_profile_id $WSALL_ID ``` Pour exécuter un travailleur géré par le client comme s'il s'exécutait dans l'infrastructure d'exemple, suivez la procédure décrite dans la section [Exécuter l'agent de travail dans le](https://docs.aws.amazon.com/deadline-cloud/latest/userguide/run-worker.html) *guide de l'utilisateur de Deadline Cloud* pour exécuter un travailleur avec. AWS CloudShell Si vous avez déjà suivi ces instructions, supprimez d'abord `~/demoenv-persist` les répertoires `~/demoenv-logs` et. Définissez également les valeurs des variables d'`DEV_CMF_ID`environnement `DEV_FARM_ID` et auxquelles les directions font référence comme suit avant de procéder : ``` DEV_FARM_ID=$FARM_ID DEV_CMF_ID=$FLEET_ID ``` Une fois la tâche exécutée, vous pouvez consulter les règles de mappage des chemins dans le fichier journal de la tâche : ``` cat demoenv-logs/${QUEUE1_ID}/*.log ... JJSON log results (see below) ... ``` Le journal contient le mappage des systèmes de `FSComm` fichiers `FS1` et. Reformatée pour plus de lisibilité, l'entrée du journal ressemble à ceci : ``` { "version": "pathmapping-1.0", "path_mapping_rules": [ { "source_path_format": "POSIX", "source_path": "/shared/projects/project1", "destination_path": "/mnt/projects/project1" }, { "source_path_format": "POSIX", "source_path": "/shared/common", "destination_path": "/mnt/common" } ] ``` Vous pouvez soumettre des tâches avec différents profils de stockage pour voir comment les règles de mappage des chemins changent.