View a markdown version of this page

Motifs d'échec de l'exécution - AWS HealthOmics

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Motifs d'échec de l'exécution

Si une exécution échoue, utilisez le GetRun Opération d'API pour récupérer la raison de l'échec.

Pour connaître l'ordre dans lequel lire l'enregistrement d'exécution, les enregistrements des tâches ayant échoué et les journaux, voir Débogage d'un HealthOmics exécution du flux de travail.

Passez en revue la raison de l'échec pour vous aider à résoudre les problèmes liés à l'échec de l'exécution. Le tableau suivant répertorie les raisons de chaque échec avec une description de l'erreur.

Motif de l’échec Description de l'erreur.

ÉCHEC DE LA RÉSERVATION DE ALL_PROFILES_INSTANCE_INSTANCE_

La capacité d'instance est insuffisante pour aucun des accélérateurs que vous avez spécifiés dans omicsResourceFallbackOrder directive. Envisagez d'augmenter le temps d'attente des ressources, ou spécifiez d'autres accélérateurs ou une option de processeur dans votre ordre de repli. Pour en savoir plus sur le repli des ressources, voir Configuration avancée des ressources.

ASME_ROLE_FAILED

HealthOmics n'est pas autorisé à assumer ce rôle. Spécifiez le HealthOmics principal dans la relation de confiance pour le rôle.

CANNOT_START_CONTAINER_ERROR

Impossible de démarrer la tâche du flux de travail : name, identifiant : ID conteneur utilisant l'image : image name. Vérifiez que l'image est valide et réessayez.

CANNOT_START_CONTAINER_SIZE_ERROR

Impossible de démarrer la tâche du flux de travail : name, identifiant : ID conteneur utilisant l'image : image name. Assurez-vous que la taille de l'image est inférieure à 45 GiB (95 GiB pour une instance GPU) et réessayez.

ECR_IMAGE_NOT_FOUND

Image introuvable à l'URI : uri. Assurez-vous que la balise d'image ou le résumé existe dans le référentiel Amazon ECR, puis réessayez.

ECR_PERMISSION_ERROR

HealthOmics n'est pas autorisé à accéder à l'URI de l'image.

Vérifiez que le référentiel privé Amazon ECR existe et qu'il a autorisé l'accès au HealthOmics directeur de service.

REPOSITORY_ECR_NOT_FOUND

Le référentiel Amazon ECR est introuvable pour l'URI de l'image : uri. Assurez-vous que le référentiel existe et que l'URI est correct, puis réessayez.

ÉCHEC DE L'EXPORTATION

L'exportation a échoué. Vérifiez que le compartiment de sortie existe et que le rôle d'exécution dispose d'une autorisation d'écriture sur le compartiment.

SYSTÈME_DE_FICHIERS_HORS DE L'ESPACE

Le système de fichiers ne dispose pas de suffisamment d'espace. Augmentez la taille du système de fichiers et lancez-le de nouveau.

ÉCHEC DE LA VÉRIFICATION_D'IMAGE

Impossible de vérifier l'image image name. Pour corriger le problème, essayez de récupérer l'image, puis redirigez-la vers votre référentiel ECR.

ÉCHEC DE L'IMPORTATION

L'importation a échoué. Vérifiez que le fichier d'entrée existe et que le rôle d'exécution peut accéder à l'entrée.

RESSOURCE_OMICS_STORAGE_INACTIVE

Le HealthOmics L'URI de stockage n'est pas à l'état ACTIF. Activez le set de lecture et réessayez. Pour en savoir plus sur l'activation des ensembles de lecture, voir L'activation de la lecture s'active HealthOmics.

URI D'ENTRÉE INTROUVABLE L'URI fourni n'existe pas : uri. Vérifiez que le chemin URI existe et confirmez que le rôle peut accéder à l'objet.

ÉCHEC DE LA RÉSERVATION D'INSTANCE

La capacité d'instance est insuffisante pour terminer l'exécution du flux de travail. Attendez et réessayez d'exécuter le flux de travail. Pour en savoir plus sur les mesures d'atténuation des erreurs liées à l'échec de réservation d'instance, consultez Atténuer les erreurs INSTANCE_RESERVATION_FAILED.

UR_ECR_IMAGE_URI NON VALIDE

La structure URI de l'image Amazon ECR n'est pas valide. Entrez un URI valide et réessayez.

VALEUR_RESSOURCE_TÂCHE NON VALIDE

Le GPU, le processeur ou la mémoire requis est soit trop élevé pour la capacité de calcul disponible, soit inférieur à la valeur minimale de 1 pour la tâche ID.

ENTRÉE_URI NON VALIDE

La structure d'URI n'est pas valide uri. Vérifiez la structure de l'URI et réessayez.
RESSOURCE_D'ENTRÉE_MODIFIÉE

L'URI fourni uri a été modifié après le début de la course. Réessayez d'exécuter.

ERREUR_OUT_OF_MEMORY_ERROR

La tâche du flux de travail ID J'ai manqué de mémoire. Augmentez la valeur de mémoire dans la définition du flux de travail et recommencez l'exécution.

ÉCHEC DE L'EXÉCUTION DE LA TÂCHE

L'exécution a échoué car la tâche a échoué. Pour corriger l'échec de la tâche, utilisez GetRunTask Fonctionnement de l'API et Amazon CloudWatch Stream de journaux.

RUN_TIMED_OUT

Délai d'exécution après number minutes.

ERREUR_SERVICE Une erreur passagère s'est produite dans le service. Réessayez d'exécuter le flux de travail.
TASK_TIMED_OUT Tâche id a expiré après number secondes.

TAILLE D'ENTRÉE NON PRISE EN CHARGE

La taille totale d'entrée est trop élevée. Diminuez la taille de saisie et réessayez.

WORKFLOW_RUN_FAILED

L'exécution du flux de travail a échoué. Passez en revue le CloudWatch Flux de journaux du moteur de journalisation : ID pour corriger la panne.

WORKFLOW_VER_VALIDATION_FAILED

HealthOmics ne prend pas en charge la version Nextflow demandée : version --. La dernière version prise en charge est version. Modifiez votre version de Nextflow en une version compatible et réessayez.

TYPE_INSTANCE_GPU_NON PRIS EN CHARGE

Le type d'instance demandé n'est pas pris en charge dans Region. Réessayez l'exécution avec un type d'instance GPU pris en charge dans cette région. Les types d'instances disponibles sont GPU instance types.

Atténuer les erreurs INSTANCE_RESERVATION_FAILED

Les instances GPU sont des ressources à la demande qui ne sont pas toujours disponibles immédiatement dans la zone ou la région de disponibilité de votre choix.

Quoi HealthOmics fait automatiquement

HealthOmics effectue plusieurs optimisations pour votre compte afin de maximiser le succès de l'acquisition de processeurs graphiques :

  • Multi-AZ chercher: HealthOmics vérifie la capacité du GPU dans plusieurs zones de disponibilité, et pas seulement dans une seule zone de disponibilité.

  • Réessais automatiques: lorsqu'un GPU n'est pas immédiatement disponible, HealthOmics essaie plusieurs fois d'acquérir de la capacité au fur et à mesure qu'elle devient disponible.

  • Rétention du GPU pour toutes les tâches: lorsque votre flux de travail comporte des tâches séquentielles nécessitant un GPU, HealthOmics conserve le GPU que vous possédez déjà pour les tâches suivantes au lieu de le libérer et de le demander à nouveau, ce qui garantit la réussite des flux de travail GPU en plusieurs étapes.

Les bonnes pratiques supplémentaires suivantes peuvent encore améliorer votre taux de réussite lorsque vous courez GPU-accelerated flux de travail sur HealthOmics:

  1. Utilisez des packs d'accélérateurs pour maximiser la flexibilité

    Au lieu de demander un type d'instance GPU spécifique, utilisez des packs d'accélérateurs qui permettent HealthOmics pour sélectionner parmi plusieurs générations de GPU compatibles (par exemple, g4dn, g5, g6). Plus votre flux de travail peut accepter de types de GPU, plus la probabilité de trouver de la capacité disponible est élevée.

    Pour en savoir plus, consultez Accélérateurs de tâches dans un HealthOmics définition du flux de travail. Par exemple :

    • nvidia-t4-a10g-l4 s'appuie sur les familles d'instances G4, G5 et G6

    • nvidia-l4-a10g s'appuie sur les familles d'instances G5 et G6

  2. Envisagez d'exécuter votre flux de travail dans un autre AWS Région

    La disponibilité du GPU varie selon AWS Régions. Si vos exigences en matière de résidence des données le permettent, envisagez de lancer GPU-intensive flux de travail dans une autre région où les capacités peuvent être plus facilement disponibles. Pour en savoir plus sur les régions prises en charge, consultez Quotas de service et points de terminaison pour AWS HealthOmics.

  3. Configurer le repli des ressources

    Pour les flux de travail WDL et Nextflow, vous pouvez utiliser le omicsResourceFallbackOrder directive pour définir une liste ordonnée de profils de ressources (GPU ou CPU) par tâche. Si votre type d'accélérateur préféré n'est pas disponible, HealthOmics essaie automatiquement le type d'accélérateur ou le processeur suivant au lieu d'échouer. Vous pouvez également spécifier la durée HealthOmics devrait rechercher un GPU. Cas d’utilisation :

    • Solution de repli GPU à GPU — essayez d'abord votre accélérateur préféré, puis revenez à une alternative (par exemple, essayez nvidia-l40s d'abord, puis nvidia-l4).

    • Solution de repli entre GPU — ajouter une finale CPU-only profil afin que la tâche soit terminée même lorsqu'aucune capacité GPU n'est disponible.

    Si aucun des profils de votre commande de secours n'a de capacité pendant son temps d'attente, l'exécution échoue avec ÉCHEC DE LA RÉSERVATION DE ALL_PROFILES_INSTANCE_INSTANCE_. Pour les flux de travail WDL, HealthOmics ne réessaie pas la tâche pour cette erreur. Pour les flux de travail Nextflow, errorStrategy et maxRetries déterminez si la tâche est réessayée et si une nouvelle tentative recommence à partir du premier profil. Envisagez d'augmenter le temps d'attente des ressources, ou spécifiez d'autres accélérateurs ou une option de processeur dans votre ordre de repli.

    Pour en savoir plus, consultez Configuration avancée des ressources.

Conseils pour les courses qui ne répondent pas

Lors du développement de nouveaux flux de travail, des exécutions ou des tâches spécifiques peuvent être « bloquées » ou « bloquées » en cas de problème avec votre code et si les tâches ne parviennent pas à quitter correctement les processus. Cela peut être difficile à résoudre et à détecter, car il est normal que les tâches s'exécutent pendant de longues périodes. Pour prévenir et identifier les exécutions qui ne répondent pas, suivez les bonnes pratiques suggérées dans les sections suivantes.

Meilleures pratiques pour éviter les courses sans réponse

  • Assurez-vous de fermer tous les fichiers ouverts dans votre code de tâche. L'ouverture d'un trop grand nombre de fichiers peut parfois entraîner des problèmes de thread dans les moteurs de flux de travail.

  • Les processus d'arrière-plan créés par une tâche de flux de travail doivent se terminer à la fin de la tâche. Toutefois, si un processus en arrière-plan ne se termine pas correctement, vous devez l'arrêter explicitement dans votre code de tâche.

  • Assurez-vous que vos processus ne se déroulent pas en boucle sans être interrompus. Cela peut entraîner une exécution qui ne répond pas et nécessite une modification du code de définition de votre flux de travail pour être résolu.

  • Fournissez une allocation de mémoire et de processeur appropriée à vos tâches. Analysez les CloudWatch journaux ou utilisez le Exécuter l'analyseur lors des exécutions réussies de votre flux de travail afin de vérifier que vous disposez d'une allocation de calcul optimale. Utiliser l'analyseur d'exécution headroom paramètre pour inclure une marge de manœuvre supplémentaire, garantissant que les processus disposent de ressources suffisantes pour être achevés. Prévoyez au moins 5 % de marge de manœuvre dans la mémoire et le processeur alloués, afin de tenir compte des processus du système d'exploitation en arrière-plan.

    • En outre, augmentez la taille de la bande passante de l'instance si celle-ci nécessite un débit plus élevé. Les instances Amazon EC2 dotées de moins de 16 vCPU (taille 4xl et inférieure) peuvent connaître une explosion de débit. Pour plus d'informations sur le débit des instances Amazon EC2, consultez Bande passante d'instance disponible pour Amazon EC2.

  • Assurez-vous d'utiliser la bonne taille de système de fichiers pour vos exécutions. Pour les exécutions qui ne répondent pas et qui utilisent le stockage d'exécution statique, envisagez d'augmenter l'allocation de stockage d'exécution statique afin d'augmenter le débit d'E/S et la capacité de stockage sur le système de fichiers. Analysez le manifeste d'exécution pour connaître la capacité de stockage maximale du système de fichiers, utilisez l'analyseur d'exécution pour déterminer si l'allocation du système de fichiers doit être augmentée.

Meilleures pratiques pour détecter les courses qui ne répondent pas

  • Lorsque vous développez de nouveaux flux de travail, utilisez un groupe d'exécution dont la limite de temps d'exécution maximale est définie pour détecter le code incontrôlable. Par exemple, si une course doit prendre 1 heure, placez-la dans un groupe de courses dont le temps expire au bout de 2 ou 3 heures (ou une période différente en fonction de votre cas d'utilisation) pour détecter les tâches incontrôlables. Appliquez également une mémoire tampon pour tenir compte de la variation des temps de traitement.

  • Configurez une série de groupes d'exécution avec différentes limites d'exécution maximales. Par exemple, vous pouvez attribuer des séries courtes à un groupe d'exécutions qui met fin aux séries au bout de quelques heures, et à un groupe de séries longues qui met fin aux séries au bout de quelques jours, en fonction de la durée prévue de votre flux de travail.

  • HealthOmics a une limite de service de durée d'exécution maximale par défaut de 604 800 secondes, soit 7 jours, qui est ajustable via une demande dans l'outil de quotas. Ne demandez une augmentation de la limite de service de ce quota que si vous avez des courses d'une durée d'environ une semaine. Si vous avez une combinaison de courses courtes et longues et que vous n'utilisez pas de groupes de courses, pensez à placer les courses de longue durée dans un compte distinct avec une limite de service de durée maximale de course plus élevée.

  • Inspectez le CloudWatch journaux pour les tâches qui, selon vous, pourraient ne pas répondre. Si une tâche génère normalement des instructions de journal régulières et ne l'a pas fait pendant une période prolongée, la tâche est probablement bloquée ou bloquée.

Que faire si vous rencontrez une course qui ne répond pas

  • Annulez la course pour éviter des frais supplémentaires.

  • Inspectez le journaux de tâches pour vérifier si des processus n'ont pas réussi à s'arrêter correctement.

  • Inspectez le journaux du moteur pour identifier tout comportement anormal du moteur.

  • Comparez les journaux des tâches et du moteur de l'exécution qui ne répond pas à ceux des exécutions identiques effectuées avec succès. Cela peut aider à identifier les différences susceptibles d'être à l'origine du comportement insensible.

  • Si vous ne parvenez pas à déterminer la cause première, soulevez un étui de support et incluez les éléments suivants :

    • ARN de l'exécution bloquée et ARN d'une exécution identique qui s'est terminée avec succès.

    • Journaux du moteur (disponibles une fois que l'exécution a été annulée ou échoue)

    • Journaux des tâches pour la tâche qui ne répond pas. Nous n'avons pas besoin de journaux de tâches pour toutes les tâches du flux de travail à des fins de dépannage.