Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Motivos de error de ejecución
Si una ejecución falla, usa el GetRun Operación de API para recuperar el motivo del error.
Para ver el orden en el que se deben leer el registro de ejecución, los registros de tareas fallidas y los registros, consulte Depurar un HealthOmics ejecución de flujo de trabajo.
Revise el motivo del error para ayudarlo a solucionar el motivo por el que falló la ejecución. En la tabla siguiente se enumeran los motivos de cada error junto con una descripción del error.
| Motivo del error | Descripción del error |
|---|---|
|
|
No hay suficiente capacidad de instancia para ninguno de los aceleradores que especificó en el |
|
|
HealthOmics no tiene permiso para asumir el rol. Especifique el HealthOmics principal en la relación de confianza para el puesto. |
|
|
No se puede iniciar la tarea de flujo de trabajo: |
|
|
No se puede iniciar la tarea de flujo de trabajo: |
|
|
No se encontró la imagen en la URI: |
ECR_PERMISSION_ERROR |
HealthOmics no tiene permiso para acceder al URI de la imagen. Confirme que el repositorio privado de Amazon ECR existe y que ha otorgado acceso al HealthOmics principal de servicio. |
|
|
No se encontró el repositorio de Amazon ECR para la URI de la imagen: |
|
|
Se produjo un error en la exportación. Compruebe que el bucket de salida existe y que el rol de ejecución tiene permiso de escritura en el bucket. |
|
|
El sistema de archivos no tiene suficiente espacio. Aumente el tamaño del sistema de archivos y vuelva a ejecutarlo. |
|
|
No se puede verificar la imagen |
|
|
Fallo en la importación. Compruebe que el archivo de entrada existe y que el rol de ejecución puede acceder a la entrada. |
INACTIVE_OMICS_STORAGE_RESOURCE |
El HealthOmics El URI de almacenamiento no está en estado ACTIVO. Activa el conjunto de lectura e inténtalo de nuevo. Para obtener más información sobre la activación de los conjuntos de lectura, consulte La activación de los conjuntos de lectura está en HealthOmics. |
INPUT_URI_NOT_FOUND |
La URI proporcionada no existe: uri. Compruebe que la ruta URI existe y confirme que el rol puede acceder al objeto. |
|
|
No hay suficiente capacidad de instancias para completar la ejecución del flujo de trabajo. Espera e intenta volver a ejecutar el flujo de trabajo. Para obtener más información sobre la mitigación de errores fallidos en la reserva de instancias, consulta Mitigar los errores de INSTANCE_RESERVATION_FAILED. |
INVALID_ECR_IMAGE_URI |
La estructura URI de la imagen de Amazon ECR no es válida. Proporcione un URI válido e inténtelo de nuevo. |
|
|
La GPU, la CPU o la memoria solicitadas son demasiado altas para la capacidad informática disponible o son inferiores al valor mínimo de 1 para la tarea ID. |
|
|
La estructura de URI no es válida uri. Comprueba la estructura de la URI e inténtalo de nuevo. |
MODIFIED_INPUT_RESOURCE |
La URI proporcionada |
|
|
La tarea de flujo de trabajo |
|
|
La ejecución falló porque la tarea falló. Para depurar el error de la tarea, utilice el GetRunTask La operación de la API y Amazon CloudWatch Secuencia de registros. |
|
|
Se agota el tiempo de espera después |
ERROR DE SERVICIO |
Se ha producido un error transitorio en el servicio. Intente ejecutar de nuevo el flujo de trabajo. |
TASK_TIMED_OUT |
Tarea id se agotó el tiempo de espera después number segundos. |
|
|
El tamaño total de entrada es demasiado alto. Reduzca el tamaño de entrada e inténtelo de nuevo. |
|
|
Fallo al ejecutar el flujo de trabajo. Revise el CloudWatch Registra el flujo de registros del motor: |
|
|
HealthOmics no admite la versión de Nextflow solicitada: |
|
|
El tipo de instancia solicitado no se admite en |
Mitigar los errores de INSTANCE_RESERVATION_FAILED
Las instancias de GPU son recursos bajo demanda que no siempre están disponibles de inmediato en la zona de disponibilidad o región que prefieras.
¿Qué HealthOmics lo hace automáticamente
HealthOmics realiza varias optimizaciones en su nombre para maximizar el éxito de la adquisición de la GPU:
-
Multi-AZ búsqueda: HealthOmics comprueba la capacidad de la GPU en varias zonas de disponibilidad, no solo en una sola AZ.
-
Reintentos automáticos: Cuando una GPU no está disponible de inmediato, HealthOmics reintenta varias veces adquirir capacidad a medida que está disponible.
-
Retención de la GPU en todas las tareas: Cuando su flujo de trabajo tiene tareas secuenciales que requieren una GPU, HealthOmics conserva la GPU que ya tiene para las tareas posteriores en lugar de liberarla y volver a solicitarla, lo que garantiza la finalización satisfactoria de los flujos de trabajo de la GPU de varios pasos.
Las siguientes prácticas recomendadas adicionales pueden mejorar aún más tu tasa de éxito al ejecutar GPU-accelerated flujos de trabajo en HealthOmics:
-
Utilice paquetes de aceleradores para maximizar la flexibilidad
En lugar de solicitar un tipo de instancia de GPU específico, usa paquetes aceleradores que permitan HealthOmics para seleccionar entre varias generaciones de GPU compatibles (por ejemplo, g4dn, g5, g6). Cuantos más tipos de GPU pueda aceptar tu flujo de trabajo, mayor será la probabilidad de encontrar capacidad disponible.
Para obtener más información, consulte Aceleradores de tareas en un HealthOmics definición de flujo de trabajo. Por ejemplo:
-
nvidia-t4-a10g-l4se basa en las familias de instancias G4, G5 y G6 -
nvidia-l4-a10gse basa en las familias de instancias G5 y G6
-
-
Considera la posibilidad de ejecutar tu flujo de trabajo en otro AWS Región
La disponibilidad de la GPU varía en función AWS Regiones. Si sus requisitos de residencia de datos lo permiten, considere postularse GPU-intensive flujos de trabajo en una región diferente donde la capacidad puede estar disponible con mayor facilidad. Para obtener más información sobre las regiones compatibles, consulte Cuotas de servicio y puntos finales para AWS HealthOmics.
-
Configurar el respaldo de recursos
Para los flujos de trabajo de WDL y Nextflow, puede utilizar el
omicsResourceFallbackOrderdirectiva para definir una lista ordenada de perfiles de recursos (GPU o CPU) por tarea. Si su tipo de acelerador preferido no está disponible, HealthOmics intenta automáticamente el siguiente tipo de acelerador o CPU en lugar de fallar. También puede especificar cuánto tiempo HealthOmics debe buscar una GPU. Los casos de uso incluyen los siguientes:-
Alternativa de GPU a GPU — pruebe primero con su acelerador preferido y, a continuación, recurra a una alternativa (por ejemplo, pruebe
nvidia-l40sprimero, luegonvidia-l4). -
Alternativa de GPU a CPU — añadir un final CPU-only perfil para que la tarea se complete incluso cuando no haya capacidad de GPU disponible.
Si ninguno de los perfiles de su orden alternativo tiene capacidad dentro de su tiempo de espera, la ejecución fallará con
ALL_PROFILES_INSTANCE_RESERVATION_FAILED. Para los flujos de trabajo de WDL, HealthOmics no vuelve a intentar la tarea a causa de este error. Para los flujos de trabajo de Nextflow,errorStrategyymaxRetriesdetermine si la tarea se ha reintentado y si el reintento comienza de nuevo desde el primer perfil. Considere la posibilidad de aumentar el tiempo de espera de los recursos o especificar aceleradores alternativos o una opción de CPU en su orden alternativo.Para obtener más información, consulte Configuración avanzada de recursos.
-
Guía para ejecuciones que no responden
Al desarrollar nuevos flujos de trabajo, las ejecuciones o tareas específicas pueden quedar «bloqueadas» o «bloqueadas» si hay problemas con el código y las tareas no salen correctamente de los procesos. Detectar y solucionar este problema puede resultar difícil, ya que es normal que las tareas se ejecuten durante períodos prolongados. Para evitar e identificar las ejecuciones que no responden, siga las prácticas recomendadas que se sugieren en las siguientes secciones.
Prácticas recomendadas para evitar que las ejecuciones no respondan
-
Asegúrese de cerrar todos los archivos abiertos en el código de tareas. En ocasiones, abrir demasiados archivos puede provocar problemas de subprocesamiento en los motores de flujo de trabajo.
-
Los procesos en segundo plano creados por una tarea de flujo de trabajo deben cerrarse cuando finaliza la tarea. Sin embargo, si un proceso en segundo plano no se cierra de forma limpia, debes cerrar ese proceso de forma explícita en el código de la tarea.
-
Asegúrese de que sus procesos no se repitan sin salir. Esto puede provocar que la ejecución no responda y, para solucionarlo, es necesario cambiar el código de definición del flujo de trabajo.
-
Proporcione la asignación adecuada de memoria y CPU a sus tareas. Analice el CloudWatch registros o usa el Ejecute Analyzer en las ejecuciones de su flujo de trabajo completadas correctamente para verificar que tiene una asignación informática óptima. Utilice el Run Analyzer
headroomparámetro para incluir un margen de maniobra adicional, garantizando que los procesos cuenten con recursos suficientes para completarse. Incluya al menos un 5% de espacio libre en la memoria y la CPU asignadas para tener en cuenta los procesos del sistema operativo en segundo plano.-
Además, aumente el tamaño del ancho de banda de la instancia si la instancia requiere un mayor rendimiento. Las instancias de Amazon EC2 con menos de 16 vCPU (tamaño 4 x L o más pequeño) pueden experimentar un rendimiento vertiginoso. Para obtener más información sobre el rendimiento de las instancias de Amazon EC2, consulte Ancho de banda de instancia disponible en Amazon EC2.
-
-
Asegúrese de utilizar el tamaño de sistema de archivos correcto para sus ejecuciones. En el caso de las ejecuciones que no responden y utilizan almacenamiento de ejecución estático, considere la posibilidad de aumentar la asignación de almacenamiento de ejecución estática para aumentar el rendimiento de E/S y la capacidad de almacenamiento en el sistema de archivos. Analice el manifiesto de ejecución para ver el almacenamiento máximo del sistema de archivos y utilice el analizador de ejecución para determinar si es necesario aumentar la asignación del sistema de archivos.
Mejores prácticas para detectar ejecuciones que no responden
-
Cuando desarrolle nuevos flujos de trabajo, utilice un grupo de ejecución con el límite máximo de tiempo de ejecución establecido para detectar el código incontrolado. Por ejemplo, si una ejecución tarda 1 hora en completarse, colócala en un grupo de ejecución que agote el tiempo de espera después de 2 o 3 horas (o en un período de tiempo diferente según tu caso de uso) para detectar los trabajos inactivos. Además, aplica un búfer para tener en cuenta las variaciones en los tiempos de procesamiento.
-
Configure una serie de grupos de ejecución con diferentes límites máximos de ejecución. Por ejemplo, puede asignar ejecuciones cortas a un grupo de ejecuciones que las termine después de unas horas, y a un grupo de ejecuciones largas que termine las ejecuciones después de unos días, en función de la duración prevista del flujo de trabajo.
-
HealthOmics tiene un límite predeterminado de servicio de duración máxima de ejecución de 604 800 segundos, o 7 días, que se puede ajustar mediante una solicitud en la herramienta de cuotas. Solicita un aumento del límite de servicio de esta cuota únicamente si tienes ejecuciones de una duración aproximada de una semana. Si tienes una combinación de tiradas cortas y largas y no utilizas grupos de ejecuciones, considera la posibilidad de guardar las tiradas de larga duración en una cuenta independiente con un límite de servicio de duración máxima de ejecución más alto.
-
Inspeccione el CloudWatch registros para tareas que sospechas que podrían no responder. Si una tarea normalmente genera sentencias de registro regulares y no lo ha hecho durante un período prolongado, es probable que la tarea esté bloqueada o congelada.
Qué hacer si te encuentras con una ejecución que no responde
-
Cancele la ejecución para evitar incurrir en costes adicionales.
-
Inspeccione el registros de tareas para comprobar si algún proceso no se cerró correctamente.
-
Inspeccione el registros del motor para identificar cualquier comportamiento anormal del motor.
-
Compare los registros de tareas y motores de la ejecución que no responde con los de ejecuciones idénticas completadas correctamente. Esto puede ayudar a identificar cualquier diferencia que pueda haber provocado el comportamiento de no respuesta.
-
Si no puede determinar la causa raíz, genere un caso de soporte e incluyen lo siguiente:
-
El ARN de la ejecución bloqueada y el ARN de una ejecución idéntica que se completó correctamente.
-
Registros del motor (disponibles cuando la ejecución se cancela o falla)
-
Registros de tareas de la tarea que no responde. Para solucionar problemas, no necesitamos registros de tareas para todas las tareas del flujo de trabajo.
-