本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
运行失败原因
如果运行失败,请使用 GetRun 用于检索失败原因的 API 操作。
有关读取运行记录、失败任务记录和日志的顺序,请参见 调试 HealthOmics 工作流程运行。
查看失败原因以帮助您排除运行失败的原因。下表列出了每个失败原因以及错误描述。
| 失败原因 | 错误描述 |
|---|---|
|
|
没有足够的实例容量来容纳您在中指定的任何加速器 |
|
|
HealthOmics 没有权限代入该角色。指定 HealthOmics 该职位信任关系的负责人。 |
|
|
无法启动工作流程任务: |
|
|
无法启动工作流程任务: |
|
|
在 URI 中找不到图片: |
ECR_PERMISSION_ERROR |
HealthOmics 没有权限访问图片 URI。 确认 Amazon ECR 私有存储库存在并已授予访问权限 HealthOmics 服务负责人。 |
|
|
找不到图片 URI 的亚马逊 ECR 存储库: |
|
|
导出失败。检查输出存储桶是否存在以及运行角色是否具有对该存储桶的写入权限。 |
|
|
文件系统没有足够的空间。增加文件系统大小并重新运行。 |
|
|
无法验证图片 |
|
|
导入失败。检查输入文件是否存在,运行角色是否可以访问输入。 |
INACTIVE_OMICS_STORAGE_RESOURCE |
这个 HealthOmics 存储 URI 未处于活动状态。激活读取集,然后重试。要了解有关激活读取集的更多信息,请参阅 在中激活读取集 HealthOmics。 |
未找到输入 URI |
提供的 URI 不存在: uri。检查 URI 路径是否存在并确认该角色可以访问该对象。 |
|
|
没有足够的实例容量来完成工作流程运行。等待,然后再次尝试运行工作流程。要了解有关实例预留失败错误缓解措施的更多信息,请参阅 缓解实例预留失败错误。 |
无效的 ECR_IMAGE_URI |
亚马逊 ECR 图片 URI 结构无效。请提供有效的 URI,然后重试。 |
|
|
请求的 GPU、CPU 或内存要么过高,无法容纳可用计算容量,要么小于任务的最小值 1 ID。 |
|
|
URI 结构无效 uri。检查 URI 结构,然后重试。 |
修改后的输入资源 |
提供的 URI |
|
|
工作流任务 |
|
|
由于任务失败,运行失败。要调试任务失败,请使用 GetRunTask API 操作和亚马逊 CloudWatch 日志直播。 |
|
|
之后运行超时 |
服务错误 |
服务中出现了暂时性错误。再次尝试运行工作流程。 |
TASK_TIMED_OUT |
任务 id 之后超时 number 秒。 |
|
|
总输入大小过高。减小输入大小,然后重试。 |
|
|
工作流程运行失败。查看 CloudWatch 日志引擎日志流: |
|
|
HealthOmics 不支持请求的 Nextflow 版本: |
|
|
中不支持请求的实例类型 |
缓解实例预留失败错误
GPU 实例是按需资源,在您的首选可用区或地区可能并不总是立即可用。
什么 HealthOmics 会自动执行
HealthOmics 代表您执行多项优化,以最大限度地提高 GPU 采集成功率:
-
Multi-AZ 搜索: HealthOmics 检查多个可用区的 GPU 容量,而不仅仅是单个可用区。
-
自动重试:当 GPU 无法立即可用时, HealthOmics 在容量可用时多次重试以获取容量。
-
任务间的 GPU 保留率:当您的工作流程有需要 GPU 的顺序任务时, HealthOmics 保留已有的 GPU 用于后续任务,而不是将其释放并重新请求,从而确保成功完成多步 GPU 工作流程。
以下其他最佳实践可以进一步提高跑步时的成功率 GPU-accelerated 工作流程开启 HealthOmics:
-
使用加速器套装最大限度地提高灵活性
与其请求特定 GPU 实例类型,不如使用允许的加速器套装 HealthOmics 从多个兼容的 GPU 代中进行选择(例如,g4dn、g5、g6)。您的工作流程可以接受的 GPU 类型越多,找到可用容量的可能性就越高。
要了解更多信息,请参阅中的任务加速器 HealthOmics 工作流程定义。例如:
-
nvidia-t4-a10g-l4从 G4、G5 和 G6 实例系列中提取 -
nvidia-l4-a10g从 G5 和 G6 实例系列中提取
-
-
考虑在另一个工作流程中运行您的工作流程 AWS 区域
GPU 可用性因人而异 AWS 地区。如果您的数据驻留要求允许,请考虑运行 GPU-intensive 工作流程位于其他地区,那里的容量可能更容易获得。要了解有关支持的区域的更多信息,请参阅 的服务配额和终端节点 AWS HealthOmics。
-
配置资源回退
对于 WDL 和 Nextflow 工作流程,您可以使用
omicsResourceFallbackOrder指令用于定义每个任务的资源配置文件(GPU 或 CPU)的有序列表。如果您的首选加速器类型不可用, HealthOmics 自动尝试下一个加速器类型或 CPU,而不是失败。您也可以指定多长时间 HealthOmics 应该搜索 GPU。使用案例包括:-
GPU 到 GPU 的后备模式 — 先尝试你喜欢的加速器,然后再使用其他加速器(例如,尝试
nvidia-l40s首先,然后nvidia-l4)。 -
GPU 到 CPU 的备用机制 — 添加结局 CPU-only 配置文件这样即使没有 GPU 容量也能完成任务。
如果您的备用顺序中的所有配置文件在等待时间内都没有容量,则运行将失败
所有配置文件实例预留失败。对于 WDL 工作流程, HealthOmics 不会针对此错误重试任务。对于 NextfLOW 工作流程,errorStrategy和maxRetries确定是否重试任务,然后从第一个配置文件重新开始重试。考虑延长资源等待时间,或者在备用顺序中指定备用加速器或 CPU 选项。要了解更多信息,请参阅高级资源配置。
-
无响应运行指南
在开发新工作流程时,如果您的代码出现问题,运行或特定任务可能会出现 “卡住” 或 “挂起” 状态,并且任务无法正常退出进程。这可能很难进行故障排除和捕获,因为任务长时间运行是正常的。要防止和识别无响应的运行,请遵循以下部分中建议的最佳实践。
防止无响应运行的最佳实践
-
确保关闭任务代码中打开的所有文件。打开过多文件有时会导致工作流程引擎中的线程问题。
-
工作流任务创建的后台进程应在任务退出时退出。但是,如果后台进程无法完全退出,则必须在任务代码中明确关闭该进程。
-
确保您的进程在不退出的情况下不会循环。这可能会导致运行无响应,需要更改工作流程定义代码才能解决。
-
为您的任务提供适当的内存和 CPU 分配。分析 CloudWatch 圆木 或者使用 运行分析器 成功完成工作流程运行以验证您的计算分配是否处于最佳状态。使用运行分析器
headroom参数包括额外的余量,确保流程有足够的资源来完成。在分配的内存和 CPU 中至少包括 5% 的余量,以考虑后台操作系统进程。-
此外,如果实例需要更高的吞吐量,请增加实例带宽大小。少于 16 个 vCPU(大小为 4xl 或更小)的 Amazon EC2 实例可能会出现吞吐量激增。有关 Amazon EC2 实例吞吐量的更多信息,请参阅 Amazon EC2 可用实例带宽。
-
-
确保使用正确的文件系统大小进行运行。对于使用静态运行存储的无响应运行,可以考虑增加静态运行存储分配,以在文件系统上实现更高的 IO 吞吐量和存储容量。分析运行清单以查看最大文件系统存储空间,使用 Run Analyzer 确定是否需要增加文件系统分配。
捕捉无响应跑步的最佳实践
-
开发新工作流程时,使用设置了最大运行时间限制的运行组来捕获失控的代码。例如,如果运行应需要 1 小时才能完成,则将其放入运行组中,该运行组在 2 或 3 小时后(或根据您的用例设置不同的时间段)超时,以捕捉失控的作业。此外,应用缓冲区来考虑处理时间的差异。
-
设置一系列具有不同最大运行时间限制的运行组。例如,根据您的预期工作流程持续时间,您可以将短期运行分配给一个运行组,该运行组在几小时后终止运行,并将几天后终止运行的长期运行分组。
-
HealthOmics 默认的最大运行时长服务限制为 604,800 秒或 7 天,可通过配额工具中的请求进行调整。只有当你的运行时间接近一周时,才可以申请增加此配额的服务限制。如果您混合使用了短期运行和长期运行并且没有使用运行组,可以考虑将长时间运行的运行放在具有更高的最大运行时长服务限制的单独账户中。
-
检查 CloudWatch 圆木 用于您怀疑可能无法响应的任务。如果任务通常输出常规日志语句并且已经很长一段时间没有这样做,则该任务很可能会被卡住或冻结。
如果遇到无响应的运行该怎么办