本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
使用 NVIDIA GPU 在 Deadline Cloud workers
GitHub 网站上的 docker_nvidia_container_toolkit docker run许多 GPU 工作负载,例如 ComfyUI 和 Stable Diffusion 推理服务器,都以容器镜像的形式发货,需要带有 GPU 直通功能的 Docker。容器还提供了一种简洁的方法来打包复杂的依赖堆栈(CUDA、Python、应用程序专用库),而不会污染主机或与舰队中的其他任务发生冲突。
脚本执行以下操作:
-
通过安装 Docker
dnf并启动该服务。 -
job-user添加到docker组中,这样作业就可以在没有 sudo 的情况下运行容器。 -
从官方存储库安装 NVIDIA 容器工具包。
-
将 Docker 守护程序配置为使用 NVIDIA 运行时。
-
为 GPU 访问生成 CDI(容器设备接口)规范。
-
重新启动 Docker 并验证设置。
舰队 AMI 必须已经安装了 Deadline Cloud GPU AMI 提供的 NVIDIA GPU 驱动程序,并且队列必须使用g6.xlargeg6e.xlarge、或p4d.24xlarge等 GPU 实例类型。
主机配置运行后,作业可以启动 GPU 容器。以下示例使用传递了 GPU 访问权限、主机网络和标准 Deadline Cloud 基于使用情况的许可证环境变量来运行容器:
docker run --rm \ --runtime=nvidia \ --gpus all \ --network host \ -e ADSKFLEX_LICENSE_FILE \ -e FLEXLM_TIMEOUT \ -e foundry_LICENSE \ -e PIXAR_LICENSE_FILE \ -e g_licenseServerRLM \ -e redshift_LICENSE \ -e SESI_LMHOST \ -e VRAY_AUTH_CLIENT_FILE_PATH \ -e VRAY_AUTH_CLIENT_SETTINGS \your-image:latest