故障排除 - 亚马逊 SageMaker AI

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

故障排除

重要

截至 2023 年 11 月 30 日,之前的亚马逊 SageMaker Studio 体验现在被命名为 Amazon St SageMaker udio Classic。以下部分专门介绍如何使用更新后的 Studio 体验。有关使用 Studio Classic 应用程序的信息,请参阅 亚马逊 SageMaker Studio 经典版

重要

允许 Amazon SageMaker Studio 或 Amazon SageMaker Studio Classic 创建亚马逊 SageMaker资源的自定义 IAM 策略还必须授予向这些资源添加标签的权限。之所以需要为资源添加标签的权限,是因为 Studio 和 Studio Classic 会自动为创建的任何资源添加标签。如果 IAM 策略允许 Studio 和 Studio Classic 创建资源但不允许标记,则在尝试创建资源时可能会出现 AccessDenied “” 错误。有关更多信息,请参阅 提供标记 A SageMaker I 资源的权限

AWS 亚马逊 A SageMaker I 的托管策略授予创建 SageMaker 资源的权限已经包括在创建这些资源时添加标签的权限。

本节介绍如何解决 Amazon SageMaker Studio 中的常见问题。

恢复模式

当配置问题导致无法正常启动时,恢复模式允许您访问 Studio 应用程序。它提供了一个具有基本功能的简化环境,可帮助您诊断和修复问题。

当应用程序无法启动时,您可能会看到一条有关访问恢复模式以解决以下配置问题之一的错误消息。

  • .condarc文件已损坏。

    有关.condarc文件疑难解答的信息,请参阅 Conda 用户指南中的疑难解答页面。

  • 可用存储量不足。

    您可以增加应用程序可用的 Amazon EBS 空间存储空间或进入恢复模式以删除不必要的数据。

    有关增加 Amazon EBS 卷大小的信息,请参阅 Ser vice Quotas 开发者指南中的申请配额大小

在恢复模式下:

  • 您的主目录将不同于正常启动的目录。此目录是临时的,可确保标准主目录中任何损坏的配置都不会影响恢复模式操作。您可以使用命令导航到您的标准主目录cd /home/sagemaker-user

    • 标准模式:/home/sagemaker-user

    • 恢复模式:/tmp/sagemaker-recovery-mode-home

  • conda 环境使用最小的基础 conda 环境,仅包含基本软件包。简化的 conda 设置有助于隔离与环境相关的问题,并提供用于故障排除的基本功能。

您可以使用 Studio 用户界面或在恢复模式下访问应用程序。 AWS CLI

以下内容提供了有关在恢复模式下访问应用程序的说明。

  1. 如果您尚未启动 Studio 用户界面,请按照中的说明启动 Studio 用户界面从 Amazon A SageMaker I 控制台启动

  2. 在左侧导航菜单的 “应用程序” 下,选择应用程序。

  3. 选择您遇到配置问题的空间。

    当您遇到前面提到的一个或多个配置问题时,可以使用以下步骤。在这种情况下,您将看到警告横幅和恢复模式消息。

    注意

    警告横幅上应有针对该问题的推荐解决方案。在继续操作之前,请记下来。

  4. 选择运行空间(恢复模式)

  5. 要在恢复模式下访问应用程序,请选择打开application(恢复模式)

要在恢复模式下访问您的应用程序,您必须在 create- AWS CLI ap --recovery-mode p 命令后附加。以下提供了有关如何在恢复模式下访问应用程序的示例。

对于以下示例,你需要你的:

Access Code Editor application in recovery mode
aws sagemaker create-app \ --app-name app-name \ --app-type CodeEditor \ --domain-id domain-id \ --space-name space-name \ --recovery-mode
Access JupyterLab application in recovery mode
aws sagemaker create-app \ --app-name app-name \ --app-type JupyterLab \ --domain-id domain-id \ --space-name space-name \ --recovery-mode

无法删除代码编辑器或 JupyterLab 应用程序

当用户从 Amazon SageMaker Studio 创建仅在 Studio 中可用的应用程序,然后将其默认体验恢复为 Studio Classic 时,就会出现此问题。因此,用户无法根据 Code-OSS、Visual Studio Code-Open Source 删除代码编辑器的应用程序 JupyterLab,或者因为他们无法访问 Studio 用户界面。

要解决此问题,请通知您的管理员,以便他们可以使用 AWS Command Line Interface (AWS CLI) 手动删除应用程序。

EC2InsufficientCapacityError

当您尝试运行空间但当前 AWS 没有足够的按需容量来满足您的请求时,就会出现此问题。

要解决此问题,请完成以下操作。

  • 等待几分钟,然后重新提交请求。容量会经常变化。

  • 使用其他实例大小或类型运行空间。

注意

不同的可用区可提供不同的容量。为了最大限度地提高用户的可用容量,我们建议在所有可用区内设置子网。Studio 会重试域的所有可用区。

不同区域的实例类型可用性不同。有关每个区域支持的实例类型的列表,请参阅 Amazon A SageMaker I 定价

下表列出了实例系列及其推荐的替代方案。

实例系列 CPU 类型 v CPUs 内存(GiB) GPU 类型 GPUs GPU 内存 (GiB) 建议的替代方案
G4dn 第二代英特尔至强可扩展处理器 4 到 96 16 到 384 英伟达 T4 Tensor Core 1 至 8 每个 GPU 16 G6
G5 第二代 AMD EPYC 处理器 4 到 192 16 到 768 NVIDIA A10G Tensor 内核 1 至 8 每个 GPU 24 G6e
G6 第三代 AMD EPYC 处理器 4 到 192 16 到 768 英伟达 L4 Tensor Core 1 至 8 每个 GPU 24 G4dn
G6e 第三代 AMD EPYC 处理器 4 到 192 32 到 1536 NVIDIA L40S 张量核心 1 至 8 每个 GPU 48 G5,P4
P3 英特尔至强可扩展处理器 8 到 96 61 到 768 英伟达特斯拉 V100 1 至 8 每个 GPU 16 个(p3dn 每个 GPU 32 个) G6e、P4
P4 第二代英特尔至强可扩展处理器 96 1152 英伟达 A100 Tensor Core 8 320(p4de 为 640) G6e
P5 第三代 AMD EPYC 处理器 192 2000 英伟达 H100 Tensor Core 8 640 P4de

限制不足(需要增加配额)

当您在尝试运行空间时收到以下错误消息时,就会出现此问题。

Error when creating application for space: ... : The account-level service limit is X Apps, with current utilization Y Apps and a request delta of 1 Apps. Please use Service Quotas to request an increase for this quota.

对于每种实例类型,您可以在每种实例类型中运行的实例数量都有默认限制 AWS 区域。此错误表示您已达到该限制。

要解决此问题,请申请提高您启动空间的实例限制。 AWS 区域 有关更多信息,请参阅 Requesting a quota increase(请求增加限额)。

加载自定义镜像失败

如果 A SageMaker I 图像在从您的域中分离之前被删除,则会出现此问题。当您查看域名的 “环境” 选项卡时,可以看到这一点。

要解决此问题,您需要创建一个与已删除图像同名的临时新图像,分离该图像,然后删除临时图像。按照以下说明进行演练。

  1. 如果您尚未执行此操作,请启动 SageMaker AI 控制台

  2. 在左侧导航菜单的 “管理员配置” 下,选择 “”。

  3. 选择您的域。

  4. 选择 “环境” 选项卡。您将在此页面上看到错误消息。

  5. 从图片 ARN 中复制您的图片名称。

  6. 在左侧导航菜单的 “管理员配置” 下,选择 “图像”。

  7. 选择创建映像

  8. 按照程序中的步骤操作,但要确保您的图像名称与上面的图像名称相同。

    如果您在 Amazon ECR 目录中没有图片,请参阅中的说明。创建自定义镜像并推送到 Amazon ECR

  9. 创建 A SageMaker I 映像后,导航回您的域环境选项卡。您将看到附加到您的域名的图片。

  10. 选择图像并选择 “分离”。

  11. 按照说明分离和删除临时 SageMaker AI 镜像。