即时获取潜在实例 - 亚马逊 SageMaker AI

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

即时获取潜在实例

Inference Recommender 还会在 SageMaker AI 模型详细信息页面上提供潜在实例或可能适合模型的实例类型的列表。Inference Recommender 会自动针对您的模型执行初步基准测试，以便提供前五大潜在实例。由于这些都是初步推荐，因此，我们建议您运行更多的实例推荐作业，以获得更准确的结果。

您可以使用 DescribeModel API、SageMaker Python SDK 或 SageMaker AI 控制台以编程方式查看模型的潜在实例列表。

注意

在此功能变为可用之前，您将无法获得在 SageMaker AI 中创建的模型的潜在实例。

要通过控制台查看模型的潜在实例，请执行以下操作：

  1. 转到位于 https://console.aws.amazon.com/sagemaker/ 的 SageMaker 控制台。

  2. 在左侧导航窗格中，选择推理，然后选择模型。

  3. 从模型列表中选择您的模型。

在您的模型的详细信息页面上，转到要部署模型的潜在实例部分。以下屏幕截图显示了此部分。

模型详细信息页面上的潜在实例列表的屏幕截图。

在此部分中，您可以查看针对模型部署的成本、吞吐量和延迟进行了优化的潜在实例，以及每种实例类型的其他信息，例如内存大小、CPU 和 GPU 数量以及每小时成本。

如果您决定要对示例负载进行基准测试并为模型运行完整的推理推荐作业，则可以从此页面启动默认的推理推荐作业。要通过控制台启动默认作业，请执行以下操作：

  1. 在模型详细信息页面的要部署模型的潜在实例部分中，选择运行 Inference Recommender 作业。

  2. 在弹出的对话框中，对于用于对负载进行基准测试的 S3 存储桶，输入您将模型的示例负载存储到的 Amazon S3 位置。

  3. 在负载内容类型中，输入负载数据的 MIME 类型。

  4. （可选）在使用 SageMaker Neo 编译模型部分中，对于数据输入配置，输入字典格式的数据形状。

  5. 选择运行作业。

Inference Recommender 将启动作业，您可以从 SageMaker AI 控制台的 Inference Recommender 列表页面上查看作业及其结果。

如果要运行高级作业并执行自定义负载测试，或者要为作业配置其他设置和参数，请参阅运行自定义负载测试。