部署基础模型和自定义微调模型 - 亚马逊 SageMaker AI

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

部署基础模型和自定义微调模型

无论您是部署来自 Amazon 的预训练基础开放权重模型或门控模型,还是存储在 Amazon SageMaker JumpStart S3 或 Amazon 中的自定义模型或微调模型 FSx,都能 SageMaker HyperPod 提供生产推理工作负载所需的灵活、可扩展的基础设施。

从中部署开放式权重和封闭式基础模型 JumpStart 部署来自 Amazon S3 和亚马逊的自定义和微调模型 FSx
描述

使用针对每个模型系列量身定制的自动优化和扩展策略,从全面的预训练基础模型目录中进行部署。

带上您自己的自定义和微调模型,并利用 SageMaker HyperPod企业基础设施进行生产规模的推理。您可以选择使用 Amazon S3 提供的经济实惠的存储或使用 Amazon 的高性能文件系统 FSx。
主要优势
  • 通过 Amazon SageMaker Studio 用户界面一键部署

  • 自动启用基于传入请求的自动缩放

  • 为每个型号系列预先优化的容器和配置

  • 门控模型的 EULA 处理

  • 支持多个存储后端:亚马逊 S3、亚马逊 FSx

  • 灵活的容器和框架支持

  • 根据您的模型特征自定义扩展策略

部署选项
  • 用于视觉部署的 Amazon SageMaker Studio

  • kubectl 用于 Kubernetes 原生操作

  • 用于编程集成的 Python 开发工具包

  • HyperPod 用于命令行自动化的 CLI

  • kubectl 用于 Kubernetes 原生操作

  • 用于编程集成的 Python 开发工具包

  • HyperPod 用于命令行自动化的 CLI

以下各节将引导您完成从亚马逊 SageMaker JumpStart 、Amazon S3 和亚马逊部署模型的过程 FSx。