使用 ModelPackage 类部署专有基础模型
在 AWS Marketplace 中订阅模型后,必须使用模型软件包信息部署专有模型。有关 SageMaker AI 和 AWS Marketplace 的更多信息,请参阅在 AWS Marketplace 中购买和销售 Amazon SageMaker AI 算法和模型。要查找最新专有模型的 AWS Marketplace 链接,请参阅 Amazon SageMaker JumpStart 入门
在 AWS Marketplace 中订阅您选择的模型后,您可以使用 SageMaker Python SDK 和与模型提供商相关的 SDK 来部署基础模型。例如,AI21 Labs、Cohere 和 LightOn 分别使用 "ai21[SM]"、cohere-sagemaker 和 lightonsage 软件包。
例如,要使用 AI21 Labs 的 Jurassic-2 Jumbo Instruct 定义 JumpStart 模型,请使用以下代码:
import sagemaker import ai21 role = get_execution_role() sagemaker_session = sagemaker.Session() model_package_arn ="arn:aws:sagemaker:us-east-1:865070037744:model-package/j2-jumbo-instruct-v1-1-43-4e47c49e61743066b9d95efed6882f35"my_model = ModelPackage( role=role, model_package_arn=model_package_arn, sagemaker_session=sagemaker_session )
对于分步示例,请在 SageMaker Studio Classic 中查找并运行与您选择的专有基础模型相关的笔记本。请参阅在 Amazon SageMaker Studio Classic 中使用基础模型了解更多信息。有关 SageMaker Python SDK 的更多信息,请参阅 ModelPackage