本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
部署自定义模型
您可以使用 Amazon Bedrock 控制台部署自定义模型 AWS Command Line Interface,或 AWS SDKs。有关使用部署进行推理的信息,请参阅使用部署进行按需推理。
部署自定义模型(控制台)
您可以从自定义模型页面部署自定义模型,如下所示。您也可以从自定义模型按需页面部署具有相同字段的模型。要找到此页面,请在导航窗格的 Infer 下方,选择按需自定义模型。
部署自定义模型
-
使用有权使用 Amazon Bedrock 控制台的 IAM 身份登录。 AWS Management Console 然后,打开 Amazon Bedrock 控制台,网址为https://console.aws.amazon.com/bedrock/
。 -
在左侧导航窗格的基础模型下,选择自定义模型。
-
在模型选项卡中,选择要部署的模型的单选按钮。
-
选择 “设置推理”,然后选择 “按需部署”。
-
在部署详细信息中,提供以下信息:
-
部署名称(必填)-输入部署的唯一名称。
-
描述(可选)-输入部署的描述。
-
标签(可选)-为成本分配和资源管理添加标签。
-
-
选择创建。当部署的状态为时
Active
,您的自定义模型已准备好进行按需推理。有关使用自定义模型的更多信息,请参阅使用部署进行按需推理。
部署自定义模型 (AWS Command Line Interface)
要使用部署自定义模型以进行按需推理 AWS Command Line Interface,请使用带有自定义模型的 Amazon 资源名称 (ARN) 的create-custom-model-deployment
命令。此命令使用 CreateCustomModelDeployment API 操作。响应包括部署的 ARN。部署处于活动状态时,在发出推理请求modelId
时使用此 ARN。有关使用部署进行推理的信息,请参阅使用部署进行按需推理。
aws bedrock create-custom-model-deployment \ --model-deployment-name "
Unique name
" \ --model-arn "Custom Model ARN
" \ --description "Deployment description
" \ --tags '[ { "key": "Environment", "value": "Production" }, { "key": "Team", "value": "ML-Engineering" }, { "key": "Project", "value": "CustomerSupport" } ]' \ --client-request-token "unique-deployment-token
" \ --regionregion
部署自定义模型 (AWS SDKs)
要部署自定义模型以进行按需推理,请使用带有自定义模型的 Amazon 资源名称 (ARN) 的 CreateCustomModelDeploymentAPI 操作。响应包括部署的 ARN。部署处于活动状态时,在发出推理请求modelId
时使用此 ARN。有关使用部署进行推理的信息,请参阅使用部署进行按需推理。
以下代码展示了如何使用适用于 Python 的开发工具包 (Boto3) 来部署自定义模型。
def create_custom_model_deployment(bedrock_client): """Create a custom model deployment Args: bedrock_client: A boto3 Amazon Bedrock client for making API calls Returns: str: The ARN of the new custom model deployment Raises: Exception: If there is an error creating the deployment """ try: response = bedrock_client.create_custom_model_deployment( modelDeploymentName="
Unique deployment name
", modelArn="Custom Model ARN
", description="Deployment description
", tags=[ {'key': 'Environment', 'value': 'Production'}, {'key': 'Team', 'value': 'ML-Engineering'}, {'key': 'Project', 'value': 'CustomerSupport'} ], clientRequestToken=f"deployment-{uuid.uuid4()}" ) deployment_arn = response['customModelDeploymentArn'] print(f"Deployment created: {deployment_arn}") return deployment_arn except Exception as e: print(f"Error creating deployment: {str(e)}") raise