部署自定义模型 - Amazon Bedrock

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

部署自定义模型

您可以使用 Amazon Bedrock 控制台部署自定义模型 AWS Command Line Interface,或 AWS SDKs。有关使用部署进行推理的信息,请参阅使用部署进行按需推理

部署自定义模型(控制台)

您可以从自定义模型页面部署自定义模型,如下所示。您也可以从自定义模型按需页面部署具有相同字段的模型。要找到此页面,请在导航窗格的 Infer 下方,选择按需自定义模型

部署自定义模型
  1. 使用有权使用 Amazon Bedrock 控制台的 IAM 身份登录。 AWS Management Console 然后,打开 Amazon Bedrock 控制台,网址为https://console.aws.amazon.com/bedrock/

  2. 在左侧导航窗格的基础模型下,选择自定义模型

  3. 模型选项卡中,选择要部署的模型的单选按钮。

  4. 选择 “设置推理”,然后选择 “按需部署”。

  5. 部署详细信息中,提供以下信息:

    • 部署名称(必填)-输入部署的唯一名称。

    • 描述(可选)-输入部署的描述。

    • 标签(可选)-为成本分配和资源管理添加标签。

  6. 选择创建。当部署的状态为时Active,您的自定义模型已准备好进行按需推理。有关使用自定义模型的更多信息,请参阅使用部署进行按需推理

部署自定义模型 (AWS Command Line Interface)

要使用部署自定义模型以进行按需推理 AWS Command Line Interface,请使用带有自定义模型的 Amazon 资源名称 (ARN) 的create-custom-model-deployment命令。此命令使用 CreateCustomModelDeployment API 操作。响应包括部署的 ARN。部署处于活动状态时,在发出推理请求modelId时使用此 ARN。有关使用部署进行推理的信息,请参阅使用部署进行按需推理

aws bedrock create-custom-model-deployment \ --model-deployment-name "Unique name" \ --model-arn "Custom Model ARN" \ --description "Deployment description" \ --tags '[ { "key": "Environment", "value": "Production" }, { "key": "Team", "value": "ML-Engineering" }, { "key": "Project", "value": "CustomerSupport" } ]' \ --client-request-token "unique-deployment-token" \ --region region

部署自定义模型 (AWS SDKs)

要部署自定义模型以进行按需推理,请使用带有自定义模型的 Amazon 资源名称 (ARN) 的 CreateCustomModelDeploymentAPI 操作。响应包括部署的 ARN。部署处于活动状态时,在发出推理请求modelId时使用此 ARN。有关使用部署进行推理的信息,请参阅使用部署进行按需推理

以下代码展示了如何使用适用于 Python 的开发工具包 (Boto3) 来部署自定义模型。

def create_custom_model_deployment(bedrock_client): """Create a custom model deployment Args: bedrock_client: A boto3 Amazon Bedrock client for making API calls Returns: str: The ARN of the new custom model deployment Raises: Exception: If there is an error creating the deployment """ try: response = bedrock_client.create_custom_model_deployment( modelDeploymentName="Unique deployment name", modelArn="Custom Model ARN", description="Deployment description", tags=[ {'key': 'Environment', 'value': 'Production'}, {'key': 'Team', 'value': 'ML-Engineering'}, {'key': 'Project', 'value': 'CustomerSupport'} ], clientRequestToken=f"deployment-{uuid.uuid4()}" ) deployment_arn = response['customModelDeploymentArn'] print(f"Deployment created: {deployment_arn}") return deployment_arn except Exception as e: print(f"Error creating deployment: {str(e)}") raise