部署自訂模型 - Amazon Bedrock

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

部署自訂模型

您可以使用 Amazon Bedrock 主控台 AWS Command Line Interface或 AWS SDKs 部署自訂模型。如需使用 部署進行推論的相關資訊,請參閱 使用部署進行隨需推論

部署自訂模型 (主控台)

您可以從自訂模型頁面部署自訂模型,如下所示。您也可以從具有相同欄位的自訂模型隨需頁面部署模型。若要尋找此頁面,請在導覽窗格的推斷下,選擇隨需自訂模型

部署自訂模型
  1. AWS Management Console 使用具有使用 Amazon Bedrock 主控台之許可的 IAM 身分登入 。然後,開啟位於 https://https://console.aws.amazon.com/bedrock/ 的 Amazon Bedrock 主控台。

  2. 從左側導覽窗格中,選擇基礎模型下的自訂模型。

  3. 模型索引標籤中,選擇您要部署之模型的選項按鈕。

  4. 選擇設定推論,然後選擇隨需部署

  5. 部署詳細資訊中,提供下列資訊:

    • 部署名稱 (必要) – 輸入部署的唯一名稱。

    • 描述 (選用) – 輸入部署的描述。

    • 標籤 (選用) – 新增成本分配和資源管理的標籤。

  6. 選擇建立。當部署的狀態為 時Active,您的自訂模型已準備好進行隨需推論。如需使用自訂模型的詳細資訊,請參閱 使用部署進行隨需推論

部署自訂模型 (AWS Command Line Interface)

若要使用 部署用於隨需推論的自訂模型 AWS Command Line Interface,請使用 create-custom-model-deployment命令搭配自訂模型的 Amazon Resource Name (ARN)。此命令使用 CreateCustomModelDeployment API 操作。回應包含部署的 ARN。部署處於作用中狀態時,您可以在提出推論請求modelId時使用此 ARN 做為 。如需使用 部署進行推論的相關資訊,請參閱 使用部署進行隨需推論

aws bedrock create-custom-model-deployment \ --model-deployment-name "Unique name" \ --model-arn "Custom Model ARN" \ --description "Deployment description" \ --tags '[ { "key": "Environment", "value": "Production" }, { "key": "Team", "value": "ML-Engineering" }, { "key": "Project", "value": "CustomerSupport" } ]' \ --client-request-token "unique-deployment-token" \ --region region

部署自訂模型AWS SDKs)

若要部署用於隨需推論的自訂模型,請使用 CreateCustomModelDeployment API 操作搭配自訂模型的 Amazon Resource Name (ARN)。回應包含部署的 ARN。部署處於作用中狀態時,您可以在提出推論請求modelId時使用此 ARN 做為 。如需使用 部署進行推論的相關資訊,請參閱 使用部署進行隨需推論

下列程式碼說明如何使用 SDK for Python (Boto3) 部署自訂模型。

def create_custom_model_deployment(bedrock_client): """Create a custom model deployment Args: bedrock_client: A boto3 Amazon Bedrock client for making API calls Returns: str: The ARN of the new custom model deployment Raises: Exception: If there is an error creating the deployment """ try: response = bedrock_client.create_custom_model_deployment( modelDeploymentName="Unique deployment name", modelArn="Custom Model ARN", description="Deployment description", tags=[ {'key': 'Environment', 'value': 'Production'}, {'key': 'Team', 'value': 'ML-Engineering'}, {'key': 'Project', 'value': 'CustomerSupport'} ], clientRequestToken=f"deployment-{uuid.uuid4()}" ) deployment_arn = response['customModelDeploymentArn'] print(f"Deployment created: {deployment_arn}") return deployment_arn except Exception as e: print(f"Error creating deployment: {str(e)}") raise