本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
部署自訂模型
您可以使用 Amazon Bedrock 主控台 AWS Command Line Interface或 AWS SDKs 部署自訂模型。如需使用 部署進行推論的相關資訊,請參閱 使用部署進行隨需推論。
部署自訂模型 (主控台)
您可以從自訂模型頁面部署自訂模型,如下所示。您也可以從具有相同欄位的自訂模型隨需頁面部署模型。若要尋找此頁面,請在導覽窗格的推斷下,選擇隨需自訂模型。
部署自訂模型
-
AWS Management Console 使用具有使用 Amazon Bedrock 主控台之許可的 IAM 身分登入 。然後,開啟位於 https://https://console.aws.amazon.com/bedrock/
的 Amazon Bedrock 主控台。 -
從左側導覽窗格中,選擇基礎模型下的自訂模型。
-
在模型索引標籤中,選擇您要部署之模型的選項按鈕。
-
選擇設定推論,然後選擇隨需部署。
-
在部署詳細資訊中,提供下列資訊:
-
部署名稱 (必要) – 輸入部署的唯一名稱。
-
描述 (選用) – 輸入部署的描述。
-
標籤 (選用) – 新增成本分配和資源管理的標籤。
-
-
選擇建立。當部署的狀態為 時
Active
,您的自訂模型已準備好進行隨需推論。如需使用自訂模型的詳細資訊,請參閱 使用部署進行隨需推論。
部署自訂模型 (AWS Command Line Interface)
若要使用 部署用於隨需推論的自訂模型 AWS Command Line Interface,請使用 create-custom-model-deployment
命令搭配自訂模型的 Amazon Resource Name (ARN)。此命令使用 CreateCustomModelDeployment API 操作。回應包含部署的 ARN。部署處於作用中狀態時,您可以在提出推論請求modelId
時使用此 ARN 做為 。如需使用 部署進行推論的相關資訊,請參閱 使用部署進行隨需推論。
aws bedrock create-custom-model-deployment \ --model-deployment-name "
Unique name
" \ --model-arn "Custom Model ARN
" \ --description "Deployment description
" \ --tags '[ { "key": "Environment", "value": "Production" }, { "key": "Team", "value": "ML-Engineering" }, { "key": "Project", "value": "CustomerSupport" } ]' \ --client-request-token "unique-deployment-token
" \ --regionregion
部署自訂模型AWS SDKs)
若要部署用於隨需推論的自訂模型,請使用 CreateCustomModelDeployment API 操作搭配自訂模型的 Amazon Resource Name (ARN)。回應包含部署的 ARN。部署處於作用中狀態時,您可以在提出推論請求modelId
時使用此 ARN 做為 。如需使用 部署進行推論的相關資訊,請參閱 使用部署進行隨需推論。
下列程式碼說明如何使用 SDK for Python (Boto3) 部署自訂模型。
def create_custom_model_deployment(bedrock_client): """Create a custom model deployment Args: bedrock_client: A boto3 Amazon Bedrock client for making API calls Returns: str: The ARN of the new custom model deployment Raises: Exception: If there is an error creating the deployment """ try: response = bedrock_client.create_custom_model_deployment( modelDeploymentName="
Unique deployment name
", modelArn="Custom Model ARN
", description="Deployment description
", tags=[ {'key': 'Environment', 'value': 'Production'}, {'key': 'Team', 'value': 'ML-Engineering'}, {'key': 'Project', 'value': 'CustomerSupport'} ], clientRequestToken=f"deployment-{uuid.uuid4()}" ) deployment_arn = response['customModelDeploymentArn'] print(f"Deployment created: {deployment_arn}") return deployment_arn except Exception as e: print(f"Error creating deployment: {str(e)}") raise