オンデマンド推論用のカスタムモデルをデプロイする

カスタムモデルは、[カスタムモデル] ページから次のようにデプロイします。[オンデマンドのカスタムモデル] ページからでも、同じフィールドを使用してモデルをデプロイできます。このページにアクセスするには、ナビゲーションペインの [推論] で、[オンデマンドカスタムモデル] を選択します。

を使用してオンデマンド推論用のカスタムモデルをデプロイするには AWS Command Line Interface、カスタムモデルの Amazon リソースネーム (ARN) で create-custom-model-deployment コマンドを使用します。このコマンドは CreateCustomModelDeployment API オペレーションを使用します。レスポンスには、デプロイの ARN が含まれます。デプロイがアクティブな場合、推論リクエストを行う際に、この ARN を modelId として使用します。推論にこのデプロイを使用する方法については、「オンデマンド推論にデプロイを使用する」を参照してください。

aws bedrock create-custom-model-deployment \
--model-deployment-name "Unique name" \
--model-arn "Custom Model ARN" \
--description "Deployment description" \
--tags '[
    {
        "key": "Environment",
        "value": "Production"
    },
    {
        "key": "Team",
        "value": "ML-Engineering"
    },
    {
        "key": "Project",
        "value": "CustomerSupport"
    }
]' \
--client-request-token "unique-deployment-token" \
--region region

オンデマンド推論用のカスタムモデルをデプロイするには、カスタムモデルの Amazon リソースネーム (ARN) で CreateCustomModelDeployment API オペレーションを使用します。レスポンスには、デプロイの ARN が含まれます。デプロイがアクティブな場合、推論リクエストを行う際に、この ARN を modelId として使用します。推論にこのデプロイを使用する方法については、「オンデマンド推論にデプロイを使用する」を参照してください。

次のコードは、SDK for Python (Boto3) を使用してカスタムモデルをデプロイする方法を示しています。

def create_custom_model_deployment(bedrock_client):
    """Create a custom model deployment
    Args:
        bedrock_client: A boto3 Amazon Bedrock client for making API calls

    Returns:
        str: The ARN of the new custom model deployment

    Raises:
        Exception: If there is an error creating the deployment
    """

    try:
        response = bedrock_client.create_custom_model_deployment(
            modelDeploymentName="Unique deployment name",
            modelArn="Custom Model ARN",
            description="Deployment description",
            tags=[
                {'key': 'Environment', 'value': 'Production'},
                {'key': 'Team', 'value': 'ML-Engineering'},
                {'key': 'Project', 'value': 'CustomerSupport'}
            ],
            clientRequestToken=f"deployment-{uuid.uuid4()}"
        )

        deployment_arn = response['customModelDeploymentArn']
        print(f"Deployment created: {deployment_arn}")
        return deployment_arn

    except Exception as e:
        print(f"Error creating deployment: {str(e)}")
        raise

を使用してカスタムモデルデプロイを削除するには AWS Command Line Interface、デプロイ識別子を指定して delete-custom-model-deployment コマンドを使用します。このコマンドは DeleteCustomModelDeployment API オペレーションを使用します。

aws bedrock delete-custom-model-deployment \
--custom-model-deployment-identifier "deployment-arn-or-name" \
--region region

カスタムモデルのデプロイをプログラムで削除するには、デプロイの Amazon リソースネーム (ARN) または名前を指定して DeleteCustomModelDeployment API オペレーションを使用します。次のコードは、SDK for Python (Boto3) を使用してカスタムモデルのデプロイを削除する方法を示しています。

def delete_custom_model_deployment(bedrock_client):
    """Delete a custom model deployment

    Args:
        bedrock_client: A boto3 Amazon Bedrock client for making API calls

    Returns:
        dict: The response from the delete operation

    Raises:
        Exception: If there is an error deleting the deployment
    """

    try:
        response = bedrock_client.delete_custom_model_deployment(
            customModelDeploymentIdentifier="Deployment identifier"
        )

        print("Deleting deployment...")
        return response

    except Exception as e:
        print(f"Error deleting deployment: {str(e)}")
        raise