Menerapkan model khusus untuk inferensi sesuai permintaan

Anda menerapkan model kustom dari halaman Model kustom sebagai berikut. Anda juga dapat menerapkan model dari halaman sesuai permintaan model Kustom dengan bidang yang sama. Untuk menemukan halaman ini, di bawah Infer di panel navigasi, pilih Model khusus sesuai permintaan.

Untuk menerapkan model kustom untuk inferensi sesuai permintaan menggunakan AWS Command Line Interface, gunakan create-custom-model-deployment perintah dengan Amazon Resource Name (ARN) model kustom Anda. Perintah ini menggunakan operasi CreateCustomModelDeploymentAPI. Tanggapan tersebut termasuk ARN penyebaran. Saat penerapan aktif, Anda menggunakan ARN ini sebagai saat membuat permintaan modelId inferensi. Untuk informasi tentang penggunaan penerapan untuk inferensi, lihat. Gunakan penerapan untuk inferensi sesuai permintaan

aws bedrock create-custom-model-deployment \
--model-deployment-name "Unique name" \
--model-arn "Custom Model ARN" \
--description "Deployment description" \
--tags '[
    {
        "key": "Environment",
        "value": "Production"
    },
    {
        "key": "Team",
        "value": "ML-Engineering"
    },
    {
        "key": "Project",
        "value": "CustomerSupport"
    }
]' \
--client-request-token "unique-deployment-token" \
--region region

Untuk menerapkan model kustom untuk inferensi sesuai permintaan, gunakan operasi CreateCustomModelDeploymentAPI dengan Amazon Resource Name (ARN) model kustom Anda. Tanggapan tersebut termasuk ARN penyebaran. Saat penerapan aktif, Anda menggunakan ARN ini sebagai saat membuat permintaan modelId inferensi. Untuk informasi tentang penggunaan penerapan untuk inferensi, lihat. Gunakan penerapan untuk inferensi sesuai permintaan

Kode berikut menunjukkan cara menggunakan SDK for Python (Boto3) untuk menyebarkan model kustom.

def create_custom_model_deployment(bedrock_client):
    """Create a custom model deployment
    Args:
        bedrock_client: A boto3 Amazon Bedrock client for making API calls

    Returns:
        str: The ARN of the new custom model deployment

    Raises:
        Exception: If there is an error creating the deployment
    """

    try:
        response = bedrock_client.create_custom_model_deployment(
            modelDeploymentName="Unique deployment name",
            modelArn="Custom Model ARN",
            description="Deployment description",
            tags=[
                {'key': 'Environment', 'value': 'Production'},
                {'key': 'Team', 'value': 'ML-Engineering'},
                {'key': 'Project', 'value': 'CustomerSupport'}
            ],
            clientRequestToken=f"deployment-{uuid.uuid4()}"
        )

        deployment_arn = response['customModelDeploymentArn']
        print(f"Deployment created: {deployment_arn}")
        return deployment_arn

    except Exception as e:
        print(f"Error creating deployment: {str(e)}")
        raise

Untuk menghapus penerapan model kustom menggunakan AWS Command Line Interface, gunakan delete-custom-model-deployment perintah dengan pengenal penerapan Anda. Perintah ini menggunakan operasi DeleteCustomModelDeploymentAPI.

aws bedrock delete-custom-model-deployment \
--custom-model-deployment-identifier "deployment-arn-or-name" \
--region region

Untuk menghapus penerapan model kustom secara terprogram, gunakan operasi DeleteCustomModelDeploymentAPI dengan Nama Sumber Daya Amazon (ARN) atau nama penerapan. Kode berikut menunjukkan cara menggunakan SDK for Python (Boto3) untuk menghapus penerapan model kustom.

def delete_custom_model_deployment(bedrock_client):
    """Delete a custom model deployment

    Args:
        bedrock_client: A boto3 Amazon Bedrock client for making API calls

    Returns:
        dict: The response from the delete operation

    Raises:
        Exception: If there is an error deleting the deployment
    """

    try:
        response = bedrock_client.delete_custom_model_deployment(
            customModelDeploymentIdentifier="Deployment identifier"
        )

        print("Deleting deployment...")
        return response

    except Exception as e:
        print(f"Error deleting deployment: {str(e)}")
        raise