사용자 지정 모델 온디맨드 추론용 배포

사용자 지정 모델은 사용자 지정 모델 페이지에서 다음과 같이 배포할 수 있습니다. 동일한 필드를 사용하여 온디맨드 사용자 지정 모델 페이지에서도 모델을 배포할 수 있습니다. 이 페이지를 찾으려면 탐색 창에서 추론 아래의 사용자 지정 모델 온디맨드를 선택합니다.

를 사용하여 온디맨드 추론을 위한 사용자 지정 모델을 배포하려면 사용자 지정 모델의 Amazon 리소스 이름(ARN)과 함께 create-custom-model-deployment 명령을 AWS Command Line Interface사용합니다. 이 명령은 CreateCustomModelDeployment API 작업을 사용합니다. 응답에는 배포의 ARN이 포함됩니다. 배포가 활성화되면 추론 요청을 할 때 이 ARN을 modelId로 사용합니다. 참조용 배포 사용 방법에 대한 자세한 내용은 온디맨드 추론용 배포 사용을 참조하세요.

aws bedrock create-custom-model-deployment \
--model-deployment-name "Unique name" \
--model-arn "Custom Model ARN" \
--description "Deployment description" \
--tags '[
    {
        "key": "Environment",
        "value": "Production"
    },
    {
        "key": "Team",
        "value": "ML-Engineering"
    },
    {
        "key": "Project",
        "value": "CustomerSupport"
    }
]' \
--client-request-token "unique-deployment-token" \
--region region

온디맨드 추론을 위해 사용자 지정 모델을 배포하려면, 사용자 지정 모델의 Amazon 리소스 이름(ARN)과 함께 CreateCustomModelDeployment API 작업을 사용합니다. 응답에는 배포의 ARN이 포함됩니다. 배포가 활성화되면 추론 요청을 할 때 이 ARN을 modelId로 사용합니다. 참조용 배포 사용 방법에 대한 자세한 내용은 온디맨드 추론용 배포 사용을 참조하세요.

다음 코드는 Python용 SDK(Boto3)를 사용하여 사용자 지정 모델을 배포하는 방법을 보여줍니다.

def create_custom_model_deployment(bedrock_client):
    """Create a custom model deployment
    Args:
        bedrock_client: A boto3 Amazon Bedrock client for making API calls

    Returns:
        str: The ARN of the new custom model deployment

    Raises:
        Exception: If there is an error creating the deployment
    """

    try:
        response = bedrock_client.create_custom_model_deployment(
            modelDeploymentName="Unique deployment name",
            modelArn="Custom Model ARN",
            description="Deployment description",
            tags=[
                {'key': 'Environment', 'value': 'Production'},
                {'key': 'Team', 'value': 'ML-Engineering'},
                {'key': 'Project', 'value': 'CustomerSupport'}
            ],
            clientRequestToken=f"deployment-{uuid.uuid4()}"
        )

        deployment_arn = response['customModelDeploymentArn']
        print(f"Deployment created: {deployment_arn}")
        return deployment_arn

    except Exception as e:
        print(f"Error creating deployment: {str(e)}")
        raise

를 사용하여 사용자 지정 모델 배포를 삭제하려면 배포 식별자와 함께 delete-custom-model-deployment 명령을 AWS Command Line Interface사용합니다. 이 명령은 DeleteCustomModelDeployment API 작업을 사용합니다.

aws bedrock delete-custom-model-deployment \
--custom-model-deployment-identifier "deployment-arn-or-name" \
--region region

프로그래밍 방식으로 사용자 지정 모델 배포를 삭제하려면, 배포의 Amazon 리소스 이름(ARN) 또는 이름을 사용하여 DeleteCustomModelDeployment API 작업을 호출합니다. 다음 코드는 Python용 SDK(Boto3)를 사용하여 사용자 지정 모델 배포를 삭제하는 방법을 보여줍니다.

def delete_custom_model_deployment(bedrock_client):
    """Delete a custom model deployment

    Args:
        bedrock_client: A boto3 Amazon Bedrock client for making API calls

    Returns:
        dict: The response from the delete operation

    Raises:
        Exception: If there is an error deleting the deployment
    """

    try:
        response = bedrock_client.delete_custom_model_deployment(
            customModelDeploymentIdentifier="Deployment identifier"
        )

        print("Deleting deployment...")
        return response

    except Exception as e:
        print(f"Error deleting deployment: {str(e)}")
        raise