Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Terapkan Model yang Dikompilasi Menggunakan Boto3

Anda harus memenuhi bagian prasyarat jika model dikompilasi menggunakan AWS SDK untuk Python (Boto3) AWS CLI,, atau konsol Amazon SageMaker AI. Ikuti langkah-langkah di bawah ini untuk membuat dan menerapkan SageMaker Neo-compiled model menggunakan Amazon Web Services SDK for Python (Boto3).

Menyebarkan Model

Setelah memenuhi pras yarat, gunakancreate_model,create_enpoint_config, dan create_endpoint API.

Contoh berikut menunjukkan cara menggunakan API ini untuk menerapkan model yang dikompilasi dengan Neo:

import boto3
client = boto3.client('sagemaker')

# create sagemaker model
create_model_api_response = client.create_model(
                                    ModelName='my-sagemaker-model',
                                    PrimaryContainer={
                                        'Image': <insert the ECR Image URI>,
                                        'ModelDataUrl': 's3://path/to/model/artifact/model.tar.gz',
                                        'Environment': {}
                                    },
                                    ExecutionRoleArn='ARN for AmazonSageMaker-ExecutionRole'
                            )

print ("create_model API response", create_model_api_response)

# create sagemaker endpoint config
create_endpoint_config_api_response = client.create_endpoint_config(
                                            EndpointConfigName='sagemaker-neomxnet-endpoint-configuration',
                                            ProductionVariants=[
                                                {
                                                    'VariantName': <provide your variant name>,
                                                    'ModelName': 'my-sagemaker-model',
                                                    'InitialInstanceCount': 1,
                                                    'InstanceType': <provide your instance type here>
                                                },
                                            ]
                                       )

print ("create_endpoint_config API response", create_endpoint_config_api_response)

# create sagemaker endpoint
create_endpoint_api_response = client.create_endpoint(
                                    EndpointName='provide your endpoint name',
                                    EndpointConfigName=<insert your endpoint config name>,
                                )

print ("create_endpoint API response", create_endpoint_api_response)            

Untuk sintaks lengkap create_modelcreate_endpoint_config,, dan create_endpoint API, lihat create_model, create_endpoint_config, dan create_endpoint, masing-masing.

Jika Anda tidak melatih model Anda menggunakan SageMaker AI, tentukan variabel lingkungan berikut:

MXNet and PyTorch

"Environment": {
    "SAGEMAKER_PROGRAM": "inference.py",
    "SAGEMAKER_SUBMIT_DIRECTORY": "/opt/ml/model/code",
    "SAGEMAKER_CONTAINER_LOG_LEVEL": "20",
    "SAGEMAKER_REGION": "insert your region",
    "MMS_DEFAULT_RESPONSE_TIMEOUT": "500"
}

TensorFlow

"Environment": {
    "SAGEMAKER_PROGRAM": "inference.py",
    "SAGEMAKER_SUBMIT_DIRECTORY": "/opt/ml/model/code",
    "SAGEMAKER_CONTAINER_LOG_LEVEL": "20",
    "SAGEMAKER_REGION": "insert your region"
}

Jika Anda melatih model menggunakan SageMaker AI, tentukan variabel lingkungan SAGEMAKER_SUBMIT_DIRECTORY sebagai URI bucket Amazon S3 lengkap yang berisi skrip pelatihan.