Implementa un modello compilato utilizzando il AWS CLI - Amazon SageMaker AI
Implementazione del modello

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Implementa un modello compilato utilizzando il AWS CLI

Devi soddisfare la sezione dei prerequisiti se il modello è stato compilato utilizzando AWS SDK per Python (Boto3) o la console Amazon SageMaker AI. AWS CLI Segui i passaggi seguenti per creare e distribuire un modello SageMaker compilato con NEO utilizzando. AWS CLI

Implementazione del modello

Dopo aver soddisfatto i prerequisiti, utilizzate i create-model comandi, and. create-enpoint-config create-endpoint AWS CLI Nella procedura seguente viene illustrato come utilizzare questi comandi per distribuire un modello compilato con Neo:

Creazione di un modello

Da Neo Inference Container Images, seleziona l'URI dell'immagine di inferenza e quindi utilizza l'create-modelAPI per creare un SageMaker modello AI. Sono previste due fasi:

  1. Creare un file create_model.json. All'interno del file, specifica il nome del modello, l'URI dell'immagine, il percorso del model.tar.gz file nel bucket Amazon S3 e il ruolo di esecuzione dell' SageMaker IA: 

    {
    "ModelName": "insert model name",
    "PrimaryContainer": {
        "Image": "insert the ECR Image URI",
        "ModelDataUrl": "insert S3 archive URL",
        "Environment": {"See details below"}
    },
    "ExecutionRoleArn": "ARN for AmazonSageMaker-ExecutionRole"
}

    Se hai addestrato il tuo modello utilizzando l' SageMaker intelligenza artificiale, specifica la seguente variabile di ambiente: 

    "Environment": {
    "SAGEMAKER_SUBMIT_DIRECTORY" : "[Full S3 path for *.tar.gz file containing the training script]"
}

    Se non hai addestrato il tuo modello utilizzando l' SageMaker intelligenza artificiale, specifica le seguenti variabili di ambiente:

    MXNet and PyTorch
    "Environment": {
    "SAGEMAKER_PROGRAM": "inference.py",
    "SAGEMAKER_SUBMIT_DIRECTORY": "/opt/ml/model/code",
    "SAGEMAKER_CONTAINER_LOG_LEVEL": "20",
    "SAGEMAKER_REGION": "insert your region",
    "MMS_DEFAULT_RESPONSE_TIMEOUT": "500"
}
    TensorFlow
    "Environment": {
    "SAGEMAKER_PROGRAM": "inference.py",
    "SAGEMAKER_SUBMIT_DIRECTORY": "/opt/ml/model/code",
    "SAGEMAKER_CONTAINER_LOG_LEVEL": "20",
    "SAGEMAKER_REGION": "insert your region"
}
    Nota

    Le policy AmazonSageMakerFullAccess e AmazonS3ReadOnlyAccessdevono essere collegate al ruolo IAM di AmazonSageMaker-ExecutionRole.

  2. Esegui il comando seguente:

    aws sagemaker create-model --cli-input-json file://create_model.json

    Per la sintassi completa dell'API create-model, vedi create-model.

Creazione di una configurazione endpoint

Dopo aver creato un modello di SageMaker intelligenza artificiale, crea la configurazione dell'endpoint utilizzando l'create-endpoint-configAPI. A tale scopo, crea un file JSON con le specifiche di configurazione endpoint. Ad esempio, puoi utilizzare il seguente modello di codice e salvarlo come create_config.json: 

{
    "EndpointConfigName": "<provide your endpoint config name>",
    "ProductionVariants": [
        {
            "VariantName": "<provide your variant name>",
            "ModelName": "my-sagemaker-model",
            "InitialInstanceCount": 1,
            "InstanceType": "<provide your instance type here>",
            "InitialVariantWeight": 1.0
        }
    ]
}

Ora esegui il seguente AWS CLI comando per creare la configurazione dell'endpoint: 

aws sagemaker create-endpoint-config --cli-input-json file://create_config.json

Per la sintassi completa dell'API create-endpoint-config, vedi create-endpoint-config.

Creazione di un endpoint

Dopo aver creato la configurazione endpoint, crea un endpoint utilizzando l'API create-endpoint: 

aws sagemaker create-endpoint --endpoint-name '<provide your endpoint name>' --endpoint-config-name '<insert your endpoint config name>'

Per la sintassi completa dell'API create-endpoint, vedi create-endpoint.