Implementazione di modelli di Autopilot per l’inferenza in tempo reale - Amazon SageMaker AI
Inferenza in tempo reale

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Implementazione di modelli di Autopilot per l’inferenza in tempo reale

Dopo aver addestrato i modelli Amazon SageMaker Autopilot, puoi configurare un endpoint e ottenere previsioni in modo interattivo. La sezione seguente descrive le fasi per implementare il modello in un endpoint di inferenza in tempo reale di SageMaker AI per ottenere previsioni dal modello.

Inferenza in tempo reale

L'inferenza in tempo reale è ideale per carichi di lavoro di inferenza in cui sono previsti requisiti in tempo reale, interattivi e a bassa latenza. Questa sezione mostra come utilizzare l'inferenza in tempo reale per ottenere previsioni in modo interattivo dal modello.

Puoi utilizzare le API SageMaker per implementare manualmente il modello che ha prodotto il miglior parametro di convalida in un esperimento Autopilot come segue.

In alternativa, puoi scegliere l'opzione di implementazione automatica durante la creazione dell'esperimento Autopilot. Per informazioni sulla configurazione dell’implementazione automatica dei modelli, consulta ModelDeployConfig nei parametri di richiesta di CreateAutoMLJobV2. Questo crea automaticamente un endpoint.

Nota

Per evitare di incorrere in costi inutili, puoi eliminare gli endpoint e le risorse non necessari creati dall'implementazione del modello. Per informazioni sui prezzi in base alla Regione, consulta Prezzi di Amazon SageMaker.

  1. Ottenere le definizioni dei container di candidati

    Ottieni le definizioni dei container di candidati da InferenceContainers. Una definizione di container per inferenza si riferisce all’ambiente containerizzato progettato per implementare ed eseguire il modello SageMaker AI addestrato per fare previsioni.

    Il seguente esempio di comando AWS CLI utilizza l'API DescribeAutomlJobV2 per ottenere le definizioni candidate per il miglior modello candidato.

    aws sagemaker describe-auto-ml-job-v2 --auto-ml-job-name job-name --region region

  2. Elencare i candidati

    Il seguente esempio di comando AWS CLI utilizza l'API ListCandidatesForAutoMLJob per elencare tutti i candidati del modello.

    aws sagemaker list-candidates-for-auto-ml-job --auto-ml-job-name <job-name> --region <region>

  3. Creare un modello SageMaker AI

    Utilizza le definizioni dei container delle fasi precedenti e un candidato a tua scelta per creare un modello SageMaker AI utilizzando l’API CreateModel. Il comando seguente AWS CLI è un esempio.

    aws sagemaker create-model --model-name '<your-candidate-name>' \
                    --containers ['<container-definition1>, <container-definition2>, <container-definition3>]' \
                    --execution-role-arn '<execution-role-arn>' --region '<region>

  4. Creare una configurazione endpoint

    L'esempio di comando AWS CLI seguente utilizza l'API CreateEndpointConfig per creare una configurazione dell'endpoint.

    aws sagemaker create-endpoint-config --endpoint-config-name '<your-endpoint-config-name>' \
                    --production-variants '<list-of-production-variants>' \
                    --region '<region>'

  5. Creare l'endpoint

    L'esempio AWS CLI seguente utilizza l'API CreateEndpoint per creare una configurazione dell'endpoint.

    aws sagemaker create-endpoint --endpoint-name '<your-endpoint-name>' \
                    --endpoint-config-name '<endpoint-config-name-you-just-created>' \
                    --region '<region>'

    Controlla lo stato di avanzamento dell’implementazione degli endpoint utilizzando l'API DescribeEndpoint. Il comando seguente AWS CLI è un esempio.

    aws sagemaker describe-endpoint —endpoint-name '<endpoint-name>' —region <region>

    Dopo che EndpointStatus cambia in InService, l'endpoint è pronto per l'uso per l'inferenza in tempo reale.

  6. Richiamare l'endpoint

    La seguente struttura di comandi richiama l'endpoint per l'inferenza in tempo reale.

    aws sagemaker invoke-endpoint --endpoint-name '<endpoint-name>' \ 
                  --region '<region>' --body '<your-data>' [--content-type] '<content-type>' <outfile>