Creazione di una raccomandazione di inferenza

Crea una raccomandazione di inferenza a livello di programmazione utilizzando AWS SDK per Python (Boto3) o l’AWS CLI in modo interattivo mediante Studio Classic o la console SageMaker AI. Specifica un nome di processo per la raccomandazione di inferenza, un ARN del ruolo IAM AWS, una configurazione di input e un ARN del pacchetto di modelli quando hai registrato il modello nel registro di modelli, oppure il nome del modello e un dizionario ContainerConfig da quando hai creato il modello nella sezione Prerequisiti.

AWS SDK per Python (Boto3)

Usa l'API CreateInferenceRecommendationsJob per avviare un processo di raccomandazione di inferenza. Imposta il campo JobType su 'Default' per i processi di raccomandazione di inferenza. È inoltre necessario indicare quanto segue:

Il nome della risorsa Amazon (ARN) di un ruolo IAM che consente al suggeritore di inferenza di eseguire attività per tuo conto. Definiscilo per il campo RoleArn.
Un ARN di pacchetti di modelli o il nome del modello. Il suggeritore di inferenza supporta un ARN di pacchetti di modelli o un nome di modello come input. Specifica una delle seguenti proprietà:
- L’ARN del pacchetto di modelli con versioni creato durante la registrazione del modello con SageMaker AI Model Registry. Definiscilo per ModelPackageVersionArn nel campo InputConfig.
- il nome del modello che hai creato. Definiscilo per ModelName nel campo InputConfig. Inoltre, fornisci il dizionario ContainerConfig che include i campi obbligatori da fornire con il nome del modello. Definiscilo per ContainerConfig nel campo InputConfig. In ContainerConfig, se lo desideri, puoi anche specificare il campo SupportedEndpointType come RealTime o Serverless. Se si specifica questo campo, il suggeritore di inferenza restituisce raccomandazioni solo per quel tipo di endpoint. Se si specifica questo campo, il suggeritore di inferenza restituisce raccomandazioni per entrambi i tipi di endpoint.
un nome per il processo di raccomandazione del suggeritore di inferenza per il campo JobName. Il nome del processo Inference Recommender deve essere univoco all’interno della Regione AWS e all’interno del tuo account AWS.

Importa il pacchetto AWS SDK per Python (Boto3) e crea un oggetto client di SageMaker AI utilizzando la classe client. Se hai rispettato le fasi nella sezione Prerequisiti, specifica solo uno degli elementi seguenti:

Opzione 1: se desideri creare un processo di raccomandazioni di inferenza con un ARN del pacchetto di modelli, archivia l'ARN del gruppo di pacchetti di modelli in una variabile denominata model_package_arn.
Opzione 2: se desideri creare un progetto di raccomandazioni di inferenza con un nome di modello e ContainerConfig, memorizza il nome del modello in una variabile denominata model_name e il dizionario ContainerConfig in una variabile denominata container_config.


# Create a low-level SageMaker service client.
import boto3
aws_region = '<INSERT>'
sagemaker_client = boto3.client('sagemaker', region_name=aws_region) 

# Provide only one of model package ARN or model name, not both.
# Provide your model package ARN that was created when you registered your 
# model with Model Registry 
model_package_arn = '<INSERT>'
## Uncomment if you would like to create an inference recommendations job with a
## model name instead of a model package ARN, and comment out model_package_arn above
## Provide your model name
# model_name = '<INSERT>'
## Provide your container config 
# container_config = '<INSERT>'

# Provide a unique job name for SageMaker Inference Recommender job
job_name = '<INSERT>'

# Inference Recommender job type. Set to Default to get an initial recommendation
job_type = 'Default'

# Provide an IAM Role that gives SageMaker Inference Recommender permission to 
# access AWS services
role_arn = 'arn:aws:iam::<account>:role/*'

sagemaker_client.create_inference_recommendations_job(
    JobName = job_name,
    JobType = job_type,
    RoleArn = role_arn,
    # Provide only one of model package ARN or model name, not both. 
    # If you would like to create an inference recommendations job with a model name,
    # uncomment ModelName and ContainerConfig, and comment out ModelPackageVersionArn.
    InputConfig = {
        'ModelPackageVersionArn': model_package_arn
        # 'ModelName': model_name,
        # 'ContainerConfig': container_config
    }
)

Consulta la guida Amazon SageMaker API Reference per un elenco completo degli argomenti facoltativi e obbligatori che è possibile passare a CreateInferenceRecommendationsJob.

AWS CLI

Usa l'API create-inference-recommendations-job per avviare un processo di raccomandazione di inferenza. Imposta il campo job-type su 'Default' per i processi di raccomandazione di inferenza. È inoltre necessario indicare quanto segue:

L'ARN (Amazon Resource Name) di un ruolo IAM che consente ad Amazon SageMaker Inference Recommender di eseguire attività per tuo conto. Definiscilo per il campo role-arn.
Un ARN di pacchetti di modelli o il nome del modello. Il suggeritore di inferenza supporta un ARN di pacchetti di modelli o un nome di modello come input. Specifica uno degli elementi seguenti:
- l'ARN del pacchetto di modelli con versione che hai creato quando hai registrato il modello con Model Registry. Definiscilo per ModelPackageVersionArn nel campo input-config.
- il nome del modello che hai creato. Definiscilo per ModelName nel campo input-config. Inoltre, fornisci il dizionario di ContainerConfig che include i campi obbligatori da fornire con il nome del modello. Definiscilo per ContainerConfig nel campo input-config. In ContainerConfig, se lo desideri, puoi anche specificare il campo SupportedEndpointType come RealTime o Serverless. Se si specifica questo campo, il suggeritore di inferenza restituisce raccomandazioni solo per quel tipo di endpoint. Se si specifica questo campo, il suggeritore di inferenza restituisce raccomandazioni per entrambi i tipi di endpoint.
un nome per il processo di raccomandazione del suggeritore di inferenza per il campo job-name. Il nome del processo del suggeritore di inferenza deve essere univoco all'interno della Regione AWS e all'interno del tuo account AWS.

Per creare un processo di raccomandazione di inferenza con un ARN di pacchetti di modelli, utilizza l'esempio seguente:


aws sagemaker create-inference-recommendations-job 
    --region <region>\
    --job-name <job_name>\
    --job-type Default\
    --role-arn arn:aws:iam::<account:role/*>\
    --input-config "{
        \"ModelPackageVersionArn\": \"arn:aws:sagemaker:<region:account:role/*>\",
        }"

Per creare un processo di raccomandazione di inferenza con un nome di modello e ContainerConfig, utilizza l'esempio seguente. L'esempio utilizza il campo SupportedEndpointType per specificare che vogliamo restituire solo raccomandazioni di inferenza in tempo reale:


aws sagemaker create-inference-recommendations-job 
    --region <region>\
    --job-name <job_name>\
    --job-type Default\
    --role-arn arn:aws:iam::<account:role/*>\
    --input-config "{
        \"ModelName\": \"model-name\",
        \"ContainerConfig\" : {
                \"Domain\": \"COMPUTER_VISION\",
                \"Framework\": \"PYTORCH\",
                \"FrameworkVersion\": \"1.7.1\",
                \"NearestModelName\": \"resnet18\",
                \"PayloadConfig\": 
                    {
                        \"SamplePayloadUrl\": \"s3://{bucket}/{payload_s3_key}\", 
                        \"SupportedContentTypes\": [\"image/jpeg\"]
                    },
                \"SupportedEndpointType\": \"RealTime\",
                \"DataInputConfig\": \"[[1,3,256,256]]\",
                \"Task\": \"IMAGE_CLASSIFICATION\",
            },
        }"

Amazon SageMaker Studio Classic

Crea un processo di raccomandazione di inferenza in Studio Classic.

Nell’applicazione Studio Classic scegli l’icona home ( ).
Nella barra laterale sinistra di Studio Classic scegli Modelli.
Seleziona Model Registry dall'elenco a discesa per visualizzare i modelli che hai registrato nel registro dei modelli.

Il pannello di sinistra mostra un elenco di gruppi di modelli. L’elenco include tutti i gruppi di modelli registrati nel registro dei modelli nell’account, inclusi i modelli registrati al di fuori di Studio Classic.
Seleziona il nome del gruppo di modelli. Quando selezioni il gruppo di modelli, il riquadro di destra di Studio Classic mostra le intestazioni delle colonne, ad esempio Versioni e Impostazioni.

Se disponi di uno o più pacchetti di modelli all’interno del tuo gruppo di modelli, è possibile visualizzare un elenco di tali pacchetti di modelli nella colonna Versioni.
Seleziona la colonna Suggeritore di inferenza.
Seleziona un ruolo IAM che concede a Inference Recommender l’autorizzazione per accedere ai servizi AWS. A tale scopo, è possibile creare un ruolo e collegare la policy gestita IAM AmazonSageMakerFullAccess. In alternativa puoi lasciare che Studio Classic crei un ruolo per te.
Scegliere Get recommendations (Ottieni le raccomandazioni).

La raccomandazione di inferenza può richiedere fino a 45 minuti.

avvertimento
Non chiudere questa scheda. Se si chiude questa scheda, si annulla il processo di raccomandazione dell'istanza.

SageMaker AI console

Crea un processo di raccomandazione delle istanze tramite la console di SageMaker AI effettuando le seguenti operazioni:

Vai alla console di SageMaker AI all’indirizzo https://console.aws.amazon.com/sagemaker/.
Nel riquadro di navigazione di sinistra, seleziona Inferenza e poi Suggeritore di inferenza.
Nella pagina dei processi del suggeritore di inferenza, seleziona Crea processo.
Per fase 1, configurazione di modelli, procedi come segue:
1. Per Tipo di processo, seleziona Processo del suggeritore predefinito.
2. Se stai utilizzando un modello registrato nel registro dei modelli SageMaker AI, attiva la funzionalità Scegli un modello dal registro del modello ed esegui le seguenti operazioni:
  1. Dall’elenco a discesa Gruppo di modelli seleziona il gruppo di modelli nel registro dei modelli SageMaker AI in cui si trova il modello.
  2. Dall'elenco a discesa Versione del modello, scegli la versione desiderata del modello.
3. Se stai utilizzando un modello creato in SageMaker AI, disattiva la funzionalità Scegli un modello dal registro del modello ed esegui le seguenti operazioni:
  1. Nel campo Nome modello inserisci il nome del tuo modello SageMaker AI.
4. Dall'elenco a discesa dei ruoli IAM, è possibile selezionare un ruolo IAM AWS esistente che dispone delle autorizzazioni necessarie per creare un processo di raccomandazione delle istanze. In alternativa, se non disponi di un ruolo esistente, è possibile scegliere Crea un nuovo ruolo per aprire il pop-up di creazione del ruolo e SageMaker AI aggiunge le autorizzazioni necessarie al nuovo ruolo creato.
5. Per Bucket S3 per l’esecuzione del benchmark del payload, inserisci il percorso Amazon S3 all’archivio del payload di esempio, che dovrebbe contenere i file di payload di esempio utilizzati da Inference Recommender per eseguire il benchmark del tuo modello in base a diversi tipi di istanze.
6. Per tipo di contenuto di payload, inserisci i tipi MIME per i dati del payload di esempio.
7. (Facoltativo) Se hai disattivato l’interruttore Scegli un modello dal registro del modello e hai specificato un modello SageMaker AI, per la configurazione del container, procedi come segue:
  1. Per l’elenco a discesa Dominio, seleziona il dominio di machine learning del modello, ad esempio visione artificiale, elaborazione del linguaggio naturale o machine learning.
  2. Per l'elenco a discesa Framework, seleziona il framework del tuo container, ad esempio TensorFlow o XGBoost.
  3. Per Versione del framework, inserisci la versione del framework dell'immagine del container.
  4. Per l'elenco a discesa Nome del modello più vicino, seleziona il modello pre-addestrato che più si avvicina al tuo.
  5. Nell'elenco a discesa Attività, seleziona l'attività di machine learning svolta dal modello, ad esempio la classificazione o la regressione delle immagini.
8. (Facoltativo) Per la compilazione del modello con SageMaker Neo, è possibile configurare il processo di raccomandazione per un modello che è stato compilato utilizzando SageMaker Neo. Per configurazione dell'input dei dati, inserisci la forma dei dati di input corretta per il tuo modello in un formato simile a {'input':[1,1024,1024,3]}.
9. Scegli Next (Successivo).
Per fase 2, istanze e parametri di ambiente, effettua le seguenti operazioni:
1. (Facoltativo) Per Seleziona le istanze per l'esecuzione dei benchmark, puoi selezionare fino a 8 tipi di istanze da sottoporre a benchmark. Se non selezioni alcuna istanza, il suggeritore di inferenza considera tutti i tipi di istanze.
2. Scegli Next (Successivo).
Per fase 3, parametri del processo, effettua le seguenti operazioni:
1. (Facoltativo) Nel campo Nome del processo, immetti un nome per il tuo processo di suggerimento sull’istanza. Quando crei il processo, SageMaker AI aggiunge un timestamp alla fine di questo nome.
2. (Facoltativo) Per il campo Descrizione processo, immetti una descrizione per il processo.
3. (Facoltativo) Per l'elenco a discesa Chiave di crittografia, seleziona una chiave AWS KMS per nome o inserisci il relativo ARN per crittografare i dati.
4. (Facoltativo) Per durata massima de test, inserisci il numero massimo di secondi per cui desideri che ciascun test venga eseguito.
5. (Facoltativo) Per il numero massimo di invocazioni al minuto, inserisci il numero massimo di richieste al minuto che l'endpoint può raggiungere prima dell'interruzione del processo di raccomandazione. Dopo aver raggiunto questo limite, SageMaker AI termina il processo.
6. (Facoltativo) Per la soglia di latenza del modello P99 (ms), inserisci il percentile di latenza del modello in millisecondi.
7. Scegli Next (Successivo).
Per fase 4, esamina il processo, esamina le configurazioni e quindi seleziona Invia.

Avvertimento JavaScript è disabilitato o non è disponibile nel tuo browser.

Per usare la documentazione AWS, JavaScript deve essere abilitato. Consulta le pagine della guida del browser per le istruzioni.

Convenzioni dei documenti

Raccomandazioni di inferenza

Ottieni i risultati del processo di raccomandazione di inferenza

Creazione di una raccomandazione di inferenza

avvertimento