Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Implementa modelli con TorchServe

TorchServe è il server modello consigliato per PyTorch, preinstallato nel PyTorch Deep Learning Container di AWS (DLC). Questo potente strumento offre ai clienti un'esperienza coerente e intuitiva che fornisce prestazioni elevate nell'implementazione di più modelli PyTorch su varie istanze AWS, ivi compresi CPU, GPU, Neuron e Graviton, indipendentemente dall'implementazione o dalle dimensioni dei modelli.

TorchServe supporta un'ampia gamma di funzionalità avanzate, tra cui la creazione dinamica di batch, il microbatching, i test A/B dei modelli, lo streaming, torch XLA, TensorRT, ONNX e IPEX. Inoltre, integra perfettamente la soluzione per modelli di grandi dimensioni di PyTorch, PiPPY, consentendo una gestione efficiente di modelli di grandi dimensioni. Inoltre, TorchServe estende il suo supporto alle librerie open source più diffuse come DeepSpeed, Accelerate, Fast Transformers e altre, ampliando ulteriormente le sue funzionalità. Con TorchServe, gli utenti AWS possono implementare e fornire con sicurezza i propri modelli PyTorch, sfruttandone la versatilità e le prestazioni ottimizzate su varie configurazioni hardware e tipi di modelli. Per informazioni più dettagliate, è possibile consultare la documentazione di PyTorch e TorchServe su GitHub.

La tabella seguente elenca le DLC PyTorch AWS supportate da TorchServe.

Le seguenti sezioni descrivono la configurazione per creare e testare i DLC PyTorch su Amazon SageMaker AI.

Nozioni di base

Per iniziare, assicurati di rispettare i seguenti prerequisiti:

Aggiunta di un pacchetto

Le seguenti sezioni descrivono come aggiungere e preinstallare pacchetti all'immagine della DLC PyTorch.

Casi d'uso di BYOC

Nelle istruzioni seguenti viene descritto come aggiungere un pacchetto alla propria immagine della DLC PyTorch. Per ulteriori informazioni sulla personalizzazione del proprio container, consulta Creazione di immagini personalizzate di container di Deep Learning di AWS.

Casi d’uso di preinstallazione di SageMaker AI

Nell'esempio seguente viene illustrato come preinstallare un pacchetto nel container della DLC PyTorch. È necessario creare un file requirements.txt localmente nella directory workspace/code.

mkdir -p workspace/code
    cat workspace/code/requirements.txt
    
    transformers==4.28.1
    

Crea artefatti del modello TorchServe

Nel seguente esempio, utilizziamo il modello MNIST pre-addestrato. Creiamo una directory workspace/mnist, implementiamo mnist_handler.py seguendo le istruzioni del servizio personalizzato TorchServe e configuriamo i parametri del modello (come la dimensione del batch e i worker) in model-config.yaml. Quindi, utilizziamo lo strumento TorchServe torch-model-archiver per creare gli artefatti del modello e caricarli su Amazon S3.

Utilizzo di endpoint a modello singolo da implementare con TorchServe

L'esempio seguente mostra come creare un endpoint di inferenza in tempo reale a modello singolo, implementare il modello sull'endpoint e testarlo utilizzando Amazon SageMaker Python SDK.

from sagemaker.model import Model
    from sagemaker.predictor import Predictor
    
    # create the single model endpoint and deploy it on SageMaker AI
    model = Model(model_data = f'{output_path}/mnist.tar.gz', 
                  image_uri = baseimage,
                  role = role,
                  predictor_cls = Predictor,
                  name = "mnist",
                  sagemaker_session = smsess)
                  
    endpoint_name = 'torchserve-endpoint-' + time.strftime("%Y-%m-%d-%H-%M-%S", time.gmtime())
    predictor = model.deploy(instance_type='ml.g4dn.xlarge',
                             initial_instance_count=1,
                             endpoint_name = endpoint_name,
                             serializer=JSONSerializer(),
                             deserializer=JSONDeserializer())  
                             
    # test the endpoint
    import random
    import numpy as np
    dummy_data = {"inputs": np.random.rand(16, 1, 28, 28).tolist()}
    
    res = predictor.predict(dummy_data)  

Utilizzo di endpoint multi-modello da implementare con TorchServe

Gli endpoint multi-modello costituiscono una soluzione scalabile ed economica per l'hosting di un numero elevato di modelli dietro un unico endpoint. Migliorano l'utilizzo degli endpoint condividendo lo stesso parco di risorse e fornendo container per l'hosting di tutti i tuoi modelli. Riducono inoltro il sovraccarico di implementazione, perché SageMaker AI gestisce dinamicamente il caricamento e lo scaricamento dei modelli, oltre a scalare le risorse in base ai pattern di traffico. Gli endpoint multimodello sono particolarmente utili per i modelli di deep learning e di intelligenza artificiale generativa che richiedono una potenza di calcolo accelerata.

Utilizzando TorchServe sugli endpoint multi-modello di SageMaker AI, puoi velocizzare lo sviluppo con uno stack di distribuzione con cui hai dimestichezza, sfruttando al contempo la condivisione delle risorse e la gestione semplificata dei modelli fornite dagli endpoint multi-modello di SageMaker AI.

L'esempio seguente mostra come creare un endpoint multi-modello, implementare il modello sull'endpoint e testare l'endpoint utilizzando Amazon SageMaker Python SDK. Ulteriori informazioni sono disponibili in questo esempio di notebook.

from sagemaker.multidatamodel import MultiDataModel
    from sagemaker.model import Model
    from sagemaker.predictor import Predictor
    
    # create the single model endpoint and deploy it on SageMaker AI
    model = Model(model_data = f'{output_path}/mnist.tar.gz', 
                  image_uri = baseimage,
                  role = role,
                  sagemaker_session = smsess)
                  
    endpoint_name = 'torchserve-endpoint-' + time.strftime("%Y-%m-%d-%H-%M-%S", time.gmtime())
    mme = MultiDataModel(
        name = endpoint_name,
        model_data_prefix = output_path,
        model = model,
        sagemaker_session = smsess)
    
    mme.deploy(
        initial_instance_count = 1,
        instance_type = "ml.g4dn.xlarge",
        serializer=sagemaker.serializers.JSONSerializer(),
        deserializer=sagemaker.deserializers.JSONDeserializer())
    
    # list models
    list(mme.list_models())
    
    # create mnist v2 model artifacts
    cp mnist.tar.gz mnistv2.tar.gz
    
    # add mnistv2
    mme.add_model(mnistv2.tar.gz)
    
    # list models
    list(mme.list_models())
    
    predictor = Predictor(endpoint_name=mme.endpoint_name, sagemaker_session=smsess)
                             
    # test the endpoint
    import random
    import numpy as np
    dummy_data = {"inputs": np.random.rand(16, 1, 28, 28).tolist()}
    
    res = predictor.predict(date=dummy_data, target_model="mnist.tar.gz")

Metriche

TorchServe supporta parametri sia a livello di sistema che a livello di modello. È possibile abilitare i parametri in modalità formato log o in modalità Prometheus tramite la variabile di ambiente TS_METRICS_MODE. È possibile utilizzare il file di configurazione dei parametri centrali TorchServe metrics.yaml per specificare i tipi di parametri da tracciare, come il conteggio delle richieste, la latenza, l'utilizzo della memoria, l'utilizzo della GPU e altro. Facendo riferimento a questo file, è possibile ottenere informazioni sulle prestazioni e sullo stato dei modelli implementati e monitorare efficacemente il comportamento del server TorchServe in tempo reale. Per informazioni più dettagliate, consulta la documentazione sui parametri di TorchServe.

È possibile accedere ai log dei parametri di TorchServe simili al formato StatSD tramite il filtro Amazon CloudWatch log. Di seguito è riportato un esempio di log dei parametri TorchServe:

CPUUtilization.Percent:0.0|#Level:Host|#hostname:my_machine_name,timestamp:1682098185
    DiskAvailable.Gigabytes:318.0416717529297|#Level:Host|#hostname:my_machine_name,timestamp:1682098185