Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Stellen Sie Modelle bereit mit TorchServe

TorchServe ist der empfohlene Modellserver für PyTorch, der im AWS PyTorch Deep Learning Container (DLC) vorinstalliert ist. Dieses leistungsstarke Tool bietet Kunden ein konsistentes und benutzerfreundliches Erlebnis und bietet eine hohe Leistung bei der Bereitstellung mehrerer PyTorch Modelle auf verschiedenen AWS Instanzen, einschließlich CPU, GPU, Neuron und Graviton, unabhängig von der Modellgröße oder -verteilung.

TorchServe unterstützt eine Vielzahl fortschrittlicher Funktionen, darunter dynamisches Batching, Microbatching, A/B Modelltests, Streaming, Torch XLA, TensorRT, ONNX und IPEX. Darüber hinaus integriert es nahtlos die Lösung für große Modelle, PyTorch PiPPY, und ermöglicht so eine effiziente Handhabung großer Modelle. Darüber hinaus TorchServe erweitert es seine Unterstützung auf beliebte Open-Source-Bibliotheken wie Accelerate DeepSpeed, Fast Transformers und mehr und erweitert so seine Funktionen noch weiter. Mit TorchServe können AWS Benutzer ihre PyTorch Modelle ohne Bedenken bereitstellen und bereitstellen und dabei die Vorteile der Vielseitigkeit und optimierten Leistung für verschiedene Hardwarekonfigurationen und Modelltypen nutzen. Nähere Informationen finden Sie in der PyTorch Dokumentation und TorchServe unter GitHub.

In der folgenden Tabelle sind die AWS PyTorch DLCs aufgeführt, die von TorchServe unterstützt werden.

In den folgenden Abschnitten wird das Setup zum Erstellen und Testen von PyTorch DLCs auf Amazon SageMaker AI beschrieben.

Erste Schritte

Stellen Sie vor Beginn sicher, dass die folgenden Voraussetzungen erfüllt sind:

Hinzufügen eines Pakets

In den folgenden Abschnitten wird beschrieben, wie du Pakete zu deinem PyTorch DLC-Image hinzufügst und vorinstallierst.

BYOC-Anwendungsfälle

In den folgenden Schritten wird beschrieben, wie Sie Ihrem PyTorch DLC-Image ein Paket hinzufügen. Weitere Informationen zum Anpassen Ihres Containers finden Sie unter Erstellen benutzerdefinierter Images für AWS Deep-Learning-Container.

SageMaker Anwendungsfälle für die Vorinstallation von KI

Das folgende Beispiel zeigt Ihnen, wie Sie ein Paket in Ihrem PyTorch DLC-Container vorinstallieren. Sie müssen lokal im Verzeichnis workspace/code eine requirements.txt Datei erstellen.

mkdir -p workspace/code
    cat workspace/code/requirements.txt
    
    transformers==4.28.1
    

Erstellen Sie TorchServe Modellartefakte

Im folgenden Beispiel verwenden wir das vortrainierte MNIST-Modell. Wir erstellen ein Verzeichnisworkspace/mnist, implementieren mnist_handler.py, indem wir den TorchServe benutzerdefinierten Serviceanweisungen folgen, und konfigurieren die Modellparameter (wie Batchgröße und Worker) in https://github.com/aws/amazon-sagemaker-examples/blob/main/inference/torchserve/mme-gpu/workspace/lama/model-config.yaml model-config.yaml. Anschließend verwenden wir das TorchServe Tool, um die Modellartefakte torch-model-archiver zu erstellen und auf Amazon S3 hochzuladen.

Verwendung einzelner Modellendpunkte für die Bereitstellung mit TorchServe

Das folgende Beispiel zeigt Ihnen, wie Sie einen einzelnen Modell-Echtzeit-Inferenzendpunkt erstellen, das Modell auf dem Endpunkt bereitstellen und den Endpunkt mithilfe des Amazon SageMaker Python SDK testen.

from sagemaker.serve import ModelBuilder
from sagemaker.core.resources import Endpoint

# Create a ModelBuilder for the single model endpoint and deploy it on SageMaker AI
model_builder = ModelBuilder(
    s3_model_data_url=f'{output_path}/mnist.tar.gz',
    image_uri=baseimage,
    role_arn=role,
    model_server='TORCHSERVE'
)

model_builder.build()
              
endpoint_name = 'torchserve-endpoint-' + time.strftime("%Y-%m-%d-%H-%M-%S", time.gmtime())
endpoint = model_builder.deploy(
    instance_type='ml.g4dn.xlarge',
    initial_instance_count=1,
    endpoint_name=endpoint_name
)
                             
# test the endpoint
import random
import json
import numpy as np
dummy_data = {"inputs": np.random.rand(16, 1, 28, 28).tolist()}

response = endpoint.invoke(
    body=json.dumps(dummy_data),
    content_type='application/json'
)
res = json.loads(response.body.read().decode('utf-8'))  

Verwendung von Endpunkten mit mehreren Modellen für die Bereitstellung TorchServe

Multi-model Endgeräte sind eine skalierbare und kostengünstige Lösung für das Hosten einer großen Anzahl von Modellen hinter einem Endpunkt. Sie verbessern die Nutzung der Endgeräte, indem sie dieselbe Ressourcenflotte gemeinsam nutzen und Container zum Hosten all Ihrer Modelle bereitstellen. Sie reduzieren auch den Bereitstellungsaufwand, da SageMaker KI das dynamische Laden und Entladen von Modellen sowie die Skalierung der Ressourcen auf der Grundlage von Verkehrsmustern verwaltet. Multi-model Endpunkte sind besonders nützlich für Deep Learning und generative KI-Modelle, die eine beschleunigte Rechenleistung erfordern.

Durch die Verwendung TorchServe auf SageMaker KI-Endpunkten mit mehreren Modellen können Sie Ihre Entwicklung beschleunigen, indem Sie einen Serving-Stack verwenden, mit dem Sie vertraut sind, und gleichzeitig die gemeinsame Nutzung von Ressourcen und die vereinfachte Modellverwaltung nutzen, die SageMaker KI-Endgeräte mit mehreren Modellen bieten.

Das folgende Beispiel zeigt Ihnen, wie Sie einen Endpunkt mit mehreren Modellen erstellen, das Modell auf dem Endpunkt bereitstellen und den Endpunkt mithilfe des Amazon Python SDK testen. SageMaker Weitere Details finden Sie in diesem Notebook-Beispiel.

from sagemaker.serve import ModelBuilder

# Create a ModelBuilder for the multi-model endpoint and deploy it on SageMaker AI
model_builder = ModelBuilder(
    s3_model_data_url=f'{output_path}/mnist.tar.gz',
    image_uri=baseimage,
    role_arn=role,
    model_server='TORCHSERVE'
)
              
endpoint_name = 'torchserve-endpoint-' + time.strftime("%Y-%m-%d-%H-%M-%S", time.gmtime())
model_builder.build()
endpoint = model_builder.deploy(
    initial_instance_count=1,
    instance_type="ml.g4dn.xlarge",
    endpoint_name=endpoint_name,
    model_data_download_timeout=1200
)

# test the endpoint
import random
import json
import numpy as np
dummy_data = {"inputs": np.random.rand(16, 1, 28, 28).tolist()}

response = endpoint.invoke(
    body=json.dumps(dummy_data),
    content_type='application/json',
    target_model="mnist.tar.gz"
)
res = json.loads(response.body.read().decode('utf-8'))

Kennzahlen

TorchServe unterstützt sowohl Metriken auf System- als auch auf Modellebene. Sie können Metriken entweder im Protokollformatmodus oder im Prometheus-Modus über die Umgebungsvariable TS_METRICS_MODE aktivieren. Sie können die TorchServe zentrale Metrikkonfigurationsdatei verwendenmetrics.yaml, um die Arten von Metriken anzugeben, die verfolgt werden sollen, z. B. Anzahl der Anfragen, Latenz, Speichernutzung, GPU-Auslastung und mehr. Anhand dieser Datei können Sie Einblicke in die Leistung und den Zustand der bereitgestellten Modelle gewinnen und das Verhalten des TorchServe Servers effektiv in Echtzeit überwachen. Weitere Informationen finden Sie in der Dokumentation zu den TorchServe Messobjekten.

Sie können über den CloudWatch Amazon-Protokollfilter auf TorchServe Metrikprotokolle zugreifen, die dem StatsD-Format ähneln. Das Folgende ist ein Beispiel für ein TorchServe Metrikprotokoll:

CPUUtilization.Percent:0.0|#Level:Host|#hostname:my_machine_name,timestamp:1682098185
    DiskAvailable.Gigabytes:318.0416717529297|#Level:Host|#hostname:my_machine_name,timestamp:1682098185