Déploiement de modèles avec Triton Inference Server - Amazon SageMaker AI
Modes d'hébergementTypes de charge utile d'inférenceUtilisation de config.pbtxt pour définir la configuration du modèlePublication des métriques Triton par défaut sur Amazon CloudWatchVariables d’environnement

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Déploiement de modèles avec Triton Inference Server

Triton Inference Server est un logiciel de service d’inférence open source qui rationalise l’inférence par IA. Avec Triton, vous pouvez déployer n'importe quel modèle construit avec plusieurs frameworks de deep learning et de machine learning, notamment TensorRT, TensorFlow, PyTorch, ONNX, OpenVINO, Python, RAPIDS FIL, etc.

Les conteneurs Triton SageMaker AI vous aident à déployer Triton Inference Server sur la plateforme d’hébergement SageMaker AI afin de servir des modèles entraînés en production. Il prend en charge les différents modes de fonctionnement de SageMaker AI. Pour obtenir la liste des conteneurs Triton Inference Server disponibles sur SageMaker AI, consultez NVIDIA Triton Inference Containers (SM support only).

Pour des exemples de blocs-notes de bout en bout, nous vous recommandons de consulter le référentiel amazon-sagemaker-examples.

Modes d'hébergement

Les modes d’hébergement SageMaker AI suivants sont pris en charge par les conteneurs Triton :

  • Points de terminaison à modèle unique

    • Il s’agit du mode de fonctionnement par défaut de SageMaker AI. Dans ce mode, le conteneur Triton peut charger un seul modèle ou un seul modèle d'ensemble.

    • Le nom du modèle doit être transmis en tant que propriété de l’environnement du conteneur, ce qui fait partie de l’appel d’API CreateModel SageMaker AI. La variable d'environnement utilisée pour transmettre le nom du modèle est SAGEMAKER_TRITON_DEFAULT_MODEL_NAME.

  • Points de terminaison à modèle unique avec ensemble

    • Le serveur d'inférence Triton prend en charge un ensemble, qui est un pipeline, ou un DAG (graphe orienté acyclique) de modèles. Bien qu’un ensemble soit techniquement composé de plusieurs modèles, dans le mode par défaut de point de terminaison à modèle unique, SageMaker AI peut traiter l’ensemble proprement dit (le méta-modèle qui représente le pipeline) comme le modèle principal à charger, puis charger les modèles associés.

    • Le nom du modèle de l'ensemble proprement dit doit être utilisé pour charger le modèle. Il doit être transmis en tant que propriété de l'environnement du conteneur, ce qui fait partie de l'appel d'API SageMaker CreateModel. La variable d'environnement utilisée pour transmettre le nom du modèle est SAGEMAKER_TRITON_DEFAULT_MODEL_NAME.

  • Points de terminaison multi-modèles

    • Dans ce mode, SageMaker AI peut servir plusieurs modèles sur un seul point de terminaison. Vous pouvez utiliser ce mode en spécifiant la variable d'environnement ‘MultiModel’: true en tant que propriété de l'environnement du conteneur, ce qui fait partie de l'appel d'API SageMaker CreateModel.

    • Par défaut, aucun modèle n'est chargé au démarrage de l'instance. Pour exécuter une demande d'inférence sur un modèle particulier, spécifiez le fichier *.tar.gz du modèle correspondant comme argument de la propriété TargetModel de l'appel d'API SageMaker InvokeEndpoint.

  • Points de terminaison multimodèles avec ensemble

    • Dans ce mode, SageMaker AI fonctionne comme décrit pour les points de terminaison multimodèles. Cependant, le conteneur Triton SageMaker AI peut charger plusieurs modèles d’ensemble, ce qui signifie que plusieurs pipelines de modèles peuvent s’exécuter sur la même instance. SageMaker AI traite chaque ensemble comme un seul modèle et l’ensemble proprement dit de chaque modèle peut être invoqué en spécifiant l’archive *.tar.gz correspondante en tant que TargetModel.

    • Pour une meilleure gestion de la mémoire pendant la LOAD et la UNLOAD de la mémoire dynamique, nous vous recommandons de réduire la taille de l'ensemble.

Types de charge utile d'inférence

Triton prend en charge deux méthodes pour envoyer une charge utile d'inférence sur le réseau : json et binary+json (ou json codé en binaire). Dans les deux cas, la charge utile JSON inclut le type de données, la forme et le tenseur de demande d'inférence réel. Le tenseur de demande doit être un tenseur binaire.

Avec le format binary+json, vous devez spécifier la longueur des métadonnées de la demande dans l'en-tête pour permettre à Triton d'analyser correctement la charge utile binaire. Dans le conteneur Triton SageMaker AI, cela se fait à l’aide d’un en-tête Content-Type personnalisé : application/vnd.sagemaker-triton.binary+json;json-header-size={}. Cela est différent de l’utilisation de l’en-tête Inference-Header-Content-Length sur un serveur d’inférence Triton autonome, car les en-têtes personnalisés ne sont pas autorisés dans SageMaker AI.

Utilisation de config.pbtxt pour définir la configuration du modèle

Pour les serveurs d’inférence Triton sur SageMaker AI, chaque modèle doit inclure un fichier config.pbtxt qui spécifie, au minimum, les configurations suivantes pour le modèle :

  • name : bien que cela soit facultatif pour les modèles exécutés en dehors de SageMaker AI, nous vous recommandons de toujours donner un nom aux modèles à exécuter dans Triton sur SageMaker AI.

  • platform et/ou backend : la définition d'un backend est essentielle pour spécifier le type du modèle. Certains backends ont une classification supplémentaire, telle que tensorflow_savedmodel ou tensorflow_graphdef. Ces options peuvent être spécifiées dans le cadre de la clé platform, en plus de la clé backend. Les backends les plus courants sont tensorrt, onnxruntime, tensorflow, pytorch, python, dali, fil et openvino.

  • input : spécifiez trois attributs pour l'entrée : name, data_type et dims (la forme).

  • output : spécifiez trois attributs pour la sortie : name, data_type et dims (la forme).

  • max_batch_size : définissez la taille du lot sur une valeur supérieure ou égale à 1 qui indique la taille de lot maximale que Triton doit utiliser avec le modèle.

Pour plus de détails sur la configuration de config.pbtxt, consultez le référentiel GitHub de Triton. Triton propose plusieurs configurations pour modifier le comportement du modèle. Certaines des options de configuration les plus courantes et les plus importantes sont les suivantes :

  • instance_groups : les groupes d'instances aident à spécifier le numéro et l'emplacement d'un modèle donné. Ils ont les attributs count, kind et gpus (utilisés quand kind est KIND_GPU). L'attribut count équivaut au nombre d'applications de travail. Pour le service des modèles réguliers, chaque application de travail a sa propre copie du modèle. De même, dans Triton, le count spécifie le nombre de copies du modèle par appareil. Par exemple, si le type instance_group est KIND_CPU, le CPU possède le nombre count de copies du modèle.

    Note

    Sur une instance de GPU, la configuration instance_group s'applique à chaque dispositif GPU. Par exemple, le nombre count de copies du modèle est placé sur chaque dispositif GPU, sauf si vous spécifiez explicitement quels dispositifs GPU doivent charger le modèle.

  • dynamic_batching et sequence_batching : le traitement par lots dynamique est utilisé pour les modèles sans état et le traitement par lots de séquences est utilisé pour les modèles dynamiques (dans lesquels vous souhaitez acheminer une demande vers la même instance de modèle à chaque fois). Les planificateurs de traitement par lots activent une file d'attente par modèle, ce qui contribue à augmenter le débit, en fonction de la configuration du traitement par lots.

  • ensemble : un modèle d'ensemble représente un pipeline d'un ou plusieurs modèles et la connexion des tenseurs d'entrée et de sortie entre eux. Il peut être configuré en spécifiant platform comme ensemble. La configuration de l'ensemble n'est qu'une représentation du pipeline du modèle. Dans SageMaker AI, tous les modèles d’un ensemble sont considérés comme dépendants du modèle d’ensemble, et comptés comme un modèle unique pour les métriques SageMaker AI, telles que LoadedModelCount.

Publication des métriques Triton par défaut sur Amazon CloudWatch

Le conteneur d'inférence NVIDIA Triton expose les métriques sur le port 8002 (configurable) pour les différents modèles et GPU utilisés dans le serveur d'inférence Triton. Pour plus de détails sur les métriques par défaut disponibles, consultez la page GitHub consacrée aux métriques du serveur d'inférence Triton. Ces métriques sont au format Prometheus et peuvent être récupérées à l'aide d'une configuration de récupération Prometheus.

À partir de la version v23.07, le conteneur Triton SageMaker AI prend en charge la publication de ces métriques sur Amazon CloudWatch en spécifiant quelques variables d’environnement. Afin de récupérer les métriques Prometheus, le conteneur Triton SageMaker AI utilise l’agent Amazon CloudWatch.

Les variables d'environnement requises que vous devez spécifier pour collecter des métriques sont les suivantes :

Variable d'environnement Description Exemple de valeur

SAGEMAKER_TRITON_ALLOW_METRICS

Spécifiez cette option pour autoriser Triton à publier des métriques sur son point de terminaison Prometheus.

"true"

SAGEMAKER_TRITON_PUBLISH_METRICS_TO_CLOUDWATCH

Spécifiez cette option pour démarrer les vérifications préalables nécessaires à la publication des métriques sur Amazon CloudWatch.

"true"

SAGEMAKER_TRITON_CLOUDWATCH_LOG_GROUP

Spécifiez cette option pour pointer vers le groupe de journaux dans lequel les métriques sont écrites.

« /aws/SageMaker AI/Endpoints/TritonMetrics/SageMakerTwoEnsemblesTest »

SAGEMAKER_TRITON_CLOUDWATCH_METRIC_NAMESPACE

Spécifiez cette option pour pointer vers l'espace de noms des métriques dans lequel vous souhaitez voir et tracer les métriques.

« /aws/SageMaker AI/Endpoints/TritonMetrics/SageMakerTwoEnsemblesPublicTest »

SAGEMAKER_TRITON_METRICS_PORT

Spécifiez ce port comme 8002 ou tout autre port. Si SageMaker AI n’a pas bloqué le port spécifié, il est utilisé. Dans le cas contraire, un autre port non bloqué est automatiquement sélectionné.

« 8002 »

Lorsque vous publiez des métriques avec Triton sur SageMaker AI, gardez à l’esprit les limites suivantes :

  • Bien que vous puissiez générer des métriques personnalisées via la C-API et le backend Python (version v23.05 et ultérieure), celles-ci ne sont actuellement pas prises en charge pour la publication sur Amazon CloudWatch.

  • En mode points de terminaison multimodèles (MME) SageMaker AI, Triton s’exécute dans un environnement qui nécessite l’activation de l’espacement des noms des modèles, car chaque modèle (à l’exception des modèles d’ensemble) est traité comme s’il se trouvait dans son propre référentiel de modèles. À l'heure actuelle, cela crée une limite pour les métriques. Lorsque l'espacement des noms des modèles est activé, Triton ne fait pas la distinction entre des métriques de deux modèles portant le même nom et appartenant à des ensembles différents. Pour contourner le problème, assurez-vous que chaque modèle déployé porte un nom unique. Cela facilite également la recherche de vos statistiques dans CloudWatch.

Variables d’environnement

Le tableau suivant répertorie les variables d’environnement prises en charge pour Triton sur SageMaker AI.

Variable d'environnement Description Type Valeurs possibles

SAGEMAKER_MULTI_MODEL

Permet à Triton de fonctionner en mode points de terminaison multimodèles SageMaker AI.

Booléen

true, false

SAGEMAKER_TRITON_DEFAULT_MODEL_NAME

Spécifiez le modèle à charger en mode modèle unique (par défaut) SageMaker AI. Pour le mode ensemble, spécifiez le nom de l'ensemble proprement dit.

Chaîne

<model_name> comme indiqué dans le fichier config.pbtxt

SAGEMAKER_TRITON_PING_MODE

'ready' est le mode par défaut en mode modèle unique SageMaker AI et 'live' est le mode par défaut en mode points de terminaison multimodèles SageMaker AI.

Chaîne

ready, live

SAGEMAKER_TRITON_DISABLE_MODEL_NAMESPACING

Dans le conteneur Triton SageMaker AI, cette valeur est définie par défaut à true.

Booléen

true, false

SAGEMAKER_BIND_TO_PORT

Sous SageMaker AI, le port par défaut est 8080. Vous pouvez le personnaliser pour un port différent dans les scénarios multi-conteneurs.

Chaîne

<port_number>

SAGEMAKER_SAFE_PORT_RANGE

Ceci est défini par la plateforme SageMaker AI lors de l’utilisation du mode multi-conteneurs.

Chaîne

<port_1>–<port_2>

SAGEMAKER_TRITON_ALLOW_GRPC

Même si SageMaker AI ne prend pas en charge le GRPC pour le moment, vous pouvez choisir de l’activer si vous utilisez Triton devant un proxy inverse personnalisé.

Booléen

true, false

SAGEMAKER_TRITON_GRPC_PORT

Le port par défaut du GRPC est 8001, mais vous pouvez le modifier.

Chaîne

<port_number>

SAGEMAKER_TRITON_THREAD_COUNT

Vous pouvez définir le nombre de threads du gestionnaire de requêtes HTTP par défaut.

Chaîne

<number>

SAGEMAKER_TRITON_LOG_VERBOSE

true par défaut sur SageMaker AI, mais vous pouvez désactiver cette option de manière sélective.

Booléen

true, false

SAGEMAKER_TRITON_LOG_INFO

false par défaut sur SageMaker AI.

Booléen

true, false

SAGEMAKER_TRITON_LOG_WARNING

false par défaut sur SageMaker AI.

Booléen

true, false

SAGEMAKER_TRITON_LOG_ERROR

false par défaut sur SageMaker AI.

Booléen

true, false

SAGEMAKER_TRITON_SHM_DEFAULT_BYTE_SIZE

Spécifiez la taille du shm pour le backend Python, en octets. La valeur par défaut est de 16 Mo, mais elle peut être augmentée.

Chaîne

<number>

SAGEMAKER_TRITON_SHM_GROWTH_BYTE_SIZE

Spécifiez la taille de croissance du shm pour le backend Python, en octets. La valeur par défaut est de 1 Mo, mais elle peut être augmentée pour permettre des incréments plus importants.

Chaîne

<number>

SAGEMAKER_TRITON_TENSORFLOW_VERSION

La valeur par défaut est 2. Triton ne prend plus en charge Tensorflow 2 depuis Triton v23.04. Vous pouvez configurer cette variable pour les versions précédentes.

Chaîne

<number>

SAGEMAKER_TRITON_MODEL_LOAD_GPU_LIMIT

Limitez le pourcentage de mémoire de GPU maximal utilisé pour le chargement du modèle, le reste pouvant être utilisé pour les demandes d'inférence.

Chaîne

<number>

SAGEMAKER_TRITON_ALLOW_METRICS

false par défaut sur SageMaker AI.

Booléen

true, false

SAGEMAKER_TRITON_METRICS_PORT

La valeur par défaut du port est 8002.

Chaîne

<number>

SAGEMAKER_TRITON_PUBLISH_METRICS_TO_CLOUDWATCH

false par défaut sur SageMaker AI. Définissez cette variable sur true pour autoriser le transfert des métriques par défaut de Triton vers Amazon CloudWatch. Si cette option est activée, vous êtes responsable des coûts de CloudWatch lorsque les métriques sont publiées sur votre compte.

Booléen

true, false

SAGEMAKER_TRITON_CLOUDWATCH_LOG_GROUP

Obligatoire si vous avez activé la publication de métriques sur CloudWatch.

Chaîne

<cloudwatch_log_group_name>

SAGEMAKER_TRITON_CLOUDWATCH_METRIC_NAMESPACE

Obligatoire si vous avez activé la publication de métriques sur CloudWatch.

Chaîne

<cloudwatch_metric_namespace>

SAGEMAKER_TRITON_ADDITIONAL_ARGS

Ajoute des arguments supplémentaires lors du démarrage du serveur Triton.

Chaîne

<additional_args>