Résolution des problèmes

SAGEMAKER_TFS_INSTANCE_COUNT

Pour les modèles basés sur Tensorflow, le binaire tensorflow_model_server est l'élément opérationnel responsable du chargement d'un modèle en mémoire, de l'exécution d'entrées par rapport à un graphe du modèle et de la dérivation des sorties. Généralement, une seule instance de ce binaire est lancée pour servir les modèles dans un point de terminaison. Ce binaire est multithread en interne et génère plusieurs threads pour répondre à une demande d'inférence. Dans certains cas, si vous constatez que le processeur est convenablement utilisé (plus de 30 % d'utilisation) mais que la mémoire est sous-utilisée (moins de 10 % d'utilisation), il peut être utile d'augmenter ce paramètre. L'augmentation du nombre tensorflow_model_servers de serveurs disponibles augmente généralement le débit d'un point de terminaison.

SAGEMAKER_TFS_FRACTIONAL_GPU_MEM_MARGIN

Ce paramètre régit la fraction de la mémoire GPU disponible pour initialiser CUDA/cuDNN et les autres bibliothèques GPU. 0.2 signifie que 20 % de la mémoire GPU disponible est réservée à l'initialisation de CUDA/cuDNN et des autres bibliothèques GPU, et que 80 % de la mémoire GPU disponible est allouée de manière égale entre les processus TF. La mémoire GPU est préallouée sauf si l'option allow_growth est activée.

SAGEMAKER_TFS_INTER_OP_PARALLELISM

Elle est liée à la variable inter_op_parallelism_threads. Cette variable détermine le nombre de threads utilisés par les opérations indépendantes sans blocage. 0 signifie que le système choisit un nombre approprié.

SAGEMAKER_TFS_INTRA_OP_PARALLELISM

Elle est liée à la variable intra_op_parallelism_threads. Cela détermine le nombre de threads qui peuvent être utilisés pour certaines opérations telles que la multiplication matricielle et les réductions pour les accélérations. Une valeur de 0 signifie que le système choisit un nombre approprié.

SAGEMAKER_GUNICORN_WORKERS

Cela régit le nombre de processus d'application de travail que Gunicorn est invité à générer pour traiter les demandes. Cette valeur est utilisée en combinaison avec d'autres paramètres pour dériver un ensemble qui maximise le débit d'inférence. En plus de cela, la variable SAGEMAKER_GUNICORN_WORKER_CLASS régit le type des applications de travail engendrées, généralement async ou gevent.

SAGEMAKER_GUNICORN_WORKER_CLASS

Cela régit le nombre de processus d'application de travail que Gunicorn est invité à générer pour traiter les demandes. Cette valeur est utilisée en combinaison avec d'autres paramètres pour dériver un ensemble qui maximise le débit d'inférence. En plus de cela, la variable SAGEMAKER_GUNICORN_WORKER_CLASS régit le type des applications de travail engendrées, généralement async ou gevent.

OMP_NUM_THREADS

Python utilise OpenMP en interne pour implémenter le multithreading au sein des processus. Généralement, des threads équivalents au nombre de cœurs CPU sont générés. Mais lorsqu'il est implémenté en plus du multithreading simultané (SMT), tel que la technologie Hyper-Threading d'Intel, un certain processus peut sursouscrire un cœur en particulier en générant deux fois plus de threads que le nombre réel de cœurs de processeur. Dans certains cas, un binaire Python peut générer jusqu'à quatre fois plus de threads que de cœurs de processeur disponibles. Par conséquent, le paramètre idéal pour ce paramètre, si vous avez sursouscrit des cœurs disponibles à l'aide de threads de travail, est 1, ou la moitié du nombre de cœurs de processeur d'un processeur avec le SMT activé.

TF_DISABLE_MKL

TF_DISABLE_POOL_ALLOCATOR

Dans certains cas, la désactivation de MKL peut accélérer l'inférence si TF_DISABLE_MKL et TF_DISABLE_POOL_ALLOCATOR sont définies sur 1.

SAGEMAKER_TS_MAX_BATCH_DELAY

Il s'agit du délai de traitement par lots maximal que TorchServe attend de recevoir.

SAGEMAKER_TS_BATCH_SIZE

Si TorchServe ne reçoit pas le nombre de demandes spécifié dans batch_size avant la fin du délai imparti, il envoie les demandes reçues au gestionnaire de modèles.

SAGEMAKER_TS_MIN_WORKERS

Nombre minimal d'applications de travail auquel TorchServe est autorisé à réduire la capacité.

SAGEMAKER_TS_MAX_WORKERS

Nombre maximal d'applications de travail auquel TorchServe est autorisé à augmenter la capacité.

SAGEMAKER_TS_RESPONSE_TIMEOUT

Délai après lequel l'inférence expire en l'absence de réponse.

SAGEMAKER_TS_MAX_REQUEST_SIZE

Taille de charge utile maximale pour TorchServe.

SAGEMAKER_TS_MAX_RESPONSE_SIZE

Taille de réponse maximale pour TorchServe.

job_queue_size

Il est utile de régler ce paramètre dans un scénario où le type de la charge utile de demande d'inférence est important et si, en raison de cette taille, la consommation de mémoire de tas de la JVM dans laquelle cette file d'attente est maintenue peut être plus élevée. Dans l'idéal, vous pouvez réduire les besoins en mémoire de tas de la JVM et permettre aux applications de travail Python d'allouer plus de mémoire pour la prise en charge réelle du modèle. La JVM sert uniquement à recevoir les requêtes HTTP, à les mettre en file d'attente et à les distribuer aux applications de travail basées sur Python pour l'inférence. Si vous augmentez la variable job_queue_size, vous risquez d'augmenter la consommation de mémoire de tas de la JVM et, finalement, de priver l'hôte de la mémoire qui aurait pu être utilisée par les applications de travail Python. Par conséquent, soyez également prudent lorsque vous réglez ce paramètre.

default_workers_per_model

Ce paramètre est destiné au service du modèle backend et peut être utile à régler, car il s'agit du composant essentiel du service de modèle global, sur la base duquel Python traite les threads de génération pour chaque modèle. Si ce composant est plus lent (ou s'il n'est pas réglé correctement), le réglage frontal risque de ne pas être efficace.