Risoluzione dei problemi

SAGEMAKER_TFS_INSTANCE_COUNT

Per i modelli basati su TensorFlow, il binario tensorflow_model_server è la parte operativa responsabile del caricamento di un modello in memoria, dell'esecuzione degli input su un grafico del modello e della derivazione degli output. In genere, viene lanciata un’istanza singola di questo file binario per servire i modelli in un endpoint. Questo binario è internamente multithread e genera più thread per rispondere a una richiesta di inferenza. In alcune istanze, se si osserva che la CPU è utilizzata in modo rispettabile (oltre il 30%) ma la memoria è sottoutilizzata (utilizzo inferiore al 10%), potrebbe essere utile aumentare questo parametro. L'aumento del numero di risorse tensorflow_model_servers disponibili da servire in genere aumenta il throughput di un endpoint.

SAGEMAKER_TFS_FRACTIONAL_GPU_MEM_MARGIN

Questo parametro regola la frazione della memoria GPU disponibile per inizializzare CUDA/cuDNN e altre librerie GPU. 0.2 significa che il 20% della memoria GPU disponibile è riservata all'inizializzazione di CUDA/cuDNN e altre librerie GPU e l'80% della memoria GPU disponibile è allocata equamente tra i processi TF. La memoria della GPU allow_growth è preallocata a meno che l'opzione non sia abilitata.

SAGEMAKER_TFS_INTER_OP_PARALLELISM

Ciò si ricollega alla variabile inter_op_parallelism_threads Questa variabile determina il numero di thread utilizzati da operazioni indipendenti non bloccanti. 0 significa che il sistema sceglie un numero appropriato.

SAGEMAKER_TFS_INTRA_OP_PARALLELISM

Ciò si ricollega alla variabile intra_op_parallelism_threads Ciò determina il numero di thread che possono essere utilizzati per determinate operazioni come la moltiplicazione delle matrici e le riduzioni per gli acceleratori. Un valore di 0 indica che il sistema seleziona un numero appropriato.

SAGEMAKER_GUNICORN_WORKERS

Questo regola il numero di processi di lavoro che Gunicorn deve generare per la gestione delle richieste. Questo valore viene utilizzato in combinazione con altri parametri per ricavare un set che massimizzi la velocità di inferenza. Inoltre, SAGEMAKER_GUNICORN_WORKER_CLASS regola il tipo di worker generati, in genere async o gevent.

SAGEMAKER_GUNICORN_WORKER_CLASS

Questo regola il numero di processi di lavoro che Gunicorn deve generare per la gestione delle richieste. Questo valore viene utilizzato in combinazione con altri parametri per ricavare un set che massimizzi la velocità di inferenza. Inoltre, SAGEMAKER_GUNICORN_WORKER_CLASS regola il tipo di worker generati, in genere async o gevent.

OMP_NUM_THREADS

Python utilizza internamente OpenMP per implementare il multithreading all'interno dei processi. In genere, vengono generati thread equivalenti al numero di core CPU. Tuttavia, se implementato in aggiunta al Simultaneous Multi Threading (SMT), come HypeThreading di Intel, un determinato processo potrebbe superare la sottoscrizione di un determinato core generando un numero di thread doppio rispetto al numero di core CPU effettivi. In alcuni casi, un binario Python potrebbe finire per generare fino a quattro volte più thread dei core del processore disponibili. Pertanto, l'impostazione ideale per questo parametro, se hai registrato un numero eccessivo di core disponibili utilizzando i thread del worker, è 1, o la metà del numero di core CPU su una CPU con SMT attivato.

TF_DISABLE_MKL

TF_DISABLE_POOL_ALLOCATOR

In alcuni casi, la disattivazione di MKL può velocizzare l'inferenza se TF_DISABLE_MKL e TF_DISABLE_POOL_ALLOCATOR sono impostati su 1.

SAGEMAKER_TS_MAX_BATCH_DELAY

Questo è il tempo di ritardo massimo che TorchServe attende per ricevere il batch.

SAGEMAKER_TS_BATCH_SIZE

Se TorchServe non riceve il numero di richieste specificato in batch_size prima dello scadere del timer, invia le richieste ricevute al gestore del modello.

SAGEMAKER_TS_MIN_WORKERS

Il numero minimo di worker che TorchServe può ridurre.

SAGEMAKER_TS_MAX_WORKERS

Il numero massimo di worker che TorchServe può aumentare.

SAGEMAKER_TS_RESPONSE_TIMEOUT

Il ritardo temporale, dopo il quale scade l'inferenza in assenza di una risposta.

SAGEMAKER_TS_MAX_REQUEST_SIZE

La dimensione massima del payload per TorchServe.

SAGEMAKER_TS_MAX_RESPONSE_SIZE

La dimensione della risposta del payload per TorchServe.

job_queue_size

Questo parametro è utile per effettuare il tuning in uno scenario in cui il tipo di payload della richiesta di inferenza è elevato e, a causa della maggiore dimensione del payload, è possibile che si verifichi un maggiore consumo di memoria heap della JVM in cui viene gestita questa coda. Idealmente, potresti voler mantenere bassi i requisiti di memoria heap di JVM e consentire ai worker Python di allocare più memoria per l'effettivo servizio del modello. JVM serve solo a ricevere le richieste HTTP, metterle in coda e inviarle ai worker basati su Python per l'inferenza. Se aumenti il job_queue_size, potresti finire per aumentare il consumo di memoria heap della JVM e, infine, sottrarre memoria dall'host che avrebbe potuto essere utilizzata dai worker Python. Pertanto, fai attenzione anche quando regoli questo parametro.

default_workers_per_model

Questo parametro è destinato al servizio del modello di back-end e potrebbe essere utile da ottimizzare poiché questo è il componente fondamentale del servizio complessivo del modello, in base al quale i processi Python generano i thread per ciascun modello. Se questo componente è più lento (o non ottimizzato correttamente), l'ottimizzazione del front-end potrebbe non essere efficace.