Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

CloudWatch soluzione: carico di lavoro della GPU NVIDIA su Amazon EC2

Questa soluzione consente di configurare la raccolta delle out-of-the-box metriche utilizzando CloudWatch agenti per i carichi di lavoro delle GPU NVIDIA in esecuzione su istanze. EC2 Inoltre, ti aiuta a configurare una dashboard preconfigurata. CloudWatch Per informazioni generali su tutte le soluzioni CloudWatch di osservabilità, vedere. CloudWatch soluzioni di osservabilità

Requisiti

Questa soluzione è rilevante per le seguenti condizioni:

Vantaggi

La soluzione offre il monitoraggio NVIDIA, fornendo informazioni preziose per i seguenti casi d'uso:

Di seguito sono riportati i principali vantaggi della soluzione:

L'immagine seguente è un esempio del pannello di controllo di questa soluzione.

Costi

Questa soluzione crea e utilizza le risorse del tuo account. Ti vengono addebitati i costi per l'utilizzo standard, incluso quanto segue:

Per ulteriori informazioni sui CloudWatch prezzi, consulta la pagina CloudWatch dei prezzi di Amazon.

Il calcolatore dei prezzi può aiutarti a stimare i costi mensili approssimativi per l'utilizzo di questa soluzione.

CloudWatch configurazione dell'agente per questa soluzione

L' CloudWatch agente è un software che viene eseguito in modo continuo e autonomo sui server e in ambienti containerizzati. Raccoglie metriche, log e tracce dall'infrastruttura e dalle applicazioni e li invia a e X-Ray. CloudWatch

Per ulteriori informazioni sull'agente, vedere. CloudWatch Raccogli metriche, log e tracce con l'agente CloudWatch

La configurazione dell'agente in questa soluzione raccoglie una serie di metriche per aiutarti a iniziare a monitorare e osservare la tua GPU NVIDIA. Per impostazione predefinita, l' CloudWatch agente può essere configurato per raccogliere più metriche della GPU NVIDIA rispetto a quelle visualizzate nella dashboard. Per un elenco di tutte le metriche delle GPU NVIDIA che puoi raccogliere, consulta. Raccolta dei parametri della GPU NVIDIA

Configurazione dell'agente per questa soluzione

Le metriche raccolte dall'agente sono definite nella configurazione dell'agente. La soluzione fornisce configurazioni degli agenti per raccogliere le metriche consigliate con dimensioni adeguate per il dashboard della soluzione.

Utilizza la seguente configurazione dell' CloudWatch agente sulle EC2 istanze con NVIDIA. GPUs La configurazione verrà memorizzata come parametro nel Parameter Store di SSM, come descritto più avanti. Fase 2: Archiviare il file di configurazione CloudWatch dell'agente consigliato in Systems Manager Parameter Store

{
    "metrics": {
        "namespace": "CWAgent",
        "append_dimensions": {
            "InstanceId": "${aws:InstanceId}"
        },
        "metrics_collected": {
            "nvidia_gpu": {
                "measurement": [
                    "utilization_gpu",
                    "temperature_gpu",
                    "power_draw",
                    "utilization_memory",
                    "fan_speed",
                    "memory_total",
                    "memory_used",
                    "memory_free",
                    "pcie_link_gen_current",
                    "pcie_link_width_current",
                    "encoder_stats_session_count",
                    "encoder_stats_average_fps",
                    "encoder_stats_average_latency",
                    "clocks_current_graphics",
                    "clocks_current_sm",
                    "clocks_current_memory",
                    "clocks_current_video"
                ],
                "metrics_collection_interval": 60
            }
        }
    },
    "force_flush_interval": 60
}

Implementa l'agente per la tua soluzione

Esistono diversi approcci per l'installazione dell' CloudWatch agente, a seconda del caso d'uso. Si consiglia di utilizzare Systems Manager per questa soluzione. Fornisce un'esperienza da console e semplifica la gestione di una flotta di server gestiti all'interno di un unico AWS account. Le istruzioni in questa sezione utilizzano Systems Manager e sono destinate a quando l' CloudWatch agente non è in esecuzione con configurazioni esistenti. È possibile verificare se l' CloudWatch agente è in esecuzione seguendo la procedura riportata di seguito. Verifica che l' CloudWatch agente sia in esecuzione

Se stai già eseguendo l' CloudWatch agente sugli EC2 host in cui viene distribuito il carico di lavoro e gestisci le configurazioni degli agenti, puoi saltare le istruzioni in questa sezione e seguire il meccanismo di distribuzione esistente per aggiornare la configurazione. Assicurati di unire la configurazione dell'agente della GPU NVIDIA con la configurazione dell'agente esistente, quindi distribuisci la configurazione unita. Se si utilizza Systems Manager per archiviare e gestire la configurazione per l' CloudWatch agente, è possibile unire la configurazione al valore del parametro esistente. Per ulteriori informazioni, vedere Gestione dei file di configurazione CloudWatch dell'agente.

Il processo di distribuzione include i seguenti passaggi:

Passaggio 1: assicurati che le EC2 istanze di destinazione dispongano delle autorizzazioni IAM richieste

È necessario concedere l'autorizzazione a Systems Manager per installare e configurare l' CloudWatch agente. È inoltre necessario concedere all' CloudWatch agente l'autorizzazione a pubblicare dati di telemetria dall'istanza a EC2 . CloudWatch Assicurati che il ruolo IAM associato all'istanza abbia CloudWatchAgentServerPolicyle policy di Amazon SSMManaged InstanceCore IAM allegate.

Fase 2: Archiviare il file di configurazione CloudWatch dell'agente consigliato in Systems Manager Parameter Store

Parameter Store semplifica l'installazione dell' CloudWatch agente su un' EC2 istanza archiviando e gestendo in modo sicuro i parametri di configurazione, eliminando la necessità di valori codificati. Ciò garantisce un processo di implementazione più sicuro e flessibile, che consente una gestione centralizzata e aggiornamenti più semplici delle configurazioni su più istanze.

Utilizzare i passaggi seguenti per archiviare il file di configurazione dell' CloudWatch agente consigliato come parametro in Parameter Store.

Passaggio 3: Installare l' CloudWatch agente e applicare la configurazione utilizzando un modello AWS CloudFormation

È possibile utilizzare AWS CloudFormation per installare l'agente e configurarlo in modo da utilizzare la configurazione dell' CloudWatch agente creata nei passaggi precedenti.

Se desideri prima modificare il file modello per personalizzarlo, scegli l'opzione Carica un file modello in Create Stack Wizard per caricare il modello modificato. Per ulteriori informazioni, consulta Creazione di uno stack sulla console. AWS CloudFormation

Fase 4: Verificare che la configurazione dell'agente sia configurata correttamente

È possibile verificare se l' CloudWatch agente è installato seguendo la procedura riportata di seguitoVerifica che l' CloudWatch agente sia in esecuzione. Se l' CloudWatch agente non è installato e non è in esecuzione, assicurati di aver configurato tutto correttamente.

Se tutto è configurato correttamente, dovresti vedere le metriche della GPU NVIDIA pubblicate su. CloudWatch Puoi controllare la CloudWatch console per verificare che vengano pubblicate.

Crea la dashboard della soluzione GPU NVIDIA

La dashboard fornita da questa soluzione presenta le metriche NVIDIA aggregando e presentando GPUs le metriche relative a tutte le istanze. La dashboard mostra una ripartizione dei principali contributori (i primi 10 per widget metrico) per ogni metrica. Questo ti aiuta a identificare rapidamente i valori anomali o le istanze che contribuiscono in modo significativo alle metriche osservate.

Per creare la dashboard, puoi utilizzare le seguenti opzioni:

Utilizzando la CloudWatch console per creare una dashboard, puoi visualizzarne l'anteprima prima di crearla effettivamente e ricevere l'addebito.

Se desideri modificare il file modello per personalizzarlo per qualsiasi scopo, puoi utilizzare l'opzione Carica un file modello in Create Stack Wizard per caricare il modello modificato. Per ulteriori informazioni, consulta Creazione di uno stack sulla console. AWS CloudFormation Puoi usare questo link per scaricare il modello: https://aws-observability-solutions-prod-us-east-1.s3.us-east-1.amazonaws.com/NVIDIA_GPU_EC2/CloudWatch/CFN/v1.0.0/dashboard-template-1.0.0.json.

Inizia con la dashboard delle GPU NVIDIA

Ecco alcune attività che puoi provare con la nuova dashboard GPU NVIDIA. Queste attività ti consentono di verificare che la dashboard funzioni correttamente e di fornirti un'esperienza pratica nell'utilizzarla per monitorare la tua NVIDIA. GPUs Man mano che li provi, acquisirai familiarità con la navigazione nella dashboard e l'interpretazione delle metriche visualizzate.

Verifica l'utilizzo della GPU

Nella sezione Utilizzo, trova i widget Utilizzo della GPU e Utilizzo della memoria. Questi mostrano rispettivamente la percentuale di tempo in cui la GPU viene utilizzata attivamente per i calcoli e la percentuale di memoria globale in lettura o scrittura. Un utilizzo elevato potrebbe indicare potenziali rallentamenti nelle prestazioni o la necessità di risorse GPU aggiuntive.

Analizza l'utilizzo della memoria della GPU

Nella sezione Memoria, trova i widget Memoria totale, Memoria usata e Memoria libera. Questi forniscono informazioni sulla capacità di memoria complessiva GPUs e sulla quantità di memoria attualmente consumata o disponibile. La pressione della memoria potrebbe portare a problemi o out-of-memory errori di prestazioni, quindi è importante monitorare questi parametri e assicurarsi che sia disponibile memoria sufficiente per i carichi di lavoro.

Monitora la temperatura e l'assorbimento di potenza

Nella sezione Temperatura/Potenza, trova i widget GPU Temperature e Power Draw. Queste metriche sono essenziali per garantire il GPUs funzionamento entro limiti termici e di potenza sicuri.

Identifica le prestazioni dell'encoder

Nella sezione Encoder, trova i widget Encoder Session Count, Average FPS e Average Latency. Queste metriche sono pertinenti se esegui carichi di lavoro di codifica video sul tuo. GPUs Monitora queste metriche per assicurarti che i tuoi encoder funzionino in modo ottimale e identifica eventuali rallentamenti o problemi di prestazioni.

PCIe Controlla lo stato del link

Nella PCIesezione, trova i widget PCIe Link Generation e PCIe Link Width. Queste metriche forniscono informazioni sul PCIe collegamento che collega la GPU al sistema host. Assicurati che il collegamento funzioni alla generazione e alla larghezza previste per evitare potenziali limitazioni delle prestazioni dovute a PCIe colli di bottiglia.

Controlla gli orologi della GPU

Nella sezione Orologio, trova i widget Graphics Clock, SM Clock, Memory Clock e Video Clock. Queste metriche mostrano le frequenze operative correnti dei vari componenti della GPU. Il monitoraggio di questi clock può aiutare a identificare potenziali problemi relativi al ridimensionamento del clock della GPU o alla limitazione della frequenza, che potrebbero influire sulle prestazioni.