Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

CloudWatch soluzione: carico di lavoro della GPU NVIDIA su Amazon EC2

Questa soluzione consente di configurare la raccolta delle out-of-the-box metriche utilizzando CloudWatch agenti per i carichi di lavoro delle GPU NVIDIA in esecuzione su istanze. EC2 Inoltre, ti aiuta a configurare una dashboard preconfigurata. CloudWatch Per informazioni generali su tutte le soluzioni CloudWatch di osservabilità, vedere. CloudWatch soluzioni di osservabilità

Requisiti

Questa soluzione è rilevante per le seguenti condizioni:

Vantaggi

La soluzione offre il monitoraggio NVIDIA, fornendo approfondimenti preziosi per i seguenti casi d'uso:

Di seguito sono riportati i principali vantaggi della soluzione:

L'immagine seguente mostra un esempio di pannello di controllo per questa soluzione.

Costi

Questa soluzione crea e utilizza risorse nel tuo account. Ti verranno addebitati i costi standard di utilizzo, inclusi i seguenti:

Per ulteriori informazioni sui CloudWatch prezzi, consulta la pagina CloudWatch dei prezzi di Amazon.

Il calcolatore dei prezzi può aiutarti a stimare i costi mensili approssimativi per l'utilizzo di questa soluzione.

CloudWatch configurazione dell'agente per questa soluzione

L' CloudWatch agente è un software che viene eseguito in modo continuo e autonomo sui server e in ambienti containerizzati. Raccoglie metriche, log e tracce dall'infrastruttura e dalle applicazioni e li invia a e X-Ray. CloudWatch

Per ulteriori informazioni sull'agente, vedere. CloudWatch Raccogli metriche, log e tracce utilizzando l'agente CloudWatch

La configurazione degli agenti in questa soluzione raccoglie una serie di metriche per aiutarti a iniziare a monitorare e osservare la tua GPU NVIDIA. Per impostazione predefinita, l' CloudWatch agente può essere configurato per raccogliere più metriche della GPU NVIDIA rispetto a quelle visualizzate nella dashboard. Per un elenco di tutte le metriche GPU NVIDIA che puoi raccogliere, consulta Raccolta dei parametri della GPU NVIDIA.

Configurazione dell'agente per questa soluzione

Le metriche raccolte dall'agente sono definite nella configurazione dell'agente. La soluzione fornisce configurazioni degli agenti per raccogliere le metriche consigliate con dimensioni adeguate per il pannello di controllo della soluzione.

Utilizza la seguente configurazione dell' CloudWatch agente sulle EC2 istanze con NVIDIA. GPUs La configurazione verrà memorizzata come metrica nel Parameter Store di SSM, come descritto più avanti nella sezione Fase 2: Archiviare il file di configurazione CloudWatch dell'agente consigliato in Systems Manager Parameter Store.

{
    "metrics": {
        "namespace": "CWAgent",
        "append_dimensions": {
            "InstanceId": "${aws:InstanceId}"
        },
        "metrics_collected": {
            "nvidia_gpu": {
                "measurement": [
                    "utilization_gpu",
                    "temperature_gpu",
                    "power_draw",
                    "utilization_memory",
                    "fan_speed",
                    "memory_total",
                    "memory_used",
                    "memory_free",
                    "pcie_link_gen_current",
                    "pcie_link_width_current",
                    "encoder_stats_session_count",
                    "encoder_stats_average_fps",
                    "encoder_stats_average_latency",
                    "clocks_current_graphics",
                    "clocks_current_sm",
                    "clocks_current_memory",
                    "clocks_current_video"
                ],
                "metrics_collection_interval": 60
            }
        }
    },
    "force_flush_interval": 60
}

Implementazione dell'agente per la soluzione

Esistono diversi approcci per l'installazione dell' CloudWatch agente, a seconda del caso d'uso. Si consiglia di utilizzare Systems Manager per questa soluzione. Fornisce un'esperienza da console e semplifica la gestione di una flotta di server gestiti all'interno di un unico AWS account. Le istruzioni in questa sezione utilizzano Systems Manager e sono destinate a quando l' CloudWatch agente non è in esecuzione con configurazioni esistenti. È possibile verificare se l' CloudWatch agente è in esecuzione seguendo la procedura riportata di seguito. Verifica che l' CloudWatch agente sia in esecuzione

Se stai già eseguendo l' CloudWatch agente sugli EC2 host in cui viene distribuito il carico di lavoro e gestisci le configurazioni degli agenti, puoi saltare le istruzioni in questa sezione e seguire il meccanismo di distribuzione esistente per aggiornare la configurazione. Assicurati di unire la configurazione dell'agente della GPU NVIDIA con la configurazione dell'agente esistente, quindi implementa la configurazione unita. Se si utilizza Systems Manager per archiviare e gestire la configurazione per l' CloudWatch agente, è possibile unire la configurazione al valore del parametro esistente. Per ulteriori informazioni, vedere Gestione dei file di configurazione CloudWatch dell'agente.

Il processo di implementazione include i seguenti passaggi:

Passaggio 1: assicurati che le EC2 istanze di destinazione dispongano delle autorizzazioni IAM richieste

È necessario concedere l'autorizzazione a Systems Manager per installare e configurare l' CloudWatch agente. È inoltre necessario concedere all' CloudWatch agente l'autorizzazione a pubblicare dati di telemetria dall'istanza a EC2 . CloudWatch Assicurati che il ruolo IAM associato all'istanza abbia CloudWatchAgentServerPolicyle policy di Amazon SSMManaged InstanceCore IAM allegate.

Fase 2: Archiviare il file di configurazione CloudWatch dell'agente consigliato in Systems Manager Parameter Store

Parameter Store semplifica l'installazione dell' CloudWatch agente su un' EC2 istanza archiviando e gestendo in modo sicuro i parametri di configurazione, eliminando la necessità di valori codificati. Ciò garantisce un processo di implementazione più sicuro e flessibile, che consente una gestione centralizzata e aggiornamenti più semplici delle configurazioni su più istanze.

Utilizzate i seguenti passaggi per memorizzare il file di configurazione dell' CloudWatch agente consigliato come parametro in Parameter Store.

Passaggio 3: installare l' CloudWatch agente e applicare la configurazione utilizzando un CloudFormation modello

È possibile utilizzare AWS CloudFormation per installare l'agente e configurarlo in modo da utilizzare la configurazione dell' CloudWatch agente creata nei passaggi precedenti.

Se desideri prima modificare il file modello per personalizzarlo, scegli l'opzione Carica un file modello in Procedura guidata creazione stack per caricare il modello modificato. Per ulteriori informazioni, consulta Creazione di uno stack sulla console. CloudFormation

Passaggio 4: verificare che la configurazione dell'agente sia corretta

È possibile verificare se l' CloudWatch agente è installato seguendo la procedura riportata di seguito. Verifica che l' CloudWatch agente sia in esecuzione Se l' CloudWatch agente non è installato e non è in esecuzione, assicurati di aver configurato tutto correttamente.

Se tutto è configurato correttamente, dovresti vedere le metriche della GPU NVIDIA pubblicate su. CloudWatch Puoi controllare la CloudWatch console per verificare che vengano pubblicate.

Crea il pannello di controllo della soluzione GPU NVIDIA

La dashboard fornita da questa soluzione presenta le metriche NVIDIA aggregando e presentando GPUs le metriche relative a tutte le istanze. Il pannello di controllo mostra una ripartizione dei collaboratori principali (widget dei principali 10 per metrica) per ogni metrica. Questo ti aiuta a identificare rapidamente i valori anomali o le istanze che contribuiscono in modo significativo alle metriche osservate.

Per creare il pannello di controllo, puoi utilizzare le seguenti opzioni:

Utilizzando la CloudWatch console per creare una dashboard, puoi visualizzarne l'anteprima prima di crearla effettivamente e ricevere l'addebito.

Se desideri modificare il file modello per personalizzarlo per qualsiasi scopo, puoi utilizzare l'opzione Carica un file modello in Procedura guidata creazione stack per caricare il modello modificato. Per ulteriori informazioni, consulta Creazione di uno stack sulla console CloudFormation Puoi utilizzare questo link per scaricare il modello: https://aws-observability-solutions-prod-us-east-1.s3.us-east-1.amazonaws.com/NVIDIA_GPU_EC2/ CloudWatch/CFN/v1.0.0/dashboard -template-1.0.0.json.

Nozioni di base sul pannello di controllo GPU NVIDIA

Ecco alcune attività che puoi provare con il nuovo pannello di controllo GPU NVIDIA. Queste attività ti consentono di verificare che la dashboard funzioni correttamente e di fornirti un'esperienza pratica nell'utilizzarla per monitorare la tua NVIDIA. GPUs Provandole, acquisirai familiarità con la navigazione nel pannello di controllo e l'interpretazione delle metriche visualizzate.

Verifica dell'utilizzo della GPU

Nella sezione Utilizzo, trova i widget Utilizzo della GPU e Utilizzo della memoria. Questi mostrano rispettivamente la percentuale di tempo in cui la GPU viene utilizzata attivamente per i calcoli e la percentuale di memoria globale in lettura o scrittura. Un utilizzo elevato potrebbe indicare potenziali rallentamenti nelle prestazioni o la necessità di risorse GPU aggiuntive.

Analisi dell'utilizzo della memoria della GPU

Nella sezione Memoria, trova i widget Memoria totale, Memoria usata e Memoria libera. Queste forniscono informazioni sulla capacità di memoria complessiva di GPUs e sulla quantità di memoria attualmente consumata o disponibile. La pressione della memoria potrebbe portare a problemi o out-of-memory errori di prestazioni, quindi è importante monitorare questi parametri e assicurarsi che sia disponibile memoria sufficiente per i carichi di lavoro.

Monitoraggio della temperatura e dell'assorbimento di energia

Nella sezione Temperatura/Energia, trova i widget Temperatura GPU e Assorbimento energia. Queste metriche sono essenziali per garantire il GPUs funzionamento entro limiti termici e di potenza sicuri.

Identificazione delle prestazioni dell'encoder

Nella sezione Encoder, trova i widget Numero di sessioni dell'encoder, FPS medi e Latenza media. Queste metriche sono pertinenti se esegui carichi di lavoro di codifica video sul tuo. GPUs Monitora queste metriche per assicurarti che i tuoi encoder funzionino in modo ottimale e identificare eventuali rallentamenti o problemi di prestazioni.

Controlla lo stato del link PCIe

Nella PCIesezione, trova i widget PCIe Link Generation e PCIe Link Width. Queste metriche forniscono informazioni sul PCIe collegamento che collega la GPU al sistema host. Assicurati che il collegamento funzioni alla generazione e alla larghezza previste per evitare potenziali limitazioni delle prestazioni dovute a PCIe colli di bottiglia.

Controllo dei clock della GPU

Nella sezione Clock, trova i widget Clock grafica, Clock SM, Clock memoria e Clock video. Queste metriche mostrano le frequenze operative correnti dei vari componenti della GPU. Il monitoraggio di questi clock può aiutare a identificare potenziali problemi relativi al ridimensionamento del clock della GPU o alla limitazione della frequenza, che potrebbero influire sulle prestazioni.