View a markdown version of this page

Avvio di un'istanza DLAMI con AWS Neuron - AWS Deep Learning AMIs
Verifica la tua istanzaIdentificazione AWS Dispositivi InferentiaVisualizza l'utilizzo delle risorseUtilizzo di Neuron Monitor (neuron-monitor)Aggiornamento del software Neuron

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Avvio di un'istanza DLAMI con AWS Neuron

L'ultima versione di DLAMI è pronta per l'uso con AWS Inferentia e viene fornita con il pacchetto Neuron API. AWS Per avviare un'istanza DLAMI, vedi Avvio e configurazione di un DLAMI. https://docs.aws.amazon.com/dlami/latest/devguide/launch-config.html Dopo aver ottenuto un DLAMI, segui i passaggi riportati qui per assicurarti che il tuo chip AWS Inferentia e le risorse AWS Neuron siano attivi.

Verifica la tua istanza

Prima di utilizzare l'istanza, verificate che sia correttamente configurata e configurata con Neuron.

Identificazione AWS Dispositivi Inferentia

Per identificare il numero di dispositivi Inferentia sulla tua istanza, usa il seguente comando: 

neuron-ls

Se alla tua istanza sono collegati dispositivi Inferentia, l'output sarà simile al seguente: 

+--------+--------+--------+-----------+--------------+
| NEURON | NEURON | NEURON | CONNECTED |     PCI      |
| DEVICE | CORES  | MEMORY |  DEVICES  |     BDF      |
+--------+--------+--------+-----------+--------------+
| 0      | 4      | 8 GB   | 1         | 0000:00:1c.0 |
| 1      | 4      | 8 GB   | 2, 0      | 0000:00:1d.0 |
| 2      | 4      | 8 GB   | 3, 1      | 0000:00:1e.0 |
| 3      | 4      | 8 GB   | 2         | 0000:00:1f.0 |
+--------+--------+--------+-----------+--------------+

L'output fornito è tratto da un' Inf1.6xlarge istanza e include le seguenti colonne:

  • DISPOSITIVO NEURON: L'ID logico assegnato a. NeuronDevice Questo ID viene utilizzato quando si configurano più runtime per utilizzarne diversi. NeuronDevices

  • NEURON CORES: Il numero di NeuronCores presenti nel. NeuronDevice

  • NEURON MEMORY: La quantità di memoria DRAM nel. NeuronDevice

  • DISPOSITIVI COLLEGATI: Altri NeuronDevices collegati al. NeuronDevice

  • PCI BDF: L'ID PCI Bus Device Function (BDF) di. NeuronDevice

Visualizza l'utilizzo delle risorse

Visualizza informazioni utili sull' NeuronCore utilizzo della vCPU, sull'utilizzo della memoria, sui modelli caricati e sulle applicazioni Neuron con il comando. neuron-top L'avvio neuron-top senza argomenti mostrerà i dati per tutte le applicazioni di machine learning che utilizzano. NeuronCores 

neuron-top

Quando un'applicazione ne utilizza quattro NeuronCores, l'output dovrebbe essere simile all'immagine seguente:

L'output del neuron-top comando, con le informazioni per una delle quattro NeuronCores evidenziate.

Per ulteriori informazioni sulle risorse per monitorare e ottimizzare le applicazioni di Neuron-based inferenza, vedere Neuron Tools.

Utilizzo di Neuron Monitor (neuron-monitor)

Neuron Monitor raccoglie le metriche dai runtime di Neuron in esecuzione sul sistema e trasmette i dati raccolti a stdout in formato JSON. Queste metriche sono organizzate in gruppi di metriche che puoi configurare fornendo un file di configurazione. Per ulteriori informazioni su Neuron Monitor, consulta la Guida per l'utente di Neuron Monitor.

Aggiornamento del software Neuron

Per informazioni su come aggiornare il software Neuron SDK all'interno di DLAMI, consulta la Neuron Setup Guide. AWS https://awsdocs-neuron.readthedocs-hosted.com/en/latest/neuron-intro/neuron-install-guide.html

Fase succcessiva

Utilizzo del DLAMI con AWS Neuron