Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Guida introduttiva all' SageMaker HyperPod utilizzo della console SageMaker AI
Il seguente tutorial mostra come creare un nuovo SageMaker HyperPod cluster e configurarlo con Slurm tramite l'interfaccia utente della console SageMaker AI. Seguendo il tutorial, creerai un HyperPod cluster con tre nodi Slurm,, e. my-controller-group my-login-group worker-group-1
Argomenti
Creazione di un cluster
Per accedere alla pagina SageMaker HyperPod Clusters e scegliere l'orchestrazione Slurm, segui questi passaggi.
Apri la console Amazon SageMaker AI all'indirizzo https://console.aws.amazon.com/sagemaker/
. -
Scegli HyperPod Clusters nel riquadro di navigazione a sinistra, quindi Cluster Management.
-
Nella pagina SageMaker HyperPod Cluster, scegli Crea HyperPod cluster.
-
Nel menu a discesa Crea HyperPod cluster, scegli Orchestrated by Slurm.
-
Nella pagina di creazione del cluster Slurm, vedrai due opzioni. Scegli l'opzione più adatta alle tue esigenze.
-
Configurazione rapida -Per iniziare subito con le impostazioni predefinite, scegli Configurazione rapida. Con questa opzione, l' SageMaker intelligenza artificiale creerà nuove risorse come VPC, sottoreti, gruppi di sicurezza, bucket Amazon S3, ruolo IAM e FSx for Lustre nel processo di creazione del cluster.
-
Configurazione personalizzata: per l'integrazione con AWS le risorse esistenti o per soddisfare requisiti di rete, sicurezza o storage specifici, scegli Configurazione personalizzata. Con questa opzione, puoi scegliere di utilizzare le risorse esistenti o crearne di nuove e puoi personalizzare la configurazione più adatta alle tue esigenze.
-
Configurazione rapida
Nella sezione Configurazione rapida, segui questi passaggi per creare il tuo HyperPod cluster con l'orchestrazione Slurm.
Specificate un nome per il nuovo cluster. Non è possibile modificare il nome dopo la creazione del cluster.
Per aggiungere un gruppo di istanze, scegli Aggiungi gruppo. Ogni gruppo di istanze può essere configurato in modo diverso ed è possibile creare un cluster eterogeneo composto da più gruppi di istanze con vari tipi di istanze. Per distribuire un cluster, è necessario aggiungere almeno un gruppo di istanze.
Importante
È possibile aggiungere un gruppo di istanze alla volta. Per creare più gruppi di istanze, ripetete la procedura per ogni gruppo di istanze.
Segui questi passaggi per aggiungere un gruppo di istanze.
-
Per Tipo di gruppo di istanze, scegli un tipo per il tuo gruppo di istanze. Per questo tutorial, scegli Controller (head) for
my-controller-group, Login formy-login-groupe Compute (worker) forworker-group-1. -
Per Nome, specificate un nome per il gruppo di istanze. Per questo tutorial, create tre gruppi di istanze denominati
my-controller-groupmy-login-group, eworker-group-1. -
Ad esempio, scegli la capacità su richiesta o un piano di formazione per riservare le tue risorse di elaborazione.
-
Per Tipo di istanza, scegli l'istanza per il gruppo di istanze. Per questo tutorial, selezionate
ml.c5.xlargeformy-controller-groupmy-login-group,ml.m5.4xlargefor eml.trn1.32xlargeforworker-group-1.Assicurati di scegliere il tipo di istanza con quote sufficienti nel tuo account oppure richiedi quote aggiuntive seguendo l'indirizzo. SageMaker HyperPod quote
-
Per la quantità dell'istanza, specifica un numero intero che non superi la quota di istanza per l'utilizzo del cluster. Per questo tutorial, inserisci 1 per tutti e tre i gruppi.
-
Per Target Availability Zone, scegli la zona di disponibilità in cui verranno distribuite le tue istanze. La zona di disponibilità deve corrispondere alla posizione della capacità di elaborazione accelerata.
-
Per Volume di storage aggiuntivo per istanza (GB), facoltativo, specifica un numero intero compreso tra 1 e 16384 per impostare la dimensione di un volume Elastic Block Store (EBS) aggiuntivo in gigabyte (GB). Il volume EBS è collegato a ciascuna istanza del gruppo di istanze. Il percorso di montaggio predefinito per il volume EBS aggiuntivo è.
/opt/sagemakerDopo aver creato correttamente il cluster, è possibile accedere tramite SSH alle istanze del cluster (nodi) e verificare se il volume EBS è montato correttamente eseguendo il comando.df -hIl collegamento di un volume EBS aggiuntivo fornisce uno storage stabile, fuori istanza e persistente in modo indipendente, come descritto nella sezione Volumi Amazon EBS della Amazon Elastic Block Store User Guide. -
Scegli Aggiungi gruppo di istanze.
Questa sezione elenca tutte le impostazioni predefinite per la creazione del cluster, incluse tutte le nuove AWS risorse che verranno create durante il processo di creazione del cluster. Verificare le impostazioni predefinite.
Configurazione personalizzata
Nella sezione Configurazione personalizzata, segui questi passaggi per creare il tuo HyperPod cluster con l'orchestrazione Slurm.
Specificate un nome per il nuovo cluster. Non è possibile modificare il nome dopo la creazione del cluster.
Per il ripristino dell'esempio, scegli Automatico - consigliato o Nessuno.
Configura le impostazioni di rete per la creazione del cluster. Queste impostazioni non possono essere modificate dopo la creazione del cluster.
-
Per quanto riguarda il VPC, scegli il tuo VPC se ne hai già uno che consente all' SageMaker IA di accedere al tuo VPC. Per creare un nuovo VPC, segui le istruzioni in Crea un VPC nella Guida per l'utente di Amazon Virtual Private Cloud. Puoi lasciarlo su Nessuno per utilizzare il VPC SageMaker AI predefinito.
-
Per il blocco VPC IPv4 CIDR, inserisci l'IP iniziale del tuo VPC.
-
Per le zone di disponibilità, scegli le zone di disponibilità (AZ) in cui HyperPod verranno create le sottoreti per il tuo cluster. Scegli AZs quella che corrisponde alla posizione della tua capacità di elaborazione accelerata.
-
Per i gruppi di sicurezza, crea un gruppo di sicurezza o scegli fino a cinque gruppi di sicurezza configurati con regole per consentire la comunicazione tra risorse all'interno del VPC.
Per aggiungere un gruppo di istanze, scegli Aggiungi gruppo. Ogni gruppo di istanze può essere configurato in modo diverso ed è possibile creare un cluster eterogeneo composto da più gruppi di istanze con vari tipi di istanze. Per distribuire un cluster, è necessario aggiungere almeno un gruppo di istanze.
Importante
È possibile aggiungere un gruppo di istanze alla volta. Per creare più gruppi di istanze, ripetete la procedura per ogni gruppo di istanze.
Segui questi passaggi per aggiungere un gruppo di istanze.
-
Per Tipo di gruppo di istanze, scegli un tipo per il tuo gruppo di istanze. Per questo tutorial, scegli Controller (head) for
my-controller-group, Login formy-login-groupe Compute (worker) forworker-group-1. -
Per Nome, specificate un nome per il gruppo di istanze. Per questo tutorial, create tre gruppi di istanze denominati
my-controller-groupmy-login-group, eworker-group-1. -
Ad esempio, scegli la capacità su richiesta o un piano di formazione per riservare le tue risorse di elaborazione.
-
Per Tipo di istanza, scegli l'istanza per il gruppo di istanze. Per questo tutorial, selezionate
ml.c5.xlargeformy-controller-groupmy-login-group,ml.m5.4xlargefor eml.trn1.32xlargeforworker-group-1.Assicurati di scegliere il tipo di istanza con quote sufficienti nel tuo account oppure richiedi quote aggiuntive seguendo l'indirizzo. SageMaker HyperPod quote
-
Per la quantità dell'istanza, specifica un numero intero che non superi la quota di istanza per l'utilizzo del cluster. Per questo tutorial, inserisci 1 per tutti e tre i gruppi.
-
Per Target Availability Zone, scegli la zona di disponibilità in cui verranno distribuite le tue istanze. La zona di disponibilità deve corrispondere alla posizione della capacità di elaborazione accelerata.
-
Per Volume di storage aggiuntivo per istanza (GB), facoltativo, specifica un numero intero compreso tra 1 e 16384 per impostare la dimensione di un volume Elastic Block Store (EBS) aggiuntivo in gigabyte (GB). Il volume EBS è collegato a ciascuna istanza del gruppo di istanze. Il percorso di montaggio predefinito per il volume EBS aggiuntivo è.
/opt/sagemakerDopo aver creato correttamente il cluster, è possibile accedere tramite SSH alle istanze del cluster (nodi) e verificare se il volume EBS è montato correttamente eseguendo il comando.df -hIl collegamento di un volume EBS aggiuntivo fornisce uno storage stabile, fuori istanza e persistente in modo indipendente, come descritto nella sezione Volumi Amazon EBS della Amazon Elastic Block Store User Guide. -
Scegli Aggiungi gruppo di istanze.
Puoi scegliere di utilizzare gli script del ciclo di vita predefiniti o gli script del ciclo di vita personalizzati, che verranno archiviati nel tuo bucket Amazon S3. Puoi visualizzare gli script del ciclo di vita predefiniti nell'archivio Awesome Distributed Training. GitHub
-
Per gli script del ciclo di vita, scegli di utilizzare script del ciclo di vita predefiniti o personalizzati.
-
Per gli script del bucket S3 per il ciclo di vita, scegli di creare un nuovo bucket o di utilizzare un bucket esistente per archiviare gli script del ciclo di vita.
Scegli o crea un ruolo IAM che HyperPod consenta di eseguire e accedere alle risorse necessarie per tuo conto. AWS
Configura il file system FSx for Lustre da fornire sul HyperPod cluster.
-
Per File system, scegliete un file system FSx for Lustre esistente, FSx per crearne uno nuovo, oppure non installatene uno FSx per Lustre.
-
Per Throughput per unità di storage, scegli il throughput che sarà disponibile per TiB di storage assegnato.
-
Per Capacità di storage, inserisci un valore di capacità in TB.
-
Per Tipo di compressione dei dati, scegli LZ4di abilitare la compressione dei dati.
-
Per la versione Lustre, visualizza il valore consigliato per i nuovi file system.
Per i tag: opzionale, aggiungi coppie di chiavi e valori al nuovo cluster e gestisci il cluster come AWS risorsa. Per ulteriori informazioni, consulta Taggare le AWS risorse.
Distribuzione delle risorse
Dopo aver completato le configurazioni del cluster utilizzando Configurazione rapida o Configurazione personalizzata, scegli la seguente opzione per avviare il provisioning delle risorse e la creazione del cluster.
-
Invia: SageMaker AI inizierà a fornire le risorse di configurazione predefinite e a creare il cluster.
-
Scarica i parametri del CloudFormation modello: scaricherai il file JSON dei parametri di configurazione ed eseguirai il AWS CLI comando per distribuire lo CloudFormation stack per fornire le risorse di configurazione e creare il cluster. Se necessario, è possibile modificare il file JSON dei parametri scaricato. Se scegli questa opzione, consulta ulteriori istruzioni inCreazione di cluster utilizzando modelli SageMaker HyperPod AWS CloudFormation.
Elimina il cluster e pulisci le risorse
Dopo aver testato con successo la creazione di un SageMaker HyperPod cluster, questo continua a funzionare nello InService stato fino all'eliminazione del cluster. Ti consigliamo di eliminare tutti i cluster creati utilizzando istanze SageMaker AI su richiesta quando non sono in uso per evitare di incorrere in costi di servizio continui in base ai prezzi su richiesta. In questo tutorial, hai creato un cluster composto da due gruppi di istanze. Uno di essi utilizza un'istanza C5, quindi assicurati di eliminare il cluster seguendo le istruzioni riportate all'indirizzoEliminare un SageMaker HyperPod cluster.
Tuttavia, se hai creato un cluster con capacità di elaborazione riservata, lo stato dei cluster non influisce sulla fatturazione del servizio.
Per pulire gli script del ciclo di vita dal bucket S3 utilizzato per questo tutorial, vai al bucket S3 che hai usato durante la creazione del cluster e rimuovi completamente i file.
Se hai testato l'esecuzione di carichi di lavoro sul cluster, assicurati di aver caricato dati o di aver salvato artefatti in diversi bucket S3 o servizi di file system come Amazon FSx for Lustre e Amazon Elastic File System. Per evitare addebiti, elimina tutti gli artefatti e i dati dallo storage o dal file system.
