Creazione di un SageMaker HyperPod cluster con l'orchestrazione di Amazon EKS - Amazon SageMaker AI
Crea clusterDistribuire le risorse

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Creazione di un SageMaker HyperPod cluster con l'orchestrazione di Amazon EKS

Il seguente tutorial dimostra come creare un nuovo SageMaker HyperPod cluster e configurarlo con l'orchestrazione di Amazon EKS tramite l'interfaccia utente della console SageMaker AI.

Crea cluster

Per accedere alla pagina SageMaker HyperPod Clusters e scegliere l'orchestrazione di Amazon EKS, segui questi passaggi.

  1. Apri la console Amazon SageMaker AI all'indirizzo https://console.aws.amazon.com/sagemaker/.

  2. Scegli HyperPod Clusters nel riquadro di navigazione a sinistra, quindi Cluster Management.

  3. Nella pagina SageMaker HyperPod Cluster, scegli Crea HyperPod cluster.

  4. Nel menu a discesa Crea HyperPod cluster, scegli Orchestrated by Amazon EKS.

  5. Nella pagina di creazione del cluster EKS, scegli l’opzione più adatta alle tue esigenze scegliendo tra le due disponibili.

    1. Configurazione rapida: per iniziare subito con le impostazioni predefinite, scegli Configurazione rapida. Con questa opzione, l' SageMaker intelligenza artificiale creerà nuove risorse come VPC, sottoreti, gruppi di sicurezza, bucket Amazon S3, ruolo IAM e FSx for Lustre nel processo di creazione del cluster.

    2. Configurazione personalizzata: per l’integrazione con le risorse AWS esistenti o per soddisfare requisiti di rete, sicurezza o archiviazione specifici, scegli Configurazione personalizzata. Con questa opzione, puoi scegliere di utilizzare le risorse esistenti o crearne di nuove e puoi personalizzare la configurazione in base alle tue esigenze.

Nella sezione Configurazione rapida, segui questi passaggi per creare il tuo HyperPod cluster con l'orchestrazione di Amazon EKS.

Impostazioni generali

Specifica un nome per il nuovo cluster. Dopo la creazione del cluster, non è più possibile modificarne il nome.

Gruppi di istanze

Per aggiungere un gruppo di istanze, scegli Aggiungi gruppo. Ogni gruppo di istanze può essere configurato in modo diverso ed è possibile creare un cluster eterogeneo composto da più gruppi di istanze con vari tipi di istanze. Per implementare un cluster, devi aggiungere almeno un gruppo di istanze. Segui questa procedura per aggiungere un gruppo di istanze.

  1. In Tipo di gruppo di istanze, scegli Standard o Gruppo di istanze limitato (RIG). Di solito si sceglie Standard perché fornisce un ambiente di calcolo generico senza limitazioni di sicurezza aggiuntive. Gruppo di istanze limitato (RIG) è un ambiente specializzato per la personalizzazione di modelli di fondazione come Amazon Nova. Per ulteriori informazioni sulla configurazione di RIG per la personalizzazione dei modelli Amazon Nova, consulta Personalizzazione di Amazon Nova su Amazon SageMaker HyperPod.

  2. In Nome, specifica un nome per il gruppo di istanze.

  3. In Capacità dell’istanza, scegli la capacità on demand o un piano di addestramento per riservare le tue risorse di calcolo.

  4. Per Tipo di istanza, scegli l’istanza per il gruppo di istanze.

    Importante

    Assicurati di selezionare un tipo di istanza con quote sufficienti e un numero adeguato di indirizzi IP non assegnati per il tuo account. Per visualizzare o richiedere quote aggiuntive, consulta SageMaker HyperPod quote.

  5. In Quantità istanze. specifica un numero intero che non sia maggiore della quota dell’istanza per l’utilizzo del cluster. Per questo tutorial, inserisci 1 per tutti e tre i gruppi.

  6. In Zona di disponibilità di destinazione, scegli la zona di disponibilità in cui allocare le istanze. La zona di disponibilità deve corrispondere alla posizione della capacità di calcolo accelerata.

  7. Per Volume di archiviazione aggiuntivo per istanza (GB) (facoltativo), specifica un numero intero compreso tra 1 e 16.384 per impostare la dimensione di un volume Elastic Block Store (EBS) aggiuntivo in gigabyte (GB). Il volume EBS è collegato a ciascuna istanza del gruppo di istanze. Il percorso di montaggio predefinito per il volume EBS aggiuntivo è /opt/sagemaker. Dopo aver creato correttamente il cluster, è possibile accedere tramite SSH alle istanze del cluster (nodi) e verificare che il volume EBS sia montato correttamente eseguendo il comando df -h. Il collegamento di un volume EBS aggiuntivo fornisce un’archiviazione stabile, fuori istanza e con persistenza indipendente, come descritto nella sezione Amazon EBS volumes in Amazon Elastic Block Store User Guide.

  8. Per Controlli approfonditi dell’integrità delle istanze, scegli un’opzione. I controlli dell’integrità approfonditi monitorano l’integrità dell’istanza durante la creazione e dopo gli aggiornamenti software, ripristinando automaticamente le istanze difettose con riavvii o sostituzioni, se abilitati.

  9. Se il tuo tipo di istanza supporta il partizionamento GPU con Multi-Instance GPU (MIG), puoi abilitare la configurazione delle partizioni GPU per il gruppo di istanze. Il partizionamento GPU consente di suddividerlo in partizioni più piccole e isolate per un migliore utilizzo delle risorse. GPUs Per ulteriori informazioni, consulta Utilizzo delle partizioni GPU in Amazon SageMaker HyperPod.

    1. Attiva Usa la partizione GPU per abilitare il partizionamento GPU per questo gruppo di istanze.

    2. Seleziona un profilo di partizione GPU tra le opzioni disponibili per il tipo di istanza. Ogni profilo definisce la configurazione delle slice GPU e l'allocazione della memoria.

  10. Scegli Aggiungi gruppo di istanze.

Impostazioni predefinite della configurazione rapida

Questa sezione elenca tutte le impostazioni predefinite per la creazione del cluster, incluse tutte le nuove AWS risorse che verranno create durante il processo di creazione del cluster. Verificare le impostazioni predefinite.

Nella sezione Configurazione personalizzata, segui questi passaggi per creare il tuo primo HyperPod cluster con l'orchestrazione di Amazon EKS.

Impostazioni generali

Specifica un nome per il nuovo cluster. Dopo la creazione del cluster, non è più possibile modificarne il nome.

In Ripristino dell’istanza, scegli Automatico (consigliato) o Nessuno.

Rete

Configura le impostazioni di rete all'interno del cluster e in-and-out del cluster. Per l'orchestrazione del SageMaker HyperPod cluster con Amazon EKS, il VPC viene impostato automaticamente su quello configurato con il cluster EKS selezionato.

  1. Per quanto riguarda il VPC, scegli il tuo VPC se ne hai già uno che consente all' SageMaker IA di accedere al tuo VPC. Per creare un nuovo VPC, segui le istruzioni in Create a VPC in Amazon Virtual Private Cloud User Guide. Puoi lasciarlo su Nessuno per utilizzare il VPC SageMaker AI predefinito.

  2. Per il blocco VPC IPv4 CIDR, inserisci l'IP iniziale del tuo VPC.

  3. Per le zone di disponibilità, scegli le zone di disponibilità (AZ) in cui HyperPod verranno create le sottoreti per il tuo cluster. Scegli AZs quella che corrisponde alla posizione della tua capacità di elaborazione accelerata.

  4. In Gruppi di sicurezza, scegli gruppi di sicurezza collegati al cluster Amazon EKS o il cui traffico in entrata è consentito dal gruppo di sicurezza associato al cluster Amazon EKS. Per creare nuovi gruppi di sicurezza, vai alla console di Amazon VPC.

Orchestrazione

Segui questa procedura per creare o selezionare un cluster Amazon EKS da utilizzare come orchestratore.

  1. In Cluster EKS, scegli di creare un nuovo cluster Amazon EKS o di utilizzarne uno esistente.

    Se devi creare un nuovo cluster EKS, puoi farlo dalla sezione del cluster EKS senza dover aprire la console di Amazon EKS.

    Nota

    La sottorete VPC scelta HyperPod deve essere privata.

    Dopo aver inviato una nuova richiesta di creazione di un cluster EKS, attendi che il cluster EKS diventi Active.

  2. In Versione Kubernetes, scegli una versione dal menu a discesa. Per ulteriori informazioni sulle versioni di Kubernetes, consulta Understand the Kubernetes version lifecycle on EKS in Amazon EKS User Guide.

  3. In Operatori, scegli Usa grafici e componenti aggiuntivi Helm predefiniti o Non installare operatori. L’opzione predefinita è Usa grafici e componenti aggiuntivi Helm predefiniti, che verrà utilizzata per installare gli operatori sul cluster EKS. Per ulteriori informazioni sui grafici e sui componenti aggiuntivi di Helm predefiniti, consulta helm_chartdal repository. GitHub Per ulteriori informazioni, consulta Installazione di pacchetti sul cluster Amazon EKS con Helm.

  4. In Operatori abilitati, visualizza l’elenco degli operatori abilitati. Per modificare gli operatori, deseleziona la casella in alto e scegli gli operatori da abilitare per il cluster EKS.

    Nota

    Per utilizzarlo HyperPod con EKS, è necessario installare i grafici Helm e i componenti aggiuntivi che abilitano gli operatori sul cluster EKS. Questi componenti configurano EKS come piano di controllo HyperPod e forniscono la configurazione necessaria per la gestione e l'orchestrazione del carico di lavoro.

Gruppi di istanze

Per aggiungere un gruppo di istanze, scegli Aggiungi gruppo. Ogni gruppo di istanze può essere configurato in modo diverso ed è possibile creare un cluster eterogeneo composto da più gruppi di istanze con vari tipi di istanze. Per implementare un cluster, devi aggiungere almeno un gruppo di istanze. Segui questa procedura per aggiungere un gruppo di istanze.

  1. In Tipo di gruppo di istanze, scegli Standard o Gruppo di istanze limitato (RIG). Di solito si sceglie Standard perché fornisce un ambiente di calcolo generico senza limitazioni di sicurezza aggiuntive. Gruppo di istanze limitato (RIG) è un ambiente specializzato per la personalizzazione di modelli di fondazione come Amazon Nova. Per ulteriori informazioni sulla configurazione di RIG per la personalizzazione dei modelli Amazon Nova, consulta Personalizzazione di Amazon Nova su Amazon SageMaker HyperPod.

  2. In Nome, specifica un nome per il gruppo di istanze.

  3. In Capacità dell’istanza, scegli la capacità on demand o un piano di addestramento per riservare le tue risorse di calcolo.

  4. Per Tipo di istanza, scegli l’istanza per il gruppo di istanze.

    Importante

    Assicurati di selezionare un tipo di istanza con quote sufficienti e un numero adeguato di indirizzi IP non assegnati per il tuo account. Per visualizzare o richiedere quote aggiuntive, consulta SageMaker HyperPod quote.

  5. In Quantità istanze. specifica un numero intero che non sia maggiore della quota dell’istanza per l’utilizzo del cluster. Per questo tutorial, inserisci 1 per tutti e tre i gruppi.

  6. In Zona di disponibilità di destinazione, scegli la zona di disponibilità in cui allocare le istanze. La zona di disponibilità deve corrispondere alla posizione della capacità di calcolo accelerata.

  7. Per Volume di archiviazione aggiuntivo per istanza (GB) (facoltativo), specifica un numero intero compreso tra 1 e 16.384 per impostare la dimensione di un volume Elastic Block Store (EBS) aggiuntivo in gigabyte (GB). Il volume EBS è collegato a ciascuna istanza del gruppo di istanze. Il percorso di montaggio predefinito per il volume EBS aggiuntivo è /opt/sagemaker. Dopo aver creato correttamente il cluster, è possibile accedere tramite SSH alle istanze del cluster (nodi) e verificare che il volume EBS sia montato correttamente eseguendo il comando df -h. Il collegamento di un volume EBS aggiuntivo fornisce un’archiviazione stabile, fuori istanza e con persistenza indipendente, come descritto nella sezione Amazon EBS volumes in Amazon Elastic Block Store User Guide.

  8. Per Controlli approfonditi dell’integrità delle istanze, scegli un’opzione. I controlli dell’integrità approfonditi monitorano l’integrità dell’istanza durante la creazione e dopo gli aggiornamenti software, ripristinando automaticamente le istanze difettose con riavvii o sostituzioni, se abilitati. Per ulteriori informazioni, consulta Controlli dell’integrità approfonditi

  9. Per Usa la partizione GPU: opzionale, se il tipo di istanza supporta il partizionamento GPU con Multi-Instance GPU (MIG), puoi abilitare questa opzione per configurare il profilo di partizione GPU per il gruppo di istanze. Il partizionamento GPU consente di suddividerlo in partizioni più piccole e isolate per un migliore utilizzo delle risorse. GPUs Per ulteriori informazioni, consulta Utilizzo delle partizioni GPU in Amazon SageMaker HyperPod.

    1. Attiva Usa la partizione GPU per abilitare il partizionamento GPU per questo gruppo di istanze.

    2. Seleziona un profilo di partizione GPU tra le opzioni disponibili per il tipo di istanza. Ogni profilo definisce la configurazione delle slice GPU e l'allocazione della memoria.

  10. Scegli Aggiungi gruppo di istanze.

Script del ciclo di vita

Puoi scegliere di utilizzare gli script del ciclo di vita predefiniti o quelli personalizzati, che verranno archiviati nel tuo bucket Amazon S3. Puoi visualizzare gli script del ciclo di vita predefiniti nell'archivio Awesome Distributed Training. GitHub Per ulteriori informazioni sugli script del ciclo di vita, consulta Personalizzazione dei SageMaker HyperPod cluster utilizzando script del ciclo di vita.

  1. In Script del ciclo di vita, scegli tra script del ciclo di vita predefiniti o personalizzati.

  2. In Bucket S3 per gli script del ciclo di vita, scegli se creare un nuovo bucket o utilizzare un bucket esistente per archiviare gli script del ciclo di vita.

Permissions

Scegli o crea un ruolo IAM che HyperPod consenta di eseguire e accedere alle AWS risorse necessarie per tuo conto. Per ulteriori informazioni, consulta Ruolo IAM per SageMaker HyperPod.

Storage

Configura il file system FSx for Lustre da fornire sul HyperPod cluster.

  1. Per File system, scegliete un file system FSx for Lustre esistente, FSx per crearne uno nuovo, oppure non installatene uno FSx per Lustre.

  2. In Throughput per unità di archiviazione, scegli il throughput che sarà disponibile per ogni TiB di archiviazione allocata.

  3. In Capacità di archiviazione, inserisci un valore di capacità in TB.

  4. Per Tipo di compressione dei dati, scegliete di LZ4abilitare la compressione dei dati.

  5. In Versione Lustre, visualizza il valore consigliato per i nuovi file system.

Tag (facoltativo)

Per i tag: facoltativo, aggiungi coppie di chiavi e valori al nuovo cluster e gestisci il cluster come AWS risorsa. Per ulteriori informazioni, consulta Tagging delle risorse AWS.

Distribuire le risorse

Dopo aver completato le configurazioni del cluster utilizzando Configurazione rapida o Configurazione personalizzata, scegli l’opzione seguente per avviare il provisioning delle risorse e la creazione del cluster.

  • Invia: l' SageMaker IA inizierà a fornire le risorse di configurazione predefinite e a creare il cluster.

  • Scarica i parametri del CloudFormation modello: scaricherai il file JSON dei parametri di configurazione ed eseguirai il AWS CLI comando per distribuire lo CloudFormation stack per fornire le risorse di configurazione e creare il cluster. Se necessario, puoi modificare il file JSON dei parametri scaricato. Se scegli questa opzione, consulta Creazione di SageMaker HyperPod cluster utilizzando modelli CloudFormation per ulteriori informazioni.