Inizia a usare il supporto di Amazon EKS in SageMaker HyperPod - Amazon SageMaker AI

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Inizia a usare il supporto di Amazon EKS in SageMaker HyperPod

Oltre al modulo generale Prerequisiti per l'utilizzo di SageMaker HyperPod SageMaker HyperPod, consulta i seguenti requisiti e considerazioni per l'orchestrazione SageMaker HyperPod dei cluster con Amazon EKS.

Requisiti

Nota

Prima di creare un HyperPod cluster, è necessario un cluster Amazon EKS in esecuzione configurato con VPC e installato tramite Helm.

  • Se utilizzi la console SageMaker AI, puoi creare un cluster Amazon EKS all'interno della pagina della console del HyperPod cluster. Per ulteriori informazioni, consulta Creazione di un SageMaker HyperPod cluster.

  • Se si utilizza la AWS CLI, è necessario creare un cluster Amazon EKS prima di creare un HyperPod cluster a cui associarsi. Per ulteriori informazioni, consulta Creare un cluster Amazon EKS nella Guida per l'utente di Amazon EKS.

Quando esegui il provisioning del tuo cluster Amazon EKS, considera quanto segue:

  1. Supporto della versione Kubernetes

    • SageMaker HyperPod supporta le versioni 1.28, 1.29, 1.30, 1.31 e 1.32 di Kubernetes.

  2. Modalità di autenticazione del cluster Amazon EKS

    • La modalità di autenticazione di un cluster Amazon EKS supportata da SageMaker HyperPod sono API eAPI_AND_CONFIG_MAP.

  3. Reti

    • SageMaker HyperPod richiede il plug-in Amazon VPC Container Network Interface (CNI) versione 1.18.3 o successiva.

      Nota

      AWS Il plug-in VPC CNI per Kubernetes è l'unico CNI supportato da. SageMaker HyperPod

    • Il tipo di sottorete nel VPC deve essere privato HyperPod per i cluster.

  4. Ruoli IAM

  5. Componenti aggiuntivi del cluster Amazon EKS

Considerazioni sulla configurazione dei SageMaker HyperPod cluster con Amazon EKS

  • È necessario utilizzare ruoli IAM distinti in base al tipo di nodi. Per HyperPod i nodi, usa un ruolo basato suRuolo IAM per SageMaker HyperPod. Per i nodi Amazon EKS, consulta il ruolo IAM del nodo Amazon EKS.

  • Non puoi montare volumi EBS aggiuntivi direttamente sui pod in esecuzione sui HyperPod nodi del cluster. È invece necessario utilizzare InstanceStorageConfigsper effettuare il provisioning e montare volumi EBS aggiuntivi sui nodi. HyperPod È importante notare che è possibile collegare solo volumi EBS aggiuntivi a nuovi gruppi di istanze durante la creazione o l'aggiornamento di un cluster. HyperPod Dopo aver configurato i gruppi di istanze con questi volumi EBS aggiuntivi, nel file di configurazione di Amazon EKS Pod, dovrai impostare il percorso locale /opt/sagemaker per montare correttamente i volumi sui tuoi Amazon EKS Pods.

  • Puoi distribuire il controller Amazon EBS CSI (Container Storage Interface) sui nodi. HyperPod Tuttavia, il nodo Amazon EBS CSI DaemonSet, che facilita il montaggio e lo smontaggio dei volumi EBS, può essere eseguito solo su non istanze. HyperPod

  • Se utilizzi etichette di tipo di istanza per definire i vincoli di pianificazione, assicurati di utilizzare i tipi di istanza AI ML con il prefisso. SageMaker ml. Ad esempio, per le istanze P5, usa invece di. ml.p5.48xlarge p5.48xlarge

Considerazioni sulla configurazione della rete per i SageMaker HyperPod cluster con Amazon EKS

  • Ogni istanza HyperPod del cluster supporta un'interfaccia di rete elastica (ENI). Per il numero massimo di Pod per tipo di istanza, consulta la tabella seguente.

    Tipo di istanza Numero massimo di pod
    ml.p4d.24xlarge 49
    ml.p4de.24xlarge 49
    ml. p 5,48 x grande 49
    ml.trn 1,32 x grande 49
    ml.trn1 n. 32 x grande 49
    ml.g5.xlarge 14
    ml.g5.2xlarge 14
    ml.g5.4xlarge 29
    ml.g5.8xlarge 29
    ml.g5.12xlarge 49
    ml.g5.16xlarge 29
    ml.g5.24xlarge 49
    ml.g5.48xlarge 49
    ml.c5.large 9
    ml.c5.xlarge 14
    ml.c5.2xlarge 14
    ml.c5.4xlarge 29
    ml.c5.9xlarge 29
    ml.c5.12xlarge 29
    ml.c5.18xlarge 49
    ml.c5.24xlarge 49
    ml.c5n.large 9
    ml.c5n.2xlarge 14
    ml.c5n.4xlarge 29
    ml.c5n.9xlarge 29
    ml.c5n.18xlarge 49
    ml.m5.large 9
    ml.m5.xlarge 14
    ml.m5.2xlarge 14
    ml.m5.4xlarge 29
    ml.m5.8xlarge 29
    ml.m5.12xlarge 29
    ml.m5.16xlarge 49
    ml.m5.24xlarge 49
    ml.t3.medium 5
    ml.t3.large 11
    ml.t3.xlarge 14
    ml.t3.2xlarge 14
    ml.g6.x large 14
    ml.g6.2xlarge 14
    ml.g 6.4xlarge 29
    ml.g 6.8xlarge 29
    ml.g 6,12 xlarge 29
    ml.g 6,16 xlarge 49
    ml. g 6,24 x grande 49
    ml. g 6,48 x grande 49
    ml. gr 6,4 x grande 29
    ml.gr 6,8 x grande 29
    ml.g6e.xlarge 14
    ml.g6e.2xlarge 14
    ml.g6e.4xlarge 29
    ml.g6e.8xlarge 29
    ml.g6e.12xlarge 29
    ml.g6e.16 xlarge 49
    ml. g 6 e.24 x large 49
    ml. g 6 e.48 x large 49
    ml. p 5. 48 x grande 49

  • Per impostazione predefinita, solo i Pod con hostNetwork = true accesso ad Amazon EC2 Instance Metadata Service (IMDS). Utilizza l'identità Amazon EKS Pod o i ruoli IAM per gli account di servizio (IRSA) per gestire l'accesso alle AWS credenziali per i pod.

  • HyperPod I cluster orchestrati da EKS supportano due modalità di indirizzamento IP, che consentono la configurazione con o IPv4 per i cluster IPv6 IPv6 Amazon EKS in ambienti VPC e sottorete IPv6 abilitati. Per ulteriori informazioni, consulta Configurazione SageMaker HyperPod con un Amazon VPC personalizzato.

Considerazioni sull' HyperPod utilizzo delle funzionalità di resilienza del cluster

  • La sostituzione automatica dei nodi non è supportata per le istanze di CPU.

  • L'agente di HyperPod monitoraggio dello stato deve essere installato affinché il ripristino automatico del nodo funzioni. L'agente può essere installato utilizzando Helm. Per ulteriori informazioni, consulta Installazione di pacchetti sul cluster Amazon EKS tramite Helm.

  • L'agente di controllo HyperPod approfondito e monitoraggio dello stato di salute supporta istanze GPU e Trn.

  • SageMaker L'intelligenza artificiale applica la seguente macchia ai nodi quando sono sottoposti a controlli di integrità approfonditi:

    effect: NoSchedule
key: sagemaker.amazonaws.com/node-health-status
value: Unschedulable
    Nota

    Non è possibile aggiungere colorazioni personalizzate ai nodi nei gruppi di istanze con DeepHealthChecks questa opzione attivata.

Una volta che il cluster Amazon EKS è in esecuzione, configura il cluster utilizzando il gestore di pacchetti Helm come indicato Installazione di pacchetti sul cluster Amazon EKS tramite Helm prima di creare il HyperPod cluster.