Blocs de capacité pour ML - Amazon Elastic Compute Cloud
Plateformes prises en chargeConsidérationsRessources connexes

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Blocs de capacité pour ML

Les blocs de capacité pour le machine learning vous permettent de réserver des instances de calcul accéléré basées sur le GPU à une date future afin de prendre en charge vos charges de travail d'apprentissage automatique (ML) de courte durée. Les instances qui s'exécutent au sein d'un bloc de capacité sont automatiquement placées à proximité les unes des autres dans Amazon EC2 UltraClusters, pour une mise en réseau non bloquante à faible latence, à l'échelle du pétaoctet.

Vous pouvez également utiliser des blocs de capacité pour réserver de la capacité pour Amazon EC2 UltraServers. UltraServers connectez plusieurs EC2 instances Amazon au sein d'une interconnexion accélératrice à faible latence et à bande passante élevée. Vous pouvez l'utiliser UltraServers pour gérer les AI/ML charges de travail les plus gourmandes en calcul et en mémoire lors de la formation, du réglage et de l'inférence. Pour plus d'informations, consultez Amazon EC2 UltraServers.

Avec les blocs de capacité, vous pouvez voir quand la capacité de l’instance GPU sera disponible à des dates ultérieures, et vous pouvez planifier le démarrage d’un bloc de capacité au moment qui vous convient le mieux. Lorsque vous réservez un bloc de capacité, vous bénéficiez d’une assurance de capacité prévisible pour les instances GPU tout en ne payant que pour le temps dont vous avez besoin. Nous recommandons les blocs de capacité lorsque vous devez GPUs prendre en charge vos charges de travail de ML pendant des jours ou des semaines d'affilée et que vous ne souhaitez pas payer pour une réservation lorsque vos instances de GPU ne sont pas utilisées.

Voici quelques cas d’utilisation courants des blocs de capacité.

  • Entraînement et optimisation du modèle de ML : bénéficiez d’un accès ininterrompu aux instances GPU que vous avez réservées pour terminer l’entraînement et l’optimisation du modèle de machine learning.

  • Expérimentations et prototypes de machine learning : exécutez des expériences et créez des prototypes qui nécessitent des instances de GPU pendant de courtes durées.

Vous pouvez réserver un bloc de capacité avec les spécifications suivantes :

  • Réservez une heure de début jusqu'à 8 semaines à l'avance

  • Définissez une durée de réservation de un à 14 jours ou un multiple de 7 jours, jusqu'à 182 jours (exemples : 21 jours, 28 jours)

  • Configurer jusqu'à 64 instances par bloc de capacité

  • Configurez jusqu'à 256 instances sur plusieurs blocs de capacité

Pour Amazon EC2 UltraServers, chacun UltraServer correspond à un bloc de capacité. Vous pouvez en demander plusieurs UltraServers par le biais d'une seule demande.

Vous pouvez utiliser les blocs de capacité pour réserver p6-b200p5,p5e,p5en,p4d,p4de,trn1, et des trn2 instances. Vous pouvez acheter les UltraServer types suivants via Capacity Blocks : P6e-GB200 et Trn2 (en version préliminaire).

Pour réserver un bloc de capacité, vous devez commencer par spécifier vos besoins en matière de capacité, notamment le type ou le UltraServer type d'instance, le nombre d'instances ou UltraServers leur durée, la date de début la plus ancienne et la dernière date de fin dont vous avez besoin. Ensuite, vous pouvez voir une offre de blocs de capacité disponible qui répond à vos spécifications. L’offre de bloc de capacité inclut des informations telles que l’heure de début, la zone de disponibilité et le prix de réservation. Le prix d’une offre de bloc de capacité dépend de l’offre et de la demande au moment où l’offre est proposée. Une fois que vous avez réservé un bloc de capacité, le prix ne change pas. Pour de plus amples informations, veuillez consulter Tarification et facturation des blocs de capacité.

Lorsque vous achetez un bloc de capacité, votre réservation est créée pour la date et le nombre d’instances que vous avez sélectionnés. Lorsque votre réservation de bloc de capacité commence, vous pouvez cibler les lancements d’instances en spécifiant l’ID de réservation dans vos demandes de lancement.

Vous pouvez utiliser toutes les instances que vous avez réservées jusqu'à 30 minutes (pour les types d'instances) ou 60 minutes (pour le UltraServer type) avant l'heure de fin du bloc de capacité. À 30 minutes (pour les types d'instances) ou 60 minutes (pour les UltraServer types) de réservation de votre bloc de capacité, nous commençons à mettre fin à toutes les instances en cours d'exécution dans le bloc de capacité. Nous utilisons ce temps pour nettoyer vos instances avant de livrer le bloc de capacité au client suivant. Nous émettons un événement EventBridge 10 minutes avant le début du processus de résiliation. Pour de plus amples informations, veuillez consulter Surveillez les blocs de capacité à l'aide EventBridge.

Rubriques

Plateformes prises en charge

Les blocs de capacité pour le ML prennent actuellement en charge les instances et uniquement UltraServers avec une location par défaut. Lorsque vous utilisez la console AWS Management Console pour acheter un bloc de capacité, l’option de plateforme par défaut est Linux/UNIX. Lorsque vous utilisez le AWS Command Line Interface (AWS CLI) ou que AWS SDK vous achetez un bloc de capacité, les options de plateforme suivantes sont disponibles :

  • Linux/Unix

  • Utilisation de Red Hat Enterprise Linux

  • RHEL avec HA

  • SUSE Linux

  • Ubuntu Pro

Considérations

Avant d’utiliser les blocs de capacité, tenez compte des informations et des limites suivantes.

  • Pour les blocs de P6e-GB200 UltraServer capacité, vous devez mettre fin à vos instances au moins 60 minutes avant l'heure de fin du bloc de capacité.

  • Pour utiliser les blocs de P6e-GB200 UltraServer capacité, vous devez être inscrit à la zone locale de Dallas (Virginie du Nord).

  • Chaque bloc de capacité peut avoir jusqu'à 64 instances, et vous pouvez avoir jusqu'à 256 instances dans tous les blocs de capacité.

  • Vous pouvez décrire des offres de blocs de capacité qui peuvent démarrer en 30 minutes seulement.

  • Les blocs de capacité se terminent à 11 h 30, heure universelle coordonnée (UTC).

  • Le processus de résiliation pour les instances exécutées dans un bloc de capacité commence à 11 h 00, heure universelle coordonnée (UTC), le dernier jour de la réservation.

  • Les blocs de capacité peuvent être réservés avec un démarrage ultérieur, jusqu’à huit semaines plus tard.

  • Les annulations par blocs de capacité ne sont pas autorisées.

  • Le bloc de capacité ne peut pas être déplacé ou divisé.

  • Les blocs de capacité ne peuvent pas être partagés entre AWS comptes ou au sein de votre AWS organisation.

  • Les blocs de capacité ne peuvent pas être utilisés dans un groupe de réserve de capacité.

  • Le nombre total d'instances pouvant être réservées dans les blocs de capacité sur tous les comptes de votre AWS organisation ne peut pas dépasser 64 instances à une date donnée.

  • Pour utiliser un bloc de capacité, les instances doivent cibler spécifiquement l’ID de réservation.

  • Les instances d’un bloc de capacité ne sont pas prises en compte dans vos limites d’instances à la demande.

  • Pour les instances P5 utilisant une AMI personnalisée, assurez-vous que vous disposez du logiciel et de la configuration nécessaires pour EFA.

  • Pour les groupes de nœuds gérés par Amazon EKS, consultez la section Créer un groupe de nœuds gérés avec Amazon EC2 Capacity Blocks for ML. Pour les groupes de nœuds autogérés Amazon EKS, consultez la section Utiliser des blocs de capacité pour la ML avec des nœuds autogérés.

Après avoir créé un bloc de capacité, vous pouvez effectuer les opérations suivantes avec le bloc de capacité :

Pour plus d'informations AWS ParallelCluster, voir Qu'est-ce que AWS ParallelCluster.

Note

Les tailles de bloc de capacité de 64 instances ne sont pas prises en charge pour tous les types d’instance dans tous les Régions AWS.