bloques de capacidad para ML - Amazon Elastic Compute Cloud
Plataformas admitidasConsideracionesRecursos relacionados

bloques de capacidad para ML

Los bloques de capacidad para ML permiten reservar instancias de computación acelerada en una fecha futura para respaldar cargas de trabajo de machine learning (ML) de corta duración. Las instancias que se ejecutan en un bloque de capacidad se colocan automáticamente cerca dentro de Amazon EC2 UltraClusters para conseguir redes que no generen bloqueos, de escala de petabits y de baja latencia.

También puede usar bloques de capacidad para reservar capacidad para UltraServers de Amazon EC2. Los UltraServers conectan varias instancias de Amazon EC2 dentro de una interconexión aceleradora de baja latencia y un elevado ancho de banda. Puede utilizar UltraServers para gestionar las cargas de trabajo de IA y ML que consumen más recursos de computación y memoria en entrenamiento, afinación e inferencia. Para obtener más información, consulte UltraServers de Amazon EC2.

Con bloques de capacidad, puede ver cuándo estará disponible la capacidad de las instancias de GPU en fechas futuras y programar un bloque de capacidad para que comience a la hora que mejor le convenga. Cuando reserva un bloque de capacidad, obtiene una garantía de capacidad predecible para las instancias de GPU y paga solo por el tiempo que necesite. Recomendamos bloques de capacidad si necesita GPU para respaldar sus cargas de trabajo de ML durante días o semanas y no quiere pagar una reserva mientras las instancias de GPU no estén en uso.

A continuación, se indican algunos casos de uso frecuentes de bloques de capacidad.

  • Entrenamiento y ajuste de modelos de ML: obtenga acceso ininterrumpido a las instancias de GPU que reservó para completar el entrenamiento y el ajuste de los modelos de ML.

  • Experimentos y prototipos de ML: ejecute experimentos y cree prototipos que requieran instancias de GPU durante periodos cortos.

Puede reservar un bloque de capacidad con las siguientes especificaciones:

  • Reserve una hora de inicio con hasta 8 semanas de antelación.

  • Establezca una duración de reserva de 1 a 14 días o un múltiplo de 7 días, hasta 182 días (ejemplos: 21 días, 28 días).

  • Configure hasta 64 instancias por bloque de capacidad.

  • Configure hasta 256 instancias entre varios bloques de capacidad.

En el caso de los UltraServers de Amazon EC2, cada UltraServer corresponde a un bloque de capacidad. Puede solicitar varios UltraServers mediante una sola solicitud.

Puede usar los bloques de capacidad para reservar las instancias p6-b200, p5, p5e, p5en, p4d, p4de, trn1 y trn2. Puede comprar los siguientes tipos de UltraServer a través de los bloques de capacidad: P6e-GB200 y Trn2 (en versión preliminar).

Para reservar un bloque de capacidad, comience por especificar sus necesidades de capacidad, lo que incluye el tipo de instancias o el tipo de UltraServers, la cantidad de instancias o UltraServers, la cantidad de tiempo, la fecha de inicio más temprana y la fecha de finalización más tardía que necesita. A continuación, podrá ver una oferta de bloques de capacidad disponible que cumpla con sus especificaciones. La oferta de bloques de capacidad incluye detalles como la hora de inicio, la zona de disponibilidad y el precio de la reserva. El precio de una oferta de bloques de capacidad depende de la oferta y la demanda disponibles en el momento en que se hizo la oferta. Después de reservar un bloque de capacidad, el precio no cambia. Para obtener más información, consulte Precios y facturación de bloques de capacidad.

Al comprar una oferta de bloques de capacidad, la reserva se crea para la fecha y el número de instancias que haya seleccionado. Cuando comience su reserva de bloques de capacidad, podrá especificar el ID de reserva en sus solicitudes de inicialización para segmentar los inicializacións de instancias.

Puede usar todas las instancias que reservó hasta 30 minutos (para los tipos de instancias) o 60 minutos (para los tipos de UltraServers) antes de la hora de finalización del bloque de capacidad. Cuando queden 30 minutos (para los tipos de instancias) o 60 minutos (para los tipos de UltraServers) de su reserva de bloques de capacidad, comenzaremos a terminar todas las instancias que se estén ejecutando en el bloque de capacidad. Aprovechamos este tiempo para limpiar sus instancias antes de entregar el bloque de capacidad al siguiente cliente. Emitimos un evento a través de EventBridge 10 minutos antes de que comience el proceso de terminación. Para obtener más información, consulte Supervisar los bloques de capacidad mediante EventBridge.

Temas

Plataformas admitidas

Los bloques de capacidad para ML admiten actualmente instancias y UltraServers con solo una tenencia predeterminada. Cuando se utiliza AWS Management Console para comprar un bloque de capacidad, la opción de plataforma predeterminada es Linux/UNIX. Al usar la AWS Command Line Interface (AWS CLI) o el SDK de AWS al comprar un bloque de capacidad, están disponibles las siguientes opciones de plataforma:

  • Linux/Unix

  • Red Hat Enterprise Linux

  • RHEL con HA

  • SUSE Linux

  • Ubuntu Pro

Consideraciones

Antes de usar los bloques de capacidad, tenga en cuenta los siguientes detalles y limitaciones.

  • En el caso de los bloques de capacidad de UltraServer P6e-GB200, debe terminar sus instancias al menos 60 minutos antes de la hora de finalización del bloque de capacidad.

  • Para usar los bloques de capacidad de UltraServer P6e-GB200, debe optar por la zona local de Dallas (Norte de Virginia).

  • Cada bloque de capacidad puede tener hasta 64 instancias, y se pueden tener hasta 256 instancias en todos los bloques de capacidad.

  • Puede describir ofertas de bloques de capacidad que se inicien en tan solo 30 minutos.

  • Los bloques de capacidad finalizan a las 11:30 h UTC (horario universal coordinado).

  • El proceso de terminación de las instancias que se ejecutan en un bloque de capacidad comienza a las 11:00 h UTC (horario universal coordinado) el último día de la reserva.

  • Los bloques de capacidad se pueden reservar con una hora de inicio con hasta 8 semanas de antelación.

  • No se admiten cancelaciones de los bloques de capacidad.

  • El bloque de capacidad no se puede trasladar ni dividir.

  • Los bloques de capacidad no se pueden compartir entre cuentas de AWS ni dentro de su organización de AWS.

  • Los bloques de capacidad no se pueden usar en un grupo de reserva de capacidad.

  • El número total de instancias que se pueden reservar en bloques de capacidad en todas las cuentas de su organización de AWS no puede superar las 64 instancias en una fecha determinada.

  • Para usar un bloque de capacidad, las instancias deben dirigirse específicamente al ID de reserva.

  • Las instancias de un bloque de capacidad no se tienen en cuenta para los límites de instancias bajo demanda.

  • En el caso de las instancias P5 que utilizan una AMI personalizada, asegúrese de tener el software y la configuración necesarios para la EFA.

  • Para los grupos de nodo gestionados por Amazon EKS, consulte Crear un grupo de nodos gestionado con Amazon EC2 Capacity Blocks para ML. Para los grupos de nodo autogestionados de Amazon EKS, consulte Uso de bloques de capacidad para ML con nodos autogestionados.

Después de crear un bloque de capacidad, podrá hacer lo siguiente con el bloque de capacidad:

Para obtener más información acerca de AWS ParallelCluster, consulte ¿Qué es AWS ParallelCluster?.

nota

No todos los tipos de instancias de todas las Regiones de AWS admiten tamaños de bloques de capacidad de 64 instancias.