Blocos de capacidade para ML - Amazon Elastic Compute Cloud
Tipos de instância e regiões compatíveisPlataformas compatíveisConsideraçõesRecursos relacionados

Blocos de capacidade para ML

Os blocos de capacidade para ML permitem que você reserve instâncias de computação acelerada baseadas em GPU em uma data futura para acomodar suas workloads de machine learning (ML) de curta duração. As instâncias executadas em um bloco de capacidade são automaticamente colocadas próximas umas das outras nos Amazon EC2 UltraClusters para redes sem bloqueio de baixa latência com escala de petabits.

Também é possível usar os blocos de capacidade para reservar capacidade nos servidores UltraServers do Amazon EC2. Os servidores UltraServers conectam várias instâncias do Amazon EC2 em uma interconexão aceleradora de baixa latência e alta largura de banda. Você pode usar os servidores UltraServers para lidar com as workloads de IA e ML que mais utilizam computação e memória em treinamento, ajuste e inferência. Para obter mais informações, consulte Amazon EC2 UltraServers.

Com blocos de capacidade, você pode ver quando a capacidade da instância de GPU está disponível em datas futuras e agendar um bloco de capacidade para começar na hora que for melhor para você. Quando você reserva um bloco de capacidade, garante capacidade previsível de instâncias de GPU e pagando apenas pelo tempo que precisar. Recomendamos blocos de capacidade quando você precisa de GPUs para lidar com workloads de ML durante dias ou semanas seguidos e não deseja pagar por uma reserva enquanto as instâncias de GPU não estão em uso.

Estes são alguns casos de uso comuns de blocos de capacidade.

  • Treinamento e ajuste fino de modelo de ML: tenha acesso ininterrupto às instâncias de GPU que você reservou para realizar treinamento e ajuste fino do modelo de ML.

  • Experimentos e protótipos de ML: executar experimentos e desenvolver protótipos que exigem instâncias de GPU por períodos curtos.

Os Blocos de capacidade estão disponíveis para determinados tipos de instância em algumas regiões da AWS. Para obter mais informações, consulte Tipos de instância e regiões compatíveis.

É possível reservar um bloco de capacidade para uma hora de início em até oito semanas no futuro. Cada bloco de capacidade pode ter até 64 instâncias, e você pode ter até 256 instâncias nos blocos de capacidade.

Tópicos

Tipos de instância e regiões compatíveis

Os blocos de capacidade da instância e UltraServer podem ser usados com os seguintes tipos de instância e regiões da AWS.

nota

Tamanhos de blocos de capacidade de 64 instâncias não são compatíveis com todos os tipos de instância em todas as Regiões da AWS.

Blocos de capacidade da instância

  • p6-b300.48xlarge

    • Oeste dos EUA (Oregon): | | | ) — us-west-2

  • p6-b200.48xlarge

    • Leste dos EUA (Norte da Virgínia) — us-east-1

    • Leste dos EUA (Ohio): us-east-2

    • Oeste dos EUA (Oregon): | | | ) — us-west-2

  • p5.4xlarge

    • Leste dos EUA (Norte da Virgínia) — us-east-1

    • Leste dos EUA (Ohio): us-east-2

    • Oeste dos EUA (Oregon): | | | ) — us-west-2

    • Europa (Londres): eu-west-2

    • Ásia-Pacífico (Mumbai): ap-south-1

    • Ásia-Pacífico (Tóquio): ap-northeast-1

    • Ásia-Pacífico (Sydney): ap-southeast-2

    • América do Sul (São Paulo): sa-east-1

  • p5.48xlarge

    • Leste dos EUA (Norte da Virgínia) — us-east-1

    • Leste dos EUA (Ohio): us-east-2

    • Oeste dos EUA (Norte da Califórnia): us-west-1

    • Oeste dos EUA (Oregon): | | | ) — us-west-2

    • Europa (Estocolmo): eu-north-1

    • Europa (Londres): eu-west-2

    • América do Sul (São Paulo): sa-east-1

    • Ásia-Pacífico (Tóquio): ap-northeast-1

    • Ásia-Pacífico (Mumbai): ap-south-1

    • Ásia-Pacífico (Sydney): ap-southeast-2

    • Ásia-Pacífico (Jacarta): ap-southeast-3

  • p5e.48xlarge

    • Leste dos EUA (Norte da Virgínia) — us-east-1

    • Leste dos EUA (Ohio): us-east-2

    • Oeste dos EUA (Norte da Califórnia): us-west-1

    • Oeste dos EUA (Oregon): | | | ) — us-west-2

    • Europa (Estocolmo): eu-north-1

    • Europa (Londres): eu-west-2

    • Europa (Espanha): eu-south-2

    • América do Sul (São Paulo): sa-east-1

    • Ásia-Pacífico (Tóquio): ap-northeast-1

    • Ásia-Pacífico (Seul): ap-northeast-2

    • Ásia-Pacífico (Mumbai): ap-south-1

    • Ásia-Pacífico (Jacarta): ap-southeast-3

  • p4d.24xlarge

    • Leste dos EUA (Norte da Virgínia) — us-east-1

    • Leste dos EUA (Ohio): us-east-2

    • Oeste dos EUA (Oregon): | | | ) — us-west-2

  • p4de.24xlarge

    • Leste dos EUA (Norte da Virgínia): ) — us-east-1

    • Oeste dos EUA (Oregon): ) — us-west-2

  • trn1.32xlarge

    • Leste dos EUA (Norte da Virgínia) — us-east-1

    • Leste dos EUA (Ohio): us-east-2

    • Oeste dos EUA (Norte da Califórnia): us-west-1

    • Oeste dos EUA (Oregon): | | | ) — us-west-2

    • Europa (Estocolmo): eu-north-1

    • Ásia-Pacífico (Mumbai): ap-south-1

    • Ásia-Pacífico (Sydney): ap-southeast-2

    • Ásia-Pacífico (Melbourne): ap-southeast-4

  • trn2.3xlarge

    • Ásia-Pacífico (Melbourne): ap-southeast-4

    • América do Sul (São Paulo): sa-east-1

  • trn2.48xlarge

    • Leste dos EUA (Ohio): us-east-2

Blocos de capacidade UltraServer

  • Trn2

    • Leste dos EUA (Ohio): us-east-2

  • P6e-GB200

    • Zona local de Dallas (Norte da Virgínia) — us-east-1-dfw-2a

Plataformas compatíveis

Atualmente, os blocos de capacidade para ML são compatíveis apenas com instâncias e UltraServers que tenham locação padrão. Quando você usa o Console de gerenciamento da AWS para comprar um bloco de capacidade, a opção de plataforma padrão é a Linux/UNIX. Quando você usa a AWS Command Line Interface (AWS CLI) ou o AWS SDK para comprar um bloco de capacidade, as seguintes opções de plataforma estão disponíveis:

  • Linux/UNIX

  • Red Hat Enterprise Linux

  • RHEL com HA

  • SUSE Linux

  • Ubuntu Pro

Considerações

Antes de usar os blocos de capacidade, considere os seguintes detalhes e limitações.

  • Se detectarmos uma deficiência afetando um Bloco de Capacidade do UltraServer, notificaremos você, mas geralmente não tomaremos medidas para encerrar suas instâncias no Bloco de Capacidade. O objetivo é minimizar a interrupção não intencional em suas workloads. Você pode continuar usando o Bloco de Capacidade do UltraServer como está após receber essa notificação ou solicitar a correção encerrando todas as instâncias no bloco de capacidade e enviando um caso de suporte. AWS Após recebermos seu caso de suporte, notificaremos você quando concluirmos a correção e você poderá reiniciar as instâncias em seu Bloco de Capacidade UltraServer.

  • Nos blocos de capacidade do UltraServer P6e-GB200, é necessário encerrar suas instâncias pelo menos 60 minutos antes do horário de término do bloco de capacidade.

  • Para usar os blocos de capacidade do UltraServer P6e-GB200, é necessário se inscrever na zona local de Dallas (Norte da Virgínia).

  • Cada bloco de capacidade pode ter até 64 instâncias, e você pode ter até 256 instâncias nos blocos de capacidade.

  • É possível descrever as ofertas do bloco de capacidade que podem começar em apenas 30 minutos.

  • Os blocos de capacidade terminam às 11h30, Horário Universal Coordenado (UTC).

  • O processo de encerramento de instâncias em execução em um bloco de capacidade começa às 11h, Horário Universal Coordenado (UTC) no último dia da reserva.

  • Os blocos de capacidade podem ser reservados para uma hora de início em até oito semanas no futuro.

  • Não são permitidos cancelamentos de bloqueios de capacidade.

  • Os Blocos de capacidade do UltraServer não podem ser compartilhados entre contas da AWS nem dentro da sua organização da AWS.

  • O bloco de capacidade não pode ser movido ou dividido.

  • Apenas blocos de capacidade UltraServer podem ser utilizados com grupos de recursos. Blocos de capacidade de instância não podem ser utilizados com grupos de recursos. Para obter mais informações, consulte Criar um grupo de recursos para Blocos de capacidade do UltraServer.

  • O número total de instâncias que podem ser reservadas em blocos de capacidade entre todas as contas da sua organização da AWS não pode ultrapassar 256 instâncias em uma determinada data.

  • Para usar um bloco de capacidade, as instâncias devem ser direcionadas especificamente para o ID da reserva.

  • As instâncias em um bloco de capacidade não contam para seus limites de instâncias sob demanda.

  • Para instâncias P5 usando uma AMI personalizada, verifique se você tem os softwares e a configuração necessários para EFA.

  • Para grupos de nós gerenciados do Amazon EKS, consulte Criar um grupo de nós gerenciados com blocos de capacidade do Amazon EC2 para ML. Para grupos de nós autogerenciados do Amazon EKS, consulte Usar blocos de capacidade para ML com nós autogerenciados.

Após criar um bloco de capacidade, será possível fazer o seguinte com ele:

Para obter mais informações sobre o AWS ParallelCluster, consulte O que é o AWS ParallelCluster.