Blocos de capacidade para ML - Amazon Elastic Compute Cloud
Plataformas compatíveisConsideraçõesRecursos relacionados

Blocos de capacidade para ML

Os blocos de capacidade para ML permitem que você reserve instâncias de computação acelerada baseadas em GPU em uma data futura para acomodar suas workloads de machine learning (ML) de curta duração. As instâncias executadas em um bloco de capacidade são automaticamente colocadas próximas umas das outras nos Amazon EC2 UltraClusters para redes sem bloqueio de baixa latência com escala de petabits.

Também é possível usar os blocos de capacidade para reservar capacidade nos servidores UltraServers do Amazon EC2. Os servidores UltraServers conectam várias instâncias do Amazon EC2 em uma interconexão aceleradora de baixa latência e alta largura de banda. Você pode usar os servidores UltraServers para lidar com as workloads de IA e ML que mais utilizam computação e memória em treinamento, ajuste e inferência. Para obter mais informações, consulte Amazon EC2 UltraServers.

Com blocos de capacidade, você pode ver quando a capacidade da instância de GPU está disponível em datas futuras e agendar um bloco de capacidade para começar na hora que for melhor para você. Quando você reserva um bloco de capacidade, garante capacidade previsível de instâncias de GPU e pagando apenas pelo tempo que precisar. Recomendamos blocos de capacidade quando você precisa de GPUs para lidar com workloads de ML durante dias ou semanas seguidos e não deseja pagar por uma reserva enquanto as instâncias de GPU não estão em uso.

Estes são alguns casos de uso comuns de blocos de capacidade.

  • Treinamento e ajuste fino de modelo de ML: tenha acesso ininterrupto às instâncias de GPU que você reservou para realizar treinamento e ajuste fino do modelo de ML.

  • Experimentos e protótipos de ML: executar experimentos e desenvolver protótipos que exigem instâncias de GPU por períodos curtos.

Você pode reservar um bloco de capacidade com as seguintes especificações:

  • Reserve um horário de início com até oito semanas de antecedência

  • Defina a duração de uma reserva de 1 a 14 dias ou um múltiplo de 7 dias, até 182 dias (exemplos: 21 dias, 28 dias)

  • Configure até 64 instâncias por bloco de capacidade

  • Configure até 256 instâncias em vários blocos de capacidade

Nos servidores UltraServers do Amazon EC2, cada um corresponde a um bloco de capacidade. Você pode fazer uma única solicitação para vários servidores UltraServers.

Você pode usar blocos de capacidade para reservar instâncias p6-b200, p5, p5e, p5en, p4d, p4de, trn1 e trn2. Compre os seguintes tipos de servidores UltraServer usando blocos de capacidade: P6e-GB200 e Trn2 (em pré-visualização).

Para reservar um bloco de capacidade, você começa especificando suas necessidades de capacidade, incluindo o tipo de instância ou o tipo de servidor UltraServer, o número de instâncias ou de UltraServers, a quantidade de tempo, a data de início mais antiga e a última data de término de que precisa. Depois, você vê uma oferta disponível do bloco de capacidade que atende às suas especificações. A oferta do bloco de capacidade inclui detalhes como hora de início, zona de disponibilidade e preço da reserva. O preço de oferta de um bloco de capacidade depende da disponibilidade e da demanda no momento em que a oferta é feita. Depois que você reserva um bloco de capacidade, o preço não muda mais. Para obter mais informações, consulte Preços e faturamento de blocos de capacidade.

Quando você compra uma oferta de bloco de capacidade, a reserva é criada para a data e o número de instâncias selecionados. Quando sua reserva de bloco de capacidade começa, você pode direcionar as inicializações de instância especificando o ID da reserva nas solicitações de inicialização.

É possível usar todas as instâncias reservadas por até 30 minutos (para os tipos de instância) ou 60 minutos (para o tipo de servidor UltraServer) antes da hora de término do bloco de capacidade. Faltando 30 minutos (para os tipos de instância) ou 60 minutos (para os tipos de servidor UltraServer) para o fim da reserva do bloco de capacidade, começamos a encerrar todas as instâncias em execução no bloco de capacidade. Usamos esse tempo para limpar as instâncias antes de entregar o bloco de capacidade ao próximo cliente. Emitimos um evento por meio do EventBridge 10 minutos antes do início do processo de encerramento. Para obter mais informações, consulte Monitorar blocos de capacidade usando o EventBridge.

Tópicos

Plataformas compatíveis

Atualmente, os blocos de capacidade para ML são compatíveis apenas com instâncias e UltraServers que tenham locação padrão. Quando você usa o AWS Management Console para comprar um bloco de capacidade, a opção de plataforma padrão é a Linux/UNIX. Quando você usa a AWS Command Line Interface (AWS CLI) ou o AWS SDK para comprar um bloco de capacidade, as seguintes opções de plataforma estão disponíveis:

  • Linux/UNIX

  • Red Hat Enterprise Linux

  • RHEL com HA

  • SUSE Linux

  • Ubuntu Pro

Considerações

Antes de usar os blocos de capacidade, considere os seguintes detalhes e limitações.

  • Se detectarmos uma deficiência afetando um Bloco de Capacidade do UltraServer, notificaremos você, mas geralmente não tomaremos medidas para encerrar suas instâncias no Bloco de Capacidade. O objetivo é minimizar a interrupção não intencional em suas workloads. Você pode continuar usando o Bloco de Capacidade do UltraServer como está após receber essa notificação ou solicitar a correção encerrando todas as instâncias no bloco de capacidade e enviando um caso de suporte. AWS Após recebermos seu caso de suporte, notificaremos você quando concluirmos a correção e você poderá reiniciar as instâncias em seu Bloco de Capacidade UltraServer.

  • Nos blocos de capacidade do UltraServer P6e-GB200, é necessário encerrar suas instâncias pelo menos 60 minutos antes do horário de término do bloco de capacidade.

  • Para usar os blocos de capacidade do UltraServer P6e-GB200, é necessário se inscrever na zona local de Dallas (Norte da Virgínia).

  • Cada bloco de capacidade pode ter até 64 instâncias, e você pode ter até 256 instâncias nos blocos de capacidade.

  • É possível descrever as ofertas do bloco de capacidade que podem começar em apenas 30 minutos.

  • Os blocos de capacidade terminam às 11h30, Horário Universal Coordenado (UTC).

  • O processo de encerramento de instâncias em execução em um bloco de capacidade começa às 11h, Horário Universal Coordenado (UTC) no último dia da reserva.

  • Os blocos de capacidade podem ser reservados para uma hora de início em até oito semanas no futuro.

  • Não são permitidos cancelamentos de bloqueios de capacidade.

  • O bloco de capacidade não pode ser movido ou dividido.

  • Os blocos de capacidade não podem ser compartilhados entre contas da AWS nem dentro da sua organização da AWS.

  • Apenas blocos de capacidade UltraServer podem ser utilizados com grupos de recursos. Blocos de capacidade de instância não podem ser utilizados com grupos de recursos. Para obter mais informações, consulte Criar um grupo de recursos para Blocos de capacidade do UltraServer.

  • O número total de instâncias que podem ser reservadas em blocos de capacidade entre todas as contas da sua organização da AWS não pode ultrapassar 64 instâncias em uma determinada data.

  • Para usar um bloco de capacidade, as instâncias devem ser direcionadas especificamente para o ID da reserva.

  • As instâncias em um bloco de capacidade não contam para seus limites de instâncias sob demanda.

  • Para instâncias P5 usando uma AMI personalizada, verifique se você tem os softwares e a configuração necessários para EFA.

  • Para grupos de nós gerenciados do Amazon EKS, consulte Criar um grupo de nós gerenciados com blocos de capacidade do Amazon EC2 para ML. Para grupos de nós autogerenciados do Amazon EKS, consulte Usar blocos de capacidade para ML com nós autogerenciados.

Após criar um bloco de capacidade, será possível fazer o seguinte com ele:

Para obter mais informações sobre o AWS ParallelCluster, consulte O que é o AWS ParallelCluster.

nota

Tamanhos de blocos de capacidade de 64 instâncias não são compatíveis com todos os tipos de instância em todas as Regiões da AWS.