As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Usando o agendamento de gangues na governança de SageMaker HyperPod tarefas da Amazon
No treinamento distribuído de ML, um trabalho geralmente exige que vários pods sejam executados simultaneamente em nós com comunicação de pod a pod. HyperPod a governança de tarefas usa o waitForPodsReady recurso do Kueue para implementar o agendamento de gangues. Quando ativada, a carga de trabalho é monitorada pelo Kueue até que todos os seus pods estejam prontos, ou seja, programados, em execução e passando pela sonda de prontidão opcional. Se nem todos os pods da carga de trabalho estiverem prontos dentro do tempo limite configurado, a carga de trabalho será despejada e colocada na fila novamente.
O agendamento de gangues oferece os seguintes benefícios:
-
Evita o desperdício de recursos — o Kueue despeja e coloca em fila a carga de trabalho se todos os pods não ficarem prontos, garantindo que os recursos não sejam retidos indefinidamente por cargas de trabalho parcialmente executadas.
-
Evita impasses — Impede que os trabalhos mantenham recursos parciais e se bloqueiem indefinidamente.
-
Recuperação automática — se os pods não estiverem prontos dentro do tempo limite, a carga de trabalho é despejada e colocada na fila com um recuo exponencial configurável, em vez de ser suspensa indefinidamente.
Ative o agendamento de gangues
Para ativar o agendamento de grupos, você deve ter um cluster HyperPod Amazon EKS com o complemento Amazon EKS de governança de tarefas instalado. O status do complemento deve ser Active ouDegraded.
nota
O agendamento de grupos também pode ser configurado diretamente kubectl usando a edição da configuração do Kueue no cluster.
Ative o agendamento de gangues (console de SageMaker IA)
-
Abra o console do Amazon SageMaker AI
e navegue até seu HyperPod cluster. -
Escolha a guia Gerenciamento de políticas.
-
Na seção Governança de tarefas, abra Ações e escolha Configurar agendamento de grupos.
-
Ative o agendamento de grupos e defina as configurações.
-
Escolha Salvar. O controlador Kueue reinicia para aplicar a alteração.
Configurações de agendamento de grupos
A tabela a seguir descreve as definições de configuração para o agendamento de grupos.
| Configuração | Description | Padrão |
|---|---|---|
timeout |
Quanto tempo o Kueue espera que todos os pods fiquem prontos antes de despejar e colocar a carga de trabalho na fila. | 5 minutos |
recoveryTimeout |
Quanto tempo o Kueue espera que um pod se recupere após uma falha no nó antes de colocar a carga de trabalho na fila. Defina como 0s para desativar. O padrão é o valor de timeout if not set. |
5 minutos |
blockAdmission |
Quando ativadas, as cargas de trabalho são admitidas sequencialmente. Nenhuma nova carga de trabalho é admitida até que todos os pods da atual estejam prontos. Evita impasses em clusters com recursos limitados. | Desativado |
requeuingStrategy timestamp |
Seja o uso do pedido de solicitação Creation (horário de envio original, preserva a posição na fila) ou Eviction (hora do último despejo, eliminando efetivamente a prioridade de trabalhos que falham repetidamente). |
Remoção |
requeuingStrategy backoffLimitCount |
Máximo de tentativas de solicitação antes que o Kueue desative permanentemente a carga de trabalho. Deixe em branco para novas tentativas ilimitadas. | Ilimitado |
requeuingStrategy backoffBaseSeconds |
O tempo base em segundos para o recuo exponencial ao reenfileirar uma carga de trabalho após cada tempo limite consecutivo. O expoente é 2. | 60 segundos |
requeuingStrategy backoffMaxSeconds |
Limite o atraso exponencial do recuo. Uma vez alcançado, o Kueue continua na fila nesse intervalo fixo. | Década de 3600 |
nota
A modificação das configurações de agendamento de grupos reinicia o controlador Kueue, o que pode atrasar temporariamente a admissão ao emprego. Isso se aplica se você estiver ativando, desativando ou atualizando qualquer valor. Os trabalhos em execução não são interrompidos.
nota
O agendamento de grupos abrange todo o cluster. Ela se aplica a todas as Kueue-managed cargas de trabalho no cluster, não apenas a equipes ou filas específicas.
