View a markdown version of this page

Alocação de cotas de computação na governança de tarefas da Amazon SageMaker HyperPod - SageMaker IA da Amazon

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Alocação de cotas de computação na governança de tarefas da Amazon SageMaker HyperPod

Os administradores de cluster podem decidir como a organização usa a computação adquirida. Isso reduz o desperdício e os recursos ociosos. Você pode alocar uma cota de computação para que as equipes possam tomar emprestados recursos não utilizados entre si. A alocação de cotas de computação na governança de HyperPod tarefas permite que os administradores aloquem recursos no nível da instância e em um nível de recursos mais granular. Esse recurso oferece gerenciamento de recursos flexível e eficiente para as equipes, permitindo o controle granular de recursos de computação individuais em vez de exigir alocações de instâncias inteiras. A alocação em nível granular elimina a ineficiência da alocação tradicional em nível de instância. Por meio dessa abordagem, você pode otimizar a utilização de recursos e reduzir a computação ociosa.

A alocação de cotas de computação permite três tipos de alocação de recursos: aceleradores, vCPU e memória. Aceleradores são componentes em instâncias com computação acelerada que executam funções, como cálculos de número de ponto flutuante, processamento gráfico ou correspondência de padrões de dados. Os aceleradores incluem GPUs, aceleradores Trainium e NeuronCores. Para o compartilhamento de GPU com várias equipes, equipes diferentes podem receber alocações específicas de GPU do mesmo tipo de instância, maximizando a utilização do hardware do acelerador. Para cargas de trabalho com uso intenso de memória que exigem RAM adicional para cenários de pré-processamento de dados ou cache de modelos, você pode alocar uma cota de memória além da proporção padrão. GPU-to-memory Para tarefas CPU-heavy de pré-processamento que precisam de recursos substanciais de CPU junto com o treinamento da GPU, você pode alocar alocação independente de recursos de CPU.

Depois de fornecer um valor, a governança de HyperPod tarefas calcula a proporção usando a fórmula do recurso alocado dividida pela quantidade total de recursos disponíveis na instância. HyperPod A governança de tarefas então usa essa proporção para aplicar alocações padrão a outros recursos, mas você pode substituir esses padrões e personalizá-los com base no seu caso de uso. A seguir estão exemplos de cenários de como a governança de HyperPod tarefas aloca recursos com base em seus valores:

  • Somente o acelerador foi especificado - a governança de HyperPod tarefas aplica a proporção padrão à vCPU e à memória com base nos valores do acelerador.

  • Somente vCPU especificada - a governança de HyperPod tarefas calcula a proporção e a aplica à memória. Os aceleradores são definidos como 0.

  • Somente memória especificada - a governança de HyperPod tarefas calcula a proporção e a aplica à vCPU porque a computação é necessária para executar cargas de trabalho especificadas pela memória. Os aceleradores são definidos como 0.

Para controlar programaticamente a alocação de cotas, você pode usar o ComputeQuotaResourceConfig objeto e especificar suas alocações em números inteiros.

{
    "ComputeQuotaConfig": {
        "ComputeQuotaResources": [{
            "InstanceType": "ml.g5.24xlarge",
            "Accelerators": "16",
            "vCpu": "200.0",
            "MemoryInGiB": "2.0"
        }]
    }
}

Para ver todas as alocações alocadas, incluindo os padrões, use a operação. DescribeComputeQuota Para atualizar suas alocações, use a UpdateComputeQuota operação.

Você também pode usar a HyperPod CLI para alocar cotas de computação. Para obter mais informações sobre a HyperPod CLI, consulteExecução de trabalhos em SageMaker HyperPod clusters orquestrados pelo Amazon EKS. O exemplo a seguir demonstra como definir cotas de computação usando a HyperPod CLI.

hyp create hyp-pytorch-job --version 1.1 --job-name sample-job \
--image 123456789012.dkr.ecr.us-west-2.amazonaws.com/ptjob:latest \
--pull-policy "Always" \
--tasks-per-node 1 \
--max-retry 1 \
--priority high-priority \
--namespace hyperpod-ns-team-name \
--queue-name hyperpod-ns-team-name-localqueue \
--instance-type sample-instance-type \
--accelerators 1 \
--vcpu 3 \
--memory 1 \
--accelerators-limit 1 \
--vcpu-limit 4 \
--memory-limit 2

Para alocar cotas usando o AWS console, siga estas etapas.

  1. Abra o console do Amazon SageMaker AI em https://console.aws.amazon.com/sagemaker/.

  2. Em HyperPod Clusters, escolha Gerenciamento de clusters.

  3. Em Alocações de computação, escolha Criar.

  4. Se você ainda não tiver instâncias, escolha Adicionar alocação para adicionar uma instância.

  5. Em Alocações, escolha alocar por instâncias ou recursos individuais. Se você alocar por recursos individuais, a SageMaker IA atribui automaticamente alocações a outros recursos pela proporção que você escolheu. Para substituir essa alocação baseada em proporção, use a alternância correspondente para substituir essa computação.

  6. Repita as Etapas 4 e 5 para configurar instâncias adicionais.

Depois de alocar a cota de computação, você pode enviar trabalhos por meio da CLI ou. HyperPod kubectl HyperPodprograma cargas de trabalho de forma eficiente com base na cota disponível.