Crie recursos de gerenciamento de cotas - AWS Batch
Pré-requisitos

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Crie recursos de gerenciamento de cotas

O gerenciamento de cotas exige configurações específicas ao criar uma política de agendamento, um ambiente de serviço e uma fila de trabalhos associados.

Pré-requisitos

Antes de criar recursos de gerenciamento de cotas, verifique se você tem:

Configure quota management resources (AWS Batch console)

O AWS Batch console fornece um fluxo de trabalho integrado para criar todos os recursos necessários para o gerenciamento de cotas. O fluxo de trabalho de criação de filas de tarefas de gerenciamento de cotas também cria políticas de agendamento e ambientes de serviço habilitados para gerenciamento de cotas.

  1. Abra o AWS Batch console em https://console.aws.amazon.com/batch/.

  2. No painel de navegação, escolha Job queues e, em seguida, Create.

  3. Em Tipo de orquestração, escolha SageMaker Treinamento.

  4. Em Configuração da fila de trabalhos:

    1. Em Nome, insira o nome da fila de trabalhos.

    2. Em Prioridade, insira um valor entre 0 e 1000. Uma fila de trabalhos com maior prioridade tem preferência para ambientes de serviço.

  5. Para agendamento:

    1. Em Algoritmo de agendamento, escolha Gerenciamento de cotas.

    2. Para o ARN da política de agendamento:

      • Se já existir uma política de agendamento que especifique o gerenciamento de cotas, selecione-a no menu suspenso.

      • Caso contrário, escolha Criar política de agendamento.

        1. Uma barra lateral é aberta para configurar a política de agendamento do gerenciamento de cotas.

        2. Forneça um nome para a política de agendamento.

        3. Escolha Criar. O campo ARN da política de agendamento agora está preenchido.

  6. Para configuração do ambiente de serviço, em Ambiente de serviço conectado:

    nota

    Ambientes de serviço habilitados para gerenciamento de cotas só podem ser conectados a uma única fila de trabalhos habilitada para gerenciamento de cotas.

    1. Se já tiver sido criado um ambiente de serviço compatível com o gerenciamento de cotas e ainda não estiver conectado a uma fila de trabalhos habilitada para gerenciamento de cotas, selecione-o no menu suspenso.

    2. Caso contrário, escolha Criar um ambiente de serviço. Uma barra lateral é aberta para configurar o ambiente de serviço.

      1. Forneça um nome para o ambiente de serviço.

      2. Forneça pelo menos um limite de capacidade (e no máximo 5). Para cada limite de capacidade, escolha um tipo de instância no menu suspenso e um número máximo de instâncias.

  7. (Opcional) Em Limites de estado de trabalho:

    1. Em Configuração incorreta, escolha uma SERVICE_ENVIRONMENT_MAX_RESOURCE e insira o Tempo máximo de execução (segundos).

    2. Em Capacidade, escolha INSUFFICIENT_INSTANCE_CAPACITY e insira o Tempo máximo de execução (segundos).

  8. Escolha Criar fila de trabalhos.

Configure quota management resources (AWS CLI)

Para configurar o gerenciamento de cotas por meio da AWS CLI, crie uma política de agendamento, um ambiente de serviço e uma fila de trabalhos. Tanto a política de agendamento quanto o ambiente de serviço devem ser compatíveis com o gerenciamento de cotas e criados antes da criação da fila de trabalhos.

Crie uma política de agendamento

Use o create-scheduling-policy comando para criar uma política de agendamento compatível com o gerenciamento de cotas. Forneça uma política de compartilhamento de cotas durante a criação:

aws batch create-scheduling-policy \
  --name my-qm-sagemaker-scheduling-policy \
  --quota-share-policy idleResourceAssignmentStrategy="FIFO"

Verifique se a política de agendamento foi criada com sucesso:

aws batch describe-scheduling-policies \
  --arns arn-for-my-qm-sagemaker-scheduling-policy

Crie um ambiente de serviço

Use o create-service-environment comando para criar um ambiente de serviço habilitado para gerenciamento de cotas. Certifique-se de que os limites de capacidade usem tipos de instância aceitos pelos trabalhos de SageMaker treinamento, como ml.g6.xlarge ouml.p4d.24xlarge.

aws batch create-service-environment \
  --service-environment-name my-qm-sagemaker-service-env \
  --service-environment-type SAGEMAKER_TRAINING \
  --capacity-limits capacityUnit=instance_type,maxCapacity=instance_count

Verifique se o ambiente do serviço foi criado com sucesso:

aws batch describe-service-environments \
  --service-environments my-qm-sagemaker-service-env

Crie uma fila de trabalhos

Use o create-job-queue comando para criar uma fila de trabalhos habilitada para gerenciamento de cotas. Os seguintes critérios devem ser atendidos:

  • Deve ser fornecido um único ambiente de SAGEMAKER_TRAINING serviço que não esteja conectado atualmente a outra fila de trabalhos.

  • O ambiente de serviço deve expressar limites de capacidade em termos de tipos de instância, comoml.m6i.xlarge, em vez deNUM_INSTANCES.

  • Deve ser conectada uma política de agendamento que contenha umaquotaSharePolicy.

  • O jobQueueType deve ser SAGEMAKER_TRAINING.

aws batch create-job-queue \
  --job-queue-name my-qm-sagemaker-jq \
  --job-queue-type SAGEMAKER_TRAINING \
  --priority 1 \
  --service-environment-order order=1,serviceEnvironment=my-qm-sagemaker-service-env \
  --scheduling-policy-arn arn-for-my-qm-sagemaker-scheduling-policy

Verifique se a fila de trabalhos foi criada com sucesso:

aws batch describe-job-queues \
  --job-queues my-qm-sagemaker-jq

Verifique se:

  • O state é ENABLED

  • O status é VALID

  • O statusReason é JobQueue Healthy