Considerações sobre memória e vCPU para AWS Batch no Amazon EKS

No AWS Batch do Amazon EKS, você pode especificar os recursos que forem disponibilizados para um contêiner. Por exemplo, você pode especificar valores requests ou limits para recursos de vCPU e memória.

Os seguintes são as restrições para especificar os recursos de vCPU:

Exemplos: definições de trabalho

O seguinte AWS Batch sobre a configuração de definição de trabalho do Amazon EKS configura compartilhamentos flexíveis de vCPU. Isso permite que o AWS Batch no Amazon EKS use toda a capacidade da vCPU para o tipo de instância. No entanto, caso existam outros trabalhos em execução, ao trabalho será alocado um máximo de 2 vCPUs. A memória é limitada a 2 GB.

{
   "jobDefinitionName": "MyJobOnEks_Sleep",
   "type": "container",
   "eksProperties": {
       "podProperties": {
           "containers": [
               {
                   "image": "public.ecr.aws/amazonlinux/amazonlinux:2",
                   "command": ["sleep", "60"],
                   "resources": {
                       "requests": {
                           "cpu": "2",
                           "memory": "2048Mi"
                       }
                   }
               }
           ]
       }
   }
}

O seguinte AWS Batch na definição de trabalho do Amazon EKS tem um valor request de 1 e aloca um máximo de 4 vCPUs para o trabalho.

{
   "jobDefinitionName": "MyJobOnEks_Sleep",
   "type": "container",
   "eksProperties": {
       "podProperties": {
           "containers": [
               {
                   "image": "public.ecr.aws/amazonlinux/amazonlinux:2",
                   "command": ["sleep", "60"],
                   "resources": {
                       "requests": {
                           "cpu": "1"
                       },
                       "limits": {
                           "cpu": "4",
                           "memory": "2048Mi"
                       }
                   }
               }
           ]
       }
   }
}

O seguinte AWS Batch na configuração de definição de trabalho do Amazon EKS define um valor limits de vCPU de 1 e um valor de limits de memória de 1 GB.

{
   "jobDefinitionName": "MyJobOnEks_Sleep",
   "type": "container",
   "eksProperties": {
       "podProperties": {
           "containers": [
               {
                   "image": "public.ecr.aws/amazonlinux/amazonlinux:2",
                   "command": ["sleep", "60"],
                   "resources": {
                       "limits": {
                           "cpu": "1",
                           "memory": "1024Mi"
                       }
                   }
               }
           ]
       }
   }
}

Quando o AWS Batch traduz um AWS Batch no trabalho do Amazon EKS em um pod do Amazon EKS, o AWS Batch copia o valor de limits para o valor de requests. Isso ocorre quando um valor de requests não é especificado. Quando você envia o exemplo de definição de trabalho de precedência, o pod spec é o seguinte.

apiVersion: v1
kind: Pod
...
spec:
  ...
  containers:
    - command:
        - sleep
        - 60
      image: public.ecr.aws/amazonlinux/amazonlinux:2
      resources:
        limits:
          cpu: 1
          memory: 1024Mi
        requests:
          cpu: 1
          memory: 1024Mi
      ...

Reserva de Memória e Reserva de Nó de CPU

AWS Batch depende da lógica padrão do arquivo bootstrap.sh para reservas de vCPU e reservas de memória. Para mais informações sobre o arquivo bootstrap.sh, consulte bootstrap.sh. Ao medir o tamanho dos seus recursos de vCPU e memória, considere os exemplos a seguir.

Exemplo: reserva de nó de CPU

O valor da reserva de CPU é calculado em milicores usando o número de vCPUs total disponível para a instância.

Usando os valores que precedem, o seguinte é verdadeiro:

Neste exemplo, há 1930 (calculadas de 2000-70) unidades de vCPU de milicore disponíveis para executar trabalhos em uma instância c5.large. Suponha que seu trabalho requeira 2 unidades de vCPU (2*1000 m). O trabalho não caberá em uma instância única c5.large. No entanto, um trabalho que exige 1.75 unidades de vCPU é adequado.

Exemplo: reserva de memória do nó

O valor da reserva de memória é calculado em mebibytes usando o seguinte:

A fórmula para calcular a memória disponível para alocação é a seguinte: (instance_capacity_in_MiB) - (11 * (maximum_number_of_pods)) - 255 - (HardEvictionLimitvalor)).

Uma instância c5.large suporta até 29 pods. Para uma instância c5.large de 8 GB com um valor HardEvictionLimit de 100 MiB, a memória disponível para alocação é 7074 MiB. Isso é calculado da seguinte maneira: (7748 - (11 * 29) -255 -100) = 7074 MiB. Neste exemplo, um trabalho MiB de 8.192 não cabe nessa instância, embora seja uma instância de 8 gibibyte (GiB).

DaemonSets

Ao usar DaemonSets, considere o seguinte: