Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Definizioni di attività Amazon ECS per carichi di lavoro GPU
Amazon ECS supporta carichi di lavoro che utilizzano le GPU, quando crei cluster con istanze di container che supportano le GPU. Amazon EC2 GPU-based Le istanze container che utilizzano i tipi di istanze p2, p3, p4d, p5, g3, g4, g5, g6, g6e e g6f forniscono l'accesso alle GPU NVIDIA. Per maggiori informazioni, consultare Linux Accelerated Computing Instances nella Guida ai tipi di istanze Amazon EC2.
Amazon ECS fornisce un GPU-optimized AMI fornita con driver del kernel NVIDIA preconfigurati e un runtime GPU Docker. Per ulteriori informazioni, consulta Amazon ECS-optimized AMI Linux.
Puoi designare un certo numero di GPU nella definizione di attività per considerazioni di posizionamento del processo a livello di container. Amazon ECS esegue la programmazione verso le istanze di container disponibili che supportano le GPU e vincolano le GPU fisiche ai container corretti per garantire prestazioni ottimali.
Il seguente Amazon EC2 GPU-based i tipi di istanza sono supportati. Per ulteriori informazioni, vedere Istanze P2 di Amazon EC2
| Tipo di istanza | GPU | Memoria GPU (GiB) | vCPU | Memoria (GiB) |
|---|---|---|---|---|
|
p3.2xlarge |
1 |
16 |
8 |
61 |
|
p3.8xlarge |
4 |
64 |
32 |
244 |
|
p3.16xlarge |
8 |
128 |
64 |
488 |
|
p3dn.24xlarge |
8 |
256 |
96 |
768 |
|
p4d.24xlarge |
8 | 320 | 96 | 1152 |
| p5.48xlarge | 8 | 640 | 192 | 2048 |
|
g3s.xlarge |
1 |
8 |
4 |
30,5 |
|
g3.4xlarge |
1 |
8 |
16 |
122 |
|
g3.8xlarge |
2 |
16 |
32 |
244 |
|
g3.16xlarge |
4 |
32 |
64 |
488 |
|
g4dn.xlarge |
1 |
16 |
4 |
16 |
|
g4dn.2xlarge |
1 |
16 |
8 |
32 |
|
g4dn.4xlarge |
1 |
16 |
16 |
64 |
|
g4dn.8xlarge |
1 |
16 |
32 |
128 |
|
g4dn.12xlarge |
4 |
64 |
48 |
192 |
|
g4dn.16xlarge |
1 |
16 |
64 |
256 |
|
g5.xlarge |
1 |
24 |
4 |
16 |
|
g5.2xlarge |
1 |
24 |
8 |
32 |
|
g5.4xlarge |
1 |
24 |
16 |
64 |
|
g5.8xlarge |
1 |
24 |
32 |
128 |
|
g5.16xlarge |
1 |
24 |
64 |
256 |
|
g5.12xlarge |
4 |
96 |
48 |
192 |
|
g5.24xlarge |
4 |
96 |
96 |
384 |
|
g5.48xlarge |
8 |
192 |
192 |
768 |
| g6.xlarge | 1 | 24 | 4 | 16 |
| g6.2xlarge | 1 | 24 | 8 | 32 |
| g6.4xlarge | 1 | 24 | 16 | 64 |
| g6.8xlarge | 1 | 24 | 32 | 128 |
| g6.16.x large | 1 | 24 | 64 | 256 |
| g6.12xlarge | 4 | 96 | 48 | 192 |
| g6.24xlarge | 4 | 96 | 96 | 384 |
| g6.48xlarge | 8 | 192 | 192 | 768 |
| g6.metal | 8 | 192 | 192 | 768 |
| gr6.4xlarge | 1 | 24 | 16 | 128 |
| g6e.xlarge | 1 | 48 | 4 | 32 |
| g6e.2xlarge | 1 | 48 | 8 | 64 |
| g6e.4xlarge | 1 | 48 | 16 | 128 |
| g6e.8xlarge | 1 | 48 | 32 | 256 |
| g6e16.xlarge | 1 | 48 | 64 | 512 |
| g6e12.xlarge | 4 | 192 | 48 | 384 |
| g6e24.xlarge | 4 | 192 | 96 | 768 |
| g6e48.xlarge | 8 | 384 | 192 | 1536 |
| gr6.8xlarge | 1 | 24 | 32 | 256 |
| g6f.large | 1/8 (0,125) | 3 | 2 | 8 |
| g6f.xlarge | 1/8 (0,125) | 3 | 4 | 16 |
| g6f.2xlarge | 1/4 (0,25) | 6 | 8 | 32 |
| g6f.4xlarge | 1/2 (0,5) | 12 | 16 | 64 |
| gr6f.4xlarge | 1/2 (0,5) | 12 | 16 | 128 |
Puoi recuperare l'ID Amazon Machine Image (AMI) per Amazon ECS-optimized Le AMI interrogando il AWS Systems Manager API Parameter Store. Utilizzando questo parametro, non è necessario cercare manualmente Amazon ECS-optimized ID AMI. Per ulteriori informazioni sull'API Systems Manager Parameter Store, vedere GetParameter. L'utente che utilizzi deve avere il ssm:GetParameter Autorizzazione IAM per recuperare Amazon ECS-optimized Metadati AMI.
aws ssm get-parameters --names /aws/service/ecs/optimized-ami/amazon-linux-2/gpu/recommended --regionus-east-1
Considerazioni
Il supporto per il tipo di famiglia di istanze g2 è obsoleto.
Il tipo di famiglia di istanze p2 è supportato solo nelle versioni precedenti a 20230912 di Amazon ECS GPU-optimized SCOPO. Per continuare a utilizzare le istanze p2, consulta Operazioni da eseguire per utilizzare un'istanza P2.
In-place aggiornamenti del NVIDIA/CUDA i driver su entrambi questi tipi di famiglie di istanze causeranno potenziali errori del carico di lavoro della GPU.
È consigliabile considerare le informazioni seguenti prima di iniziare a utilizzare le GPU su Amazon ECS.
-
I cluster possono contenere una combinazione di istanze di container GPU e non GPU.
-
Puoi eseguire carichi di lavoro GPU su istanze esterne. Durante la registrazione di un'istanza esterna nel tuo cluster, assicurati che il flag
--enable-gpusia incluso nello script di installazione. Per ulteriori informazioni, consulta Registrazione di un'istanza esterna in un cluster Amazon ECS. -
È necessario impostare
ECS_ENABLE_GPU_SUPPORTsutruenel file di configurazione dell'agente. Per ulteriori informazioni, consulta Configurazione dell'agente del container Amazon ECS. -
Durante l'esecuzione di un'attività o la creazione di un servizio, puoi utilizzare gli attributi del tipo di istanza quando configuri i vincoli di posizionamento delle attività per garantire su quali istanze di container verrà avviata l'attività. In questo modo, puoi utilizzare in modo più efficiente le risorse. Per ulteriori informazioni, consulta In che modo Amazon ECS colloca le attività sulle istanze dei container.
L'esempio seguente avvia un'attività su un'istanza di container
g4dn.xlargenel cluster predefinito.aws ecs run-task --cluster default --task-definition ecs-gpu-task-def \ --placement-constraints type=memberOf,expression="attribute:ecs.instance-type == g4dn.xlarge" --region us-east-2 -
Per ogni container che ha un requisito di risorsa GPU specificato nella definizione di container, Amazon ECS imposta il runtime del container in modo che sia il runtime del container NVIDIA.
-
Il runtime del container NVIDIA richiede per poter funzionare l'impostazione di alcune variabili di ambiente nel container. Per un elenco di queste variabili di ambiente, consultare Specialized Configurations with Docker
. Amazon ECS imposta il valore della variabile di ambiente NVIDIA_VISIBLE_DEVICEScome un elenco di ID dispositivo GPU che Amazon ECS assegna al container. Le altre variabili di ambiente richieste non vengono impostate da, Amazon ECS. Quindi, assicurati che siano impostate dall'immagine del container o nella definizione di quest'ultimo. -
La famiglia di tipi di istanze p5 è supportata nella versione
20230929e versioni successive di Amazon ECS GPU-optimized SCOPO. -
La famiglia di tipi di istanza g4 è supportata nella versione
20230913e versioni successive di Amazon ECS GPU-optimized SCOPO. Per ulteriori informazioni, consulta Amazon ECS-optimized AMI Linux. Non è supportata nel flusso di lavoro Crea cluster nella console Amazon ECS. Per utilizzare questi tipi di istanze, devi utilizzare la console Amazon EC2, AWS CLI o API e registra manualmente le istanze nel tuo cluster. -
Il tipo di istanza p4d.24xlarge funziona solo con CUDA 11 o versioni successive.
-
Amazon ECS GPU-optimized L'AMI ha l'IPv6 abilitato, il che causa problemi durante l'utilizzo
yum. Questo può essere risolto configurandoyumin modo da utilizzare IPv4 con il seguente comando.echo "ip_resolve=4" >> /etc/yum.conf -
Quando crei un'immagine del contenitore che non utilizza NVIDIA/CUDA immagini di base, è necessario impostare il
NVIDIA_DRIVER_CAPABILITIESvariabile di runtime del contenitore su uno dei seguenti valori:-
utility,compute -
all
Per informazioni su come impostare la variabile, consulta Controllo del runtime del container NVIDIA
sul sito Web di NVIDIA. -
-
Le GPU non sono supportate nei container Windows.
Condividi le GPU manualmente su Amazon ECS su Amazon EC2
Per condividere manualmente le GPU su Amazon ECS su Amazon EC2, devi configurare e gestire tu stesso la condivisione delle GPU. Utilizza invece l'approccio gestito, in cui Amazon ECS configura e gestisce la condivisione per te. Per ulteriori informazioni sull'approccio gestito, consulta Condividi le GPU su Amazon ECS.
Quando si desidera condividere le GPU, è necessario configurare quanto segue.
-
Rimuovere i requisiti delle risorse GPU dalle definizioni delle attività in modo che Amazon ECS non riservi alcuna GPU da condividere.
-
Aggiungere i seguenti dati utente alle istanze quando si desidera condividere le GPU. Ciò renderà nvidia il runtime predefinito del container Docker sull'istanza di container in modo che tutti i container Amazon ECS possano utilizzare le GPU. Per ulteriori informazioni, consultare Run commands when you launch an EC2 instance with user data input nella Guida per l'utente di Amazon EC2.
const userData = ec2.UserData.forLinux(); userData.addCommands( 'sudo rm /etc/sysconfig/docker', 'echo DAEMON_MAXFILES=1048576 | sudo tee -a /etc/sysconfig/docker', 'echo OPTIONS="--default-ulimit nofile=32768:65536 --default-runtime nvidia" | sudo tee -a /etc/sysconfig/docker', 'echo DAEMON_PIDFILE_TIMEOUT=10 | sudo tee -a /etc/sysconfig/docker', 'sudo systemctl restart docker', ); -
Impostare la variabile di ambiente
NVIDIA_VISIBLE_DEVICESsul container. È possibile eseguire questa operazione specificando la variabile di ambiente nella definizione dell'attività. Per informazioni sui valori validi, consultare GPU Enumerationsul sito di documentazione di NVIDIA.
Operazioni da eseguire per utilizzare un'istanza P2
Per continuare a lavorare con le istanze P2, puoi utilizzare una delle seguenti opzioni.
È necessario modificare i dati utente dell'istanza per entrambe le opzioni. Per ulteriori informazioni, consultare Run commands when you launch an EC2 instance with user data input nella Guida per l'utente di Amazon EC2.
Usa l'ultimo supportato GPU-optimized IMA
Puoi usare 20230906 versione di GPU-optimized AMI e aggiungi quanto segue ai dati utente dell'istanza.
Sostituire cluster-name con il nome del cluster.
#!/bin/bash echo "exclude=*nvidia* *cuda*" >> /etc/yum.conf echo "ECS_CLUSTER=cluster-name" >> /etc/ecs/ecs.config
Usa la versione più recente GPU-optimized AMI e aggiorna i dati dell'utente
Puoi aggiungere i comandi seguenti ai dati utente dell'istanza. Questo disinstalla Nvidia 535/Cuda12.2 driver, quindi installa Nvidia 470/Cuda11.4 driver e corregge la versione.
#!/bin/bash yum remove -y cuda-toolkit* nvidia-driver-latest-dkms* tmpfile=$(mktemp) cat >$tmpfile <<EOF [amzn2-nvidia] name=Amazon Linux 2 Nvidia repository mirrorlist=\$awsproto://\$amazonlinux.\$awsregion.\$awsdomain/\$releasever/amzn2-nvidia/latest/\$basearch/mirror.list priority=20 gpgcheck=1 gpgkey=https://developer.download.nvidia.com/compute/cuda/repos/rhel7/x86_64/7fa2af80.pub enabled=1 exclude=libglvnd-* EOF mv $tmpfile /etc/yum.repos.d/amzn2-nvidia-tmp.repo yum install -y system-release-nvidia cuda-toolkit-11-4 nvidia-driver-latest-dkms-470.182.03 yum install -y libnvidia-container-1.4.0 libnvidia-container-tools-1.4.0 nvidia-container-runtime-hook-1.4.0 docker-runtime-nvidia-1 echo "exclude=*nvidia* *cuda*" >> /etc/yum.conf nvidia-smi
Crea il tuo P2 compatibile GPU-optimized IMA
Puoi creare il tuo Amazon ECS personalizzato GPU-optimized AMI compatibile con le istanze P2 e quindi avviare le istanze P2 utilizzando l'AMI.
-
Esegui il comando seguente per clonare
amazon-ecs-ami repo.git clone https://github.com/aws/amazon-ecs-ami -
Imposta l'agente Amazon ECS richiesto e le versioni dell'AMI Amazon Linux di origine in
release.auto.pkrvars.hclooverrides.auto.pkrvars.hcl. -
Esegui il comando seguente per creare un'AMI EC2 privata compatibile con P2.
Sostituisci la regione con la regione dell'istanza.
REGION=regionmake al2keplergpu -
Utilizza l'AMI con i seguenti dati utente dell'istanza per connetterti al cluster Amazon ECS.
Sostituire cluster-name con il nome del cluster.
#!/bin/bash echo "ECS_CLUSTER=cluster-name" >> /etc/ecs/ecs.config