AWS ParallelCluster in un'unica sottorete senza accesso a Internet - AWS ParallelCluster

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

AWS ParallelCluster in un'unica sottorete senza accesso a Internet

Una sottorete senza accesso a Internet non consente connessioni in entrata o in uscita a Internet. Questa AWS ParallelCluster configurazione può aiutare i clienti interessati alla sicurezza a migliorare ulteriormente la sicurezza delle proprie risorse. AWS ParallelCluster AWS ParallelCluster vengono creati nodi AWS ParallelCluster AMIs che includono tutto il software necessario per eseguire un cluster senza accesso a Internet. In questo modo, AWS ParallelCluster puoi creare e gestire cluster con nodi che non dispongono di accesso a Internet.

In questa sezione, imparerai come configurare il cluster. Scopri anche le limitazioni nell'esecuzione di cluster senza accesso a Internet.

AWS ParallelCluster utilizzando una sottorete e nessuna connessione Internet

Configurazione degli endpoint VPC

Per garantire il corretto funzionamento del cluster, i nodi del cluster devono essere in grado di interagire con una serie di servizi. AWS

Crea e configura i seguenti endpoint VPC in modo che i nodi del cluster possano interagire con i AWS Servizi, senza accesso a Internet:

Commercial and AWS GovCloud (US) partitions
Servizio Nome servizio Tipo

Amazon CloudWatch

com.amazonaws. region-id.registri

Interfaccia

AWS CloudFormation

com.amazonaws.it. region-id. formazione di nuvole

Interfaccia

Amazon EC2

com.amazonaws. region-id.ec2

Interfaccia

Amazon S3

com.amazonaws.it. region-id.s3

Gateway

Amazon DynamoDB

com.amazonaws. region-id.dinamodb

Gateway

AWS Secrets Manager**

com.amazonaws. region-id. gestore dei segreti

Interfaccia

AWS Elastic Load Balancing***

com.amazonaws. region-id. bilanciamento elastico del carico

Interfaccia

AWS Scalabilità automatica***

com.amazonaws. region-id.scalabilità automatica

Interfaccia

China partition
Servizio Nome servizio Tipo

Amazon CloudWatch

com.amazonaws. region-id.registri

Interfaccia

AWS CloudFormation

cn.com.amazonaws. region-id. formazione di nuvole

Interfaccia

Amazon EC2

cn.com. amazonaws. region-id.ec2

Interfaccia

Amazon S3

com.amazonaws.it. region-id.s3

Gateway

Amazon DynamoDB

com.amazonaws. region-id.dinamodb

Gateway

AWS Secrets Manager**

com.amazonaws. region-id. gestore dei segreti

Interfaccia

AWS Elastic Load Balancing***

com.amazonaws. region-id. bilanciamento elastico del carico

Interfaccia

AWS Scalabilità automatica***

cn.com.amazonaws. region-id.scalabilità automatica

Interfaccia

** Questo endpoint è richiesto solo quando è abilitato, altrimenti DirectoryServiceè facoltativo.

*** Questi endpoint sono necessari solo quando LoginNodessono abilitati, altrimenti sono opzionali.

Tutte le istanze nel VPC devono disporre di gruppi di sicurezza adeguati per comunicare con gli endpoint. È possibile farlo aggiungendo gruppi di sicurezza nelle configurazioni HeadNodee AdditionalSecurityGroupsAdditionalSecurityGroupsnelle configurazioni. SlurmQueues Ad esempio, se gli endpoint VPC vengono creati senza specificare esplicitamente un gruppo di sicurezza, il gruppo di sicurezza predefinito viene associato agli endpoint. Aggiungendo il gruppo di sicurezza predefinito aAdditionalSecurityGroups, si abilita la comunicazione tra il cluster e gli endpoint.

Nota

Quando utilizzi le policy IAM per limitare l'accesso agli endpoint VPC, devi aggiungere quanto segue all'endpoint VPC Amazon S3:

PolicyDocument: Version: 2012-10-17 Statement: - Effect: Allow Principal: "*" Action: - "s3:PutObject" Resource: - !Sub "arn:${AWS::Partition}:s3:::cloudformation-waitcondition-${AWS::Region}/*"

Disattiva Route 53 e usa gli EC2 hostname di Amazon

Quando crei un Slurm cluster, AWS ParallelCluster crea una zona ospitata privata sulla Route 53 che viene utilizzata per risolvere i nomi host dei nodi di calcolo personalizzati, ad esempio. {queue_name}-{st|dy}-{compute_resource}-{N} Poiché Route 53 non supporta gli endpoint VPC, questa funzionalità deve essere disabilitata. Inoltre, AWS ParallelCluster deve essere configurato per utilizzare i EC2 nomi host Amazon predefiniti, ad esempioip-1-2-3-4. Applica le seguenti impostazioni alla configurazione del cluster:

... Scheduling: ... SlurmSettings: Dns: DisableManagedDns: true UseEc2Hostnames: true
avvertimento

Per i cluster creati con SlurmSettings/Dns/DisableManagedDnse UseEc2Hostnamesimpostati sutrue, Slurm NodeName non viene risolto dal DNS. Usa invece. Slurm NodeHostName

Nota

Questa nota non è rilevante a partire dalla AWS ParallelCluster versione 3.3.0.

Per le versioni AWS ParallelCluster supportate precedenti alla 3.3.0:

Quando UseEc2Hostnames è impostato sutrue, il file Slurm di configurazione viene impostato con gli epilog script AWS ParallelCluster prolog and:

  • prologviene eseguito per aggiungere informazioni /etc/hosts sui nodi ai nodi di calcolo quando ogni lavoro viene allocato.

  • epilogviene eseguito per pulire i contenuti scritti da. prolog

Per aggiungere script prolog o epilog script personalizzati, aggiungili rispettivamente alle /opt/slurm/etc/pcluster/epilog.d/ cartelle /opt/slurm/etc/pcluster/prolog.d/ o.

Configurazione del cluster

Scopri come configurare il cluster per l'esecuzione in una sottorete senza connessione a Internet.

La configurazione per questa architettura richiede le seguenti impostazioni:

# Note that all values are only provided as examples ... HeadNode: ... Networking: SubnetId: subnet-1234567890abcdef0 # the VPC of the subnet needs to have VPC endpoints AdditionalSecurityGroups: - sg-abcdef01234567890 # optional, the security group that enables the communication between the cluster and the VPC endpoints LoginNodes: # optional, if enabled, requires creation and configuration of VPC endpoints for AWS Elastic Load Balancing (ELB) and Auto Scaling services Pools: - ... Networking: SubnetIds: - subnet-1234567890abcdef0 # the VPC of the subnet needs to have VPC endpoints attached AdditionalSecurityGroups: - sg-1abcdef01234567890 # optional, the security group that enables the communication between the cluster and the VPC endpoints Scheduling: Scheduler: Slurm # Cluster in a subnet without internet access is supported only when the scheduler is Slurm. SlurmSettings: Dns: DisableManagedDns: true UseEc2Hostnames: true SlurmQueues: - ... Networking: SubnetIds: - subnet-1234567890abcdef0 # the VPC of the subnet needs to have VPC endpoints attached AdditionalSecurityGroups: - sg-1abcdef01234567890 # optional, the security group that enables the communication between the cluster and the VPC endpoints
  • SubnetId(s): La sottorete senza accesso a Internet.

    Per abilitare la comunicazione tra AWS ParallelCluster e AWS Servizi, il VPC della sottorete deve avere gli endpoint VPC collegati. Prima di creare il cluster, verifica che l'assegnazione automatica IPv4 dell'indirizzo pubblico sia disabilitata nella sottorete per garantire che i pcluster comandi abbiano accesso al cluster.

  • AdditionalSecurityGroups: il gruppo di sicurezza che abilita la comunicazione tra il cluster e gli endpoint VPC.

    Facoltativo:

    • Se gli endpoint VPC vengono creati senza specificare esplicitamente un gruppo di sicurezza, viene associato il gruppo di sicurezza predefinito del VPC. Pertanto, fornisci il gruppo di sicurezza predefinito a. AdditionalSecurityGroups

    • Se durante la creazione del cluster vengono utilizzati gruppi di sicurezza personalizzati, and/or AdditionalSecurityGroups gli endpoint VPC non sono necessari purché i gruppi di sicurezza personalizzati consentano la comunicazione tra il cluster e gli endpoint VPC.

  • Scheduler: Lo scheduler del cluster.

    slurmè l'unico valore valido. Solo lo Slurm scheduler supporta un cluster in una sottorete senza accesso a Internet.

  • SlurmSettings: Le impostazioni. Slurm

    Vedi la sezione precedente Disattiva Route53 e usa gli hostname di Amazon. EC2

Limitazioni

  • Connessione al nodo principale tramite SSH o Amazon DCV: quando ti connetti a un cluster, assicurati che il client della connessione possa raggiungere il nodo principale del cluster tramite il suo indirizzo IP privato. Se il client non si trova nello stesso VPC del nodo principale, utilizza un'istanza proxy in una sottorete pubblica del VPC. Questo requisito si applica sia alle connessioni SSH che a quelle DCV. L'IP pubblico di un nodo principale non è accessibile se la sottorete non dispone di accesso a Internet. I dcv-connect comandi pcluster ssh and utilizzano l'IP pubblico, se esistente, o l'IP privato. Prima di creare il cluster, verifica che l'assegnazione automatica IPv4 dell'indirizzo pubblico sia disabilitata nella sottorete per garantire che i pcluster comandi abbiano accesso al cluster.

    L'esempio seguente mostra come è possibile connettersi a una sessione DCV in esecuzione nel nodo principale del cluster. Ti connetti tramite un' EC2 istanza proxy Amazon. L'istanza funziona come server Amazon DCV per il tuo PC e come client per il nodo principale nella sottorete privata.

    Connect tramite DCV tramite un'istanza proxy in una sottorete pubblica:

    1. Crea un' EC2 istanza Amazon in una sottorete pubblica, che si trova nello stesso VPC della sottorete del cluster.

    2. Assicurati che il client e il server Amazon DCV siano installati sulla tua EC2 istanza Amazon.

    3. Allega una AWS ParallelCluster User Policy all' EC2 istanza proxy di Amazon. Per ulteriori informazioni, consulta AWS ParallelCluster esempi di politiche pcluster utente.

    4. Installa AWS ParallelCluster sull' EC2 istanza proxy Amazon.

    5. Connect tramite DCV all' EC2 istanza proxy Amazon.

    6. Usa il pcluster dcv-connect comando sull'istanza proxy per connetterti al cluster all'interno della sottorete senza accesso a Internet.

  • Interazione con altri AWS servizi: solo i servizi strettamente richiesti da AWS ParallelCluster sono elencati sopra. Se il cluster deve interagire con altri servizi, crea gli endpoint VPC corrispondenti.