Como trabalhar com sistemas de arquivos habilitados para EFA - FSx para Lustre
Considerações ao usar sistemas de arquivos habilitados para EFAPré-requisitos para usar sistemas de arquivos habilitados para EFAComo criar um sistema de arquivos habilitado para EFA

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Como trabalhar com sistemas de arquivos habilitados para EFA

Se você estiver criando um sistema de arquivos com mais GBps de 10% da capacidade de taxa de transferência, recomendamos habilitar o Elastic Fabric Adapter (EFA) para otimizar a taxa de transferência por instância do cliente. O EFA é uma interface de rede de alto desempenho que usa uma técnica personalizada de desvio do sistema operacional e o protocolo de rede AWS Scalable Reliable Datagram (SRD) para aumentar o desempenho. Para obter informações sobre o EFA, consulte Adaptador Elastic Fabric para AI/ML cargas de trabalho de HPC na Amazon no Guia EC2 do usuário da Amazon EC2 .

Os sistemas de arquivos habilitados para EFA oferecem suporte a dois recursos adicionais de desempenho: GPUDirect Armazenamento (GDS) e ENA Express. O suporte ao GDS se baseia no EFA para aprimorar ainda mais o desempenho, permitindo a transferência direta de dados entre o sistema de arquivos e a memória da GPU, ignorando a CPU. Esse caminho direto elimina a necessidade de cópias redundantes da memória e do envolvimento da CPU nas operações de transferência de dados. Com o suporte para EFA e GDS, você pode obter maior throughput para instâncias individuais de clientes habilitadas para EFA. O ENA Express fornece comunicação de rede otimizada para EC2 instâncias da Amazon usando um algoritmo avançado de seleção de caminhos e um mecanismo aprimorado de controle de congestionamento. Com o suporte do ENA Express, você pode obter maior throughput para instâncias individuais de clientes habilitadas para o ENA Express. Para obter informações sobre o ENA Express, consulte Melhorar o desempenho da rede entre EC2 instâncias com o ENA Express no Guia EC2 do usuário da Amazon.

Considerações ao usar sistemas de arquivos habilitados para EFA

A seguir, são apresentados alguns itens importantes a serem considerados ao criar sistemas de arquivos habilitados para EFA:

  • Várias opções de conectividade: sistemas de arquivos habilitados para EFA podem se comunicar com instâncias de clientes usando ENA, ENA Express e EFA.

  • Tipo de implantação: o EFA é compatível com sistemas de arquivos Persistent 2 com uma configuração de metadados especificada, incluindo sistemas de arquivos que usam a classe de armazenamento Intelligent-Tiering.

  • Atualização da configuração do EFA: você pode optar por habilitar o EFA ao criar um novo sistema de arquivos, mas não pode ativar ou desativar o EFA em um sistema de arquivos existente.

  • Como escalar o throughput com a capacidade de armazenamento: você pode escalar a capacidade de armazenamento em um sistema de arquivos baseado em SSD habilitado para EFA para aumentar a capacidade de throughput, mas não pode alterar o nível de throughput de um sistema de arquivos habilitado para EFA.

  • Regiões da AWS: Para obter uma lista desses Regiões da AWS sistemas de arquivos Persistent 2 compatíveis com EFA, consulte. Disponibilidade do tipo de implantação

Pré-requisitos para usar sistemas de arquivos habilitados para EFA

A seguir estão pré-requisitos para usar sistemas de arquivos habilitados para EFA:

Para criar seu sistema de arquivos habilitado para EFA:

  • Use um grupo de segurança habilitado para EFA Para obter mais informações, consulte Vagas de segurança habilitadas para EFA.

  • Use a mesma zona de disponibilidade e /16 CIDR como suas instâncias de cliente habilitadas para EFA em sua Amazon VPC.

  • Em sistemas de arquivos Intelligent-Tiering, o EFA só é suportado com uma capacidade de taxa de transferência de 4.000 ou incrementos de MBps 4.000. MBps

Para acessar seu sistema de arquivos usando o Elastic Fabric Adapter (EFA):

  • Use instâncias Nitro v4 (ou superior) compatíveis com EFA, excluindo a família de EC2 instâncias trn2. Consulte Tipos de instância compatíveis no Guia do EC2 usuário da Amazon.

  • Execute o AL2 023, o RHEL 9.5 e versões posteriores ou o Ubuntu 22+ com a versão do kernel 6.8 e mais recente. Para obter mais informações, consulte Instalar o cliente do Lustre.

  • Instale os módulos do EFA e configure as interfaces do EFA nas instâncias do seu cliente. Para obter mais informações, consulte Como configurar clientes do EFA.

Para acessar seu sistema de arquivos usando o GPUDirect Storage (GDS):

  • Use uma instância cliente Amazon EC2 P5, P5e, P5en ou P6-B200.

  • Instale o pacote NVIDIA Compute Unified Device Architecture (CUDA), o driver NVIDIA de código aberto e o driver de GPUDirect armazenamento NVIDIA na sua instância cliente. Para obter mais informações, consulte Instale o driver GDS (opcional).

Para acessar seu sistema de arquivos usando o ENA Express:

Como criar um sistema de arquivos habilitado para EFA

Esta seção contém instruções sobre como criar um sistema de arquivos compatível com EFA FSx para Lustre usando o. AWS CLI Para obter informações sobre como criar um sistema de arquivos habilitado para EFA usando o FSx console da Amazon, consulte. Etapa 1: criar o sistema de arquivos do FSx para Lustre

Use o comando create-file-systemCLI (ou a operação de CreateFileSystemAPI equivalente). O exemplo a seguir cria um sistema de arquivos compatível com EFA FSx para Lustre com um PERSISTENT_2 tipo de implantação.

aws fsx create-file-system\
   --storage-capacity 4800 \
   --storage-type SSD \
   --file-system-type LUSTRE \
   --file-system-type-version 2.15 \
   --subnet-ids subnet-01234567890 \
   --security-group-ids sg-0123456789abcdefg \
   --lustre-configuration '{"DeploymentType": "PERSISTENT_2", "EfaSupport": true}'

Depois de criar o sistema de arquivos com sucesso, a Amazon FSx retorna a descrição do sistema de arquivos no formato JSON.