Começando a usar o Amazon FSx for Lustre - FSx para Lustre
Pré-requisitosEtapa 1: Crie seu sistema de arquivos FSx for LustreInstalar o cliente do LustreEtapa 3: montar o sistema de arquivosEtapa 4: executar seu fluxo de trabalhoEtapa 5: Limpar os recursos do

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Começando a usar o Amazon FSx for Lustre

A seguir, você pode aprender como começar a usar o Amazon FSx for Lustre. Essas etapas orientam você na criação de um sistema de arquivos Amazon FSx for Lustre e no acesso a ele a partir de suas instâncias computacionais. Opcionalmente, eles mostram como usar seu sistema de arquivos Amazon for Lustre FSx para processar os dados em seu bucket do Amazon S3 com seus aplicativos baseados em arquivos.

Este exercício sobre os conceitos básicos inclui as etapas apresentadas a seguir.

Pré-requisitos

Para realizar este exercício sobre os conceitos básicos, você precisará do seguinte:

  • Uma AWS conta com as permissões necessárias para criar um sistema de arquivos Amazon FSx for Lustre e uma EC2 instância da Amazon. Para obter mais informações, consulte Configurar o Amazon FSx for Lustre.

  • Crie um grupo de segurança da Amazon VPC para ser associado ao seu sistema de arquivos FSx for Lustre e não o altere após a criação do sistema de arquivos. Para obter mais informações, consulte Para criar um grupo de segurança para seu sistema de FSx arquivos da Amazon.

  • Uma EC2 instância da Amazon executando uma versão Linux compatível em sua nuvem privada virtual (VPC) com base no serviço Amazon VPC. Para este exercício sobre os conceitos básicos, recomendamos usar o Amazon Linux 2023. Você instalará o Lustre cliente nessa EC2 instância e, em seguida, montará seu sistema de arquivos FSx for Lustre na EC2 instância. Para obter mais informações sobre a criação de uma EC2 instância, consulte Como começar: iniciar uma instância ou iniciar sua instância no Guia EC2 do usuário da Amazon.

    Além do Amazon Linux 2023, o Lustre cliente oferece suporte aos sistemas operacionais Amazon Linux 2, Red Hat Enterprise Linux (RHEL), CentOS, Rocky Linux, SUSE Linux Enterprise Server e Ubuntu. Para obter mais informações, consulte Compatibilidade com sistema de arquivos e kernel do cliente do Lustre.

  • Ao criar sua EC2 instância da Amazon para este exercício de introdução, tenha em mente o seguinte:

    • Recomendamos criar a instância em sua VPC padrão.

    • Recomendamos que você use o grupo de segurança padrão ao criar sua EC2 instância.

  • Determine qual tipo de sistema de arquivos Amazon FSx for Lustre você deseja criar, seja ele rascunho ou persistente. Para obter mais informações, consulte Opções de classe de implantação e armazenamento FSx para sistemas de arquivos Lustre.

  • Cada FSx sistema de arquivos do Lustre exige um endereço IP para cada servidor de metadados (MDS) e um endereço IP para cada servidor de armazenamento (OSS). Para obter mais informações, consulte Endereços IP para sistemas de arquivos.

  • Um bucket do Amazon S3 que armazena os dados a serem processados ​​pela workload. O bucket S3 será o repositório de dados durável vinculado para seu sistema de arquivos FSx for Lustre.

Etapa 1: Crie seu sistema de arquivos FSx for Lustre

Você cria seu sistema de arquivos no FSx console da Amazon. Observe que todos os sistemas FSx de arquivos do Lustre são baseados na Lustre versão 2.15 quando criados usando o console da Amazon FSx .

Para criar seu sistema de arquivos do

  1. Abra o FSx console da Amazon em https://console.aws.amazon.com/fsx/.

  2. No painel, escolha Criar sistema de arquivos para iniciar o assistente de criação de sistemas de arquivos.

  3. Escolha FSx for Lustre e, em seguida, selecione Próximo para exibir a página Criar sistema de arquivos.

    Comece sua configuração com a seção Detalhes do sistema de arquivos.

  4. Em Nome do sistema de arquivos (opcional), forneça um nome para seu sistema de arquivos. É possível usar até 256 letras do Unicode, espaços em branco e números, além dos caracteres especiais + - = . _ : /.

  5. Para a classe de implantação e armazenamento, escolha uma das opções:

    • Escolha SSD persistente para armazenamento de longo prazo e cargas de trabalho sensíveis à latência. Com o armazenamento SSD, você é cobrado pela quantidade de armazenamento provisionada.

      Opcionalmente, escolha com o EFA habilitado para habilitar o suporte ao Elastic Fabric Adapter (EFA) para o sistema de arquivos. Para obter mais informações sobre o EFA, consulteTrabalhando com sistemas de arquivos habilitados para EFA.

    • Escolha hierarquização persistente e inteligente para armazenamento de longo prazo. A classe de armazenamento Intelligent-Tiering fornece armazenamento totalmente elástico e econômico, adequado para a maioria das cargas de trabalho, bem como um cache de leitura SSD opcional que fornece latências de SSD para leituras de dados acessados com frequência. Com o Intelligent-Tiering, você é cobrado pelos dados que armazena, dependendo do tamanho do seu conjunto de dados, e não precisa especificar o tamanho do sistema de arquivos.

      Opcionalmente, escolha com o EFA habilitado para habilitar o suporte ao Elastic Fabric Adapter (EFA) para o sistema de arquivos.

    • Escolha Scratch, implantação de SSD para armazenamento temporário e processamento de dados em curto prazo. Com o armazenamento SSD, você é cobrado pela quantidade de armazenamento provisionada.

  6. Escolha a quantidade de taxa de transferência do seu sistema de arquivos. Você paga pela quantidade de throughput que provisiona.

    • Para armazenamento SSD persistente, escolha um valor de taxa de transferência por unidade de armazenamento. A taxa de transferência por unidade de armazenamento é a quantidade de taxa de transferência de leitura e gravação para cada 1 tebibyte (TiB) de armazenamento provisionado.

    • Para armazenamento SSD Scratch, escolha um valor de taxa de transferência por unidade de armazenamento.

    • Para armazenamento em camadas inteligentes, escolha um valor de capacidade de taxa de transferência.

  7. Para Capacidade de armazenamento (somente classe de armazenamento SSD), defina a quantidade de capacidade de armazenamento para seu sistema de arquivos, em TB:

    • Para um tipo de implantação Persistent, SSD, defina-a como um valor de 1,2 TiB, 2,4 TiB ou incrementos de 2,4 TiB.

    • Para um tipo de implantação de SSD persistente e habilitado para EFA, defina esse valor em incrementos de 4,8 TiB, 9,6 TiB, 19,2 TiB e 38,4 TiB para níveis de taxa de transferência de 1000, 500, 250 e 125/TiB, respectivamente. MBps

    Você pode aumentar a quantidade de capacidade de armazenamento, conforme necessário, após criar o sistema de arquivos. Para obter mais informações, consulte Como gerenciar a capacidade de armazenamento.

  8. Para a configuração de metadados, escolha uma das seguintes opções para provisionar o número de IOPS de metadados para seu sistema de arquivos:

    • Escolha Automático (somente classe de armazenamento SSD) se quiser que o Amazon FSx for Lustre provisione e escale automaticamente o IOPS de metadados em seu sistema de arquivos com base na capacidade de armazenamento do seu sistema de arquivos.

    • Escolha Provisionado pelo usuário se quiser especificar o número de IOPS de metadados a serem provisionados para seu sistema de arquivos com SSD ou classe de armazenamento Intelligent-Tiering. Os valores válidos são os seguintes:

      • Para sistemas de arquivos SSD, os valores válidos são 1500 30006000,12000,, e múltiplos de 12000 até um máximo de. 192000

      • Para sistemas de arquivos Intelligent-Tiering, os valores válidos são e. 6000 12000

    Para obter mais informações sobre IOPS de metadados, consulte Configuração de desempenho de metadados do Lustre.

  9. Para cache de leitura SSD (somente Intelligent-Tiering), selecione Automático (proporcional à capacidade de taxa de transferência) ou Personalizado (provisionado pelo usuário). Com a opção Automática, o Amazon FSx for Lustre escolhe automaticamente um tamanho de cache de leitura com base na sua taxa de transferência provisionada. Se você souber o tamanho aproximado do seu conjunto de dados de trabalho ativo, poderá selecionar Personalizado para personalizar o tamanho do cache de leitura do SSD. Para obter mais informações, consulte Gerenciando o cache de leitura SSD provisionado.

  10. Para Tipo de compactação de dados, escolha NENHUM para desativar a compactação de dados ou escolha ativar LZ4a compactação de dados com o LZ4 algoritmo. Para obter mais informações, consulte Compressão de dados do Lustre.

  11. Na seção Rede e segurança, forneça as seguintes informações relacionadas à rede e ao grupo de segurança:

    • Em Nuvem privada virtual (VPC), escolha a VPC que você deseja associar ao sistema de arquivos. Para este exercício de introdução, escolha a mesma VPC que você escolheu para sua instância da Amazon EC2 .

    • Em Grupos de segurança de VPC, o ID do grupo de segurança padrão para sua VPC já deve estar adicionado.

      Se você não estiver usando o grupo de segurança padrão, certifique-se de que a regra de entrada a seguir seja adicionada ao grupo de segurança que você está usando neste exercício sobre os conceitos básicos.

      Tipo Protocolo Intervalo de portas Origem Descrição
      Todos os TCP TCP 0-65535 Personalizado the_ID_of_this_security_group Regra do tráfego de entrada do Lustre
      Importante

      • Certifique-se de que o grupo de segurança que você está usando siga as instruções de configuração apresentadas em Controle de acesso ao sistema de arquivos com a Amazon VPC. Você deve configurar o grupo de segurança para permitir o tráfego de entrada nas portas 988 e 1018 a 1023 do próprio grupo de segurança ou do CIDR completo da sub-rede, que é necessário para permitir que os hosts do sistema de arquivos se comuniquem entre si.

      • Se você estiver criando um sistema de arquivos habilitado para EFA, certifique-se de especificar um grupo de segurança habilitado para EFA.

    • Em Sub-rede, escolha qualquer valor na lista de sub-redes disponíveis.

  12. Na seção Criptografia, as opções disponíveis variam com base no tipo de sistema de arquivos que você está criando:

    • Para um sistema de arquivos persistente, você pode escolher uma chave de criptografia AWS Key Management Service (AWS KMS) para criptografar os dados em seu sistema de arquivos em repouso.

    • Para um sistema de arquivos temporário, os dados em repouso são criptografados usando chaves gerenciadas por AWS.

    • Para sistemas de arquivos Scratch 2 e persistentes, os dados em trânsito são criptografados automaticamente quando o sistema de arquivos é acessado a partir de um tipo de EC2 instância compatível da Amazon. Para obter mais informações, consulte Criptografia de dados em trânsito.

  13. Para a seção opcional Importar/Exportar Repositórios de Dados, a vinculação do seu sistema de arquivos aos repositórios de dados do Amazon S3 está desativada por padrão. Para obter informações sobre como habilitar essa opção e criar uma associação de repositório de dados a um bucket do S3 existente, consulte Para vincular um bucket do S3 ao criar um sistema de arquivos (console).

    Importante

    • Selecionar esta opção também desabilita os backups e você não poderá habilitá-los durante a criação do sistema de arquivos.

    • Se você vincular um ou mais sistemas de arquivos do Amazon FSx for Lustre a um bucket do Amazon S3, não exclua o bucket do Amazon S3 até que todos os sistemas de arquivos vinculados tenham sido excluídos.

    • Os sistemas de arquivos de classificação inteligente em camadas não oferecem suporte à vinculação aos repositórios de dados do Amazon S3.

  14. Para o Logging opcional, o registro é ativado por padrão. Quando ativados, as falhas e os avisos da atividade do repositório de dados em seu sistema de arquivos são registrados no Amazon Logs. CloudWatch Para obter informações sobre como configurar o registro em log, consulte Como gerenciar registros em log.

  15. Em Backup e manutenção opcionais, você pode fazer o seguinte.

    • Desabilite o Backup automático diário. Essa opção é ativada por padrão, a menos que você tenha ativado a Importação/Exportação do Repositório de Dados.

    • Defina o horário de início para a Janela de backup automático diário.

    • Defina o Período de retenção de backup automático, que pode ter de 1 a 35 dias.

    • Defina o horário de início para a Janela de manutenção semanal ou mantenha-o definido como o padrão Sem preferência.

    Para obter mais informações, consulte Proteger seus dados com backups e Janelas FSx de manutenção do Amazon for Lustre.

  16. Para o Root Squash opcional, o root squash está desativado por padrão. Para obter informações sobre como habilitar e configurar o root squash, consulte Para habilitar o root squash ao criar um sistema de arquivos (console).

  17. Crie todas as tags que deseja aplicar ao sistema de arquivos.

  18. Escolha Próximo para exibir a página Resumo da criação de sistemas de arquivos.

  19. Revise as configurações do seu sistema de arquivos Amazon FSx for Lustre e escolha Criar sistema de arquivos.

Agora que você criou o sistema de arquivos, anote o nome de domínio totalmente qualificado e o nome da montagem a serem usados em uma etapa posterior. Você pode encontrar o nome de domínio totalmente qualificado e o nome de montagem de um sistema de arquivos escolhendo o nome do sistema de arquivos no painel Sistemas de arquivos e, em seguida, escolhendo Anexar.

Etapa 2: instalar e configurar o cliente do Lustre

Antes de acessar seu sistema de arquivos Amazon FSx for Lustre a partir da sua EC2 instância Amazon, você precisa fazer o seguinte:

  • Verifique se sua EC2 instância atende aos requisitos mínimos do kernel.

  • Atualize o kernel, se necessário.

  • Faça o download e instale o cliente do Lustre.

Para verificar a versão do kernel e baixar o cliente do Lustre

  1. Abra uma janela de terminal na sua EC2 instância.

  2. Determine qual kernel está em execução, no momento, na sua instância de computação ao executar o comando apresentado a seguir.

    uname -r

  3. Execute um destes procedimentos:

    • Se o comando retornar 6.1.79-99.167.amzn2023.x86_64 para EC2 instâncias baseadas em x86 6.1.79-99.167.amzn2023.aarch64 ou superior para instâncias baseadas em Graviton2, baixe e instale o cliente com EC2 o comando a Lustre seguir.

      sudo dnf install -y lustre-client

    • Se o comando retornar um resultado menor do que 6.1.79-99.167.amzn2023.x86_64 para instâncias baseadas em x86 ou menor que 6.1.79-99.167.amzn2023.aarch64 para EC2 instâncias baseadas em Graviton2, atualize o kernel e reinicie sua EC2 instância da Amazon executando o comando a seguir. EC2 

      sudo dnf -y update kernel && sudo reboot

      Confirme se o kernel foi atualizado usando o comando uname -r. Em seguida, faça download e instale o cliente do Lustre conforme descrito acima.

    Para obter informações sobre como instalar o cliente do Lustre em outras distribuições do Linux, consulte Instalar o cliente do Lustre.

Etapa 3: montar o sistema de arquivos

Para montar o sistema de arquivos, você criará um diretório de montagem ou ponto de montagem e, em seguida, montará o sistema de arquivos no seu cliente e verificará se ele pode acessar o sistema de arquivos.

Como montar o sistema de arquivos

  1. Faça um diretório para o ponto de montagem com o comando a seguir.

    sudo mkdir -p /mnt/fsx

  2. Monte o sistema de arquivos Amazon FSx for Lustre no diretório que você criou. Use o seguinte comando e substitua os seguintes itens:

    • Substitua file_system_dns_name pelo nome do Sistema de Nomes de Domínio (DNS) real do sistema de arquivos.

    • mountnameSubstitua pelo nome de montagem do sistema de arquivos, que você pode obter executando o describe-file-systems AWS CLI comando ou a operação da DescribeFileSystemsAPI.

    sudo mount -t lustre -o relatime,flock file_system_dns_name@tcp:/mountname /mnt/fsx

    Este comando monta o sistema de arquivos com duas opções, -o relatime e flock:

    • relatime: embora a opção atime mantenha dados de atime (horários de acesso de inodes) para cada vez que um arquivo é acessado, a opção relatime também mantém dados de atime, mas não para cada vez que um arquivo é acessado. Com a opção relatime habilitada, os dados de atime serão gravados para o disco somente se o arquivo tiver sido modificado desde a última atualização dos dados de atime (mtime) ou se o arquivo tiver sido acessado pela última vez há mais tempo do que um determinado período (seis horas por padrão). Usar a opção relatime ou atime otimizará os processos de liberação de arquivos.

      nota

      Se a workload requerer uma precisão rigorosa quanto ao horário de acesso, você poderá montar com a opção de montagem atime. No entanto, isso pode afetar a performance da workload ao aumentar o tráfego de rede necessário para manter valores rigorosos quanto ao horário de acesso.

      Se a workload não requerer o horário de acesso aos metadados, usar a opção de montagem noatime para desabilitar atualizações relacionadas ao horário de acesso poderá proporcionar um ganho de performance. Esteja ciente de que os processos focados na opção atime, como a liberação de arquivos ou a liberação da validade de dados, serão imprecisos em suas liberações.

    • flock: ativa o bloqueio de arquivos para o sistema de arquivos. Se você não desejar que o bloqueio de arquivos seja habilitado, use o comando mount sem flock.

  3. Verifique se o comando mount ocorreu com êxito ao listar o conteúdo do diretório no qual você montou o sistema de arquivos /mnt/fsx, usando o comando apresentado a seguir.

    ls /mnt/fsx
import-path  lustre
$

    Você também pode usar o comando df apresentado a seguir.

    df
Filesystem                      1K-blocks    Used  Available Use% Mounted on
devtmpf                          1001808       0    1001808   0% /dev
tmpfs                            1019760       0    1019760   0% /dev/shm
tmpfs                            1019760     392    1019368   1% /run
tmpfs                            1019760       0    1019760   0% /sys/fs/cgroup
/dev/xvda1                       8376300 1263180    7113120  16% /
123.456.789.0@tcp:/mountname  3547698816   13824 3547678848   1% /mnt/fsx
tmpfs                             203956       0     203956   0% /run/user/1000

    Os resultados mostram o sistema de FSx arquivos da Amazon montadoon /mnt/fsx.

Etapa 4: executar seu fluxo de trabalho

Agora que o sistema de arquivos foi criado e montado em uma instância de computação, é possível usá-lo para executar a workload de computação de alta performance.

Você pode criar uma associação de repositório de dados para vincular o sistema de arquivos a um repositório de dados do Amazon S3. Para obter mais informações, consulte Vincular o sistema de arquivos a um bucket do Amazon S3.

Após vincular o sistema de arquivos a um repositório de dados do Amazon S3, você poderá exportar os dados gravados no sistema de arquivos de volta para o bucket do Amazon S3 a qualquer momento. Em um terminal em uma de suas instâncias de computação, execute o comando apresentado a seguir para exportar um arquivo para o bucket do Amazon S3.

sudo lfs hsm_archive file_name

Para obter mais informações sobre como executar esse comando em uma pasta ou em uma grande coleção de arquivos com rapidez, consulte Exportação de arquivos usando comandos do HSM.

Etapa 5: Limpar os recursos do

Depois de concluir este exercício, você deve seguir estas etapas para limpar seus recursos e proteger sua AWS conta.

Como limpar recursos

  1. Se desejar realizar uma exportação final, execute o comando apresentado a seguir.

    nohup find /mnt/fsx -type f -print0 | xargs -0 -n 1 sudo lfs hsm_archive &

  2. No EC2 console da Amazon, encerre sua instância. Para obter mais informações, consulte Encerre sua instância no Guia do EC2 usuário da Amazon.

  3. No console do Amazon FSx for Lustre, exclua seu sistema de arquivos com o seguinte procedimento:

    1. No painel de navegação, escolha Sistemas de arquivos.

    2. Escolha o sistema de arquivos que você deseja excluir da lista de sistemas de arquivos no painel.

    3. Para Ações, escolha Excluir sistema de arquivos.

    4. Na caixa de diálogo exibida, escolha se deseja fazer um backup final do sistema de arquivos. Em seguida, forneça o ID do sistema de arquivos para confirmar a exclusão. Escolha Excluir sistema de arquivos.

  4. Se você criou um bucket do Amazon S3 para este exercício e não deseja preservar os dados exportados, você pode excluí-lo agora. Para obter mais informações, consulte Excluir um bucket no Guia do usuário do Amazon Simple Storage Service.