As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá. # Implantação de um sistema de arquivos do Lustre para processamento de dados de alta performance usando o Terraform e a DRA *Arun Bagal e Ishwar Chauthaiwale, Amazon Web Services* ## Resumo Esse padrão implanta automaticamente um sistema de arquivos Lustre AWS e o integra ao Amazon Elastic Compute Cloud (Amazon) EC2 e ao Amazon Simple Storage Service (Amazon S3). Esta solução auxilia na configuração rápida de um ambiente de computação de alta performance (HPC) com armazenamento integrado, recursos de computação e acesso aos dados do Amazon S3. Ele combina os recursos de armazenamento do Lustre com as opções de computação flexíveis fornecidas pela Amazon EC2 e o armazenamento de objetos escalável no Amazon S3, para que você possa lidar com cargas de trabalho com uso intenso de dados em aprendizado de máquina, HPC e análise de big data. O padrão usa um módulo HashiCorp Terraform e o Amazon for Lustre FSx para simplificar o seguinte processo: + Provisionamento de um sistema de arquivos do Lustre + Estabelecendo uma associação de repositório de dados (DRA) entre FSx o Lustre e um bucket do S3 para vincular o sistema de arquivos Lustre aos objetos do Amazon S3 + Criação de uma EC2 instância + Montagem do sistema de arquivos Lustre com o DRA vinculado ao Amazon S3 na instância EC2 Entre os benefícios desta solução, destacam-se: + Design modular. Você pode gerenciar e atualizar de forma simples cada componente desta solução. + Escalabilidade. Você pode implantar rapidamente ambientes consistentes em Contas da AWS nossas regiões. + Flexibilidade. Você pode personalizar a implantação para atender às suas necessidades específicas. + Práticas recomendadas. Esse padrão usa módulos pré-configurados que seguem as AWS melhores práticas. Para obter mais informações sobre sistemas de arquivos do Lustre, consulte o [site do Lustre](https://www.lustre.org/). ## Pré-requisitos e limitações **Pré-requisitos ** + Um ativo Conta da AWS + Uma política de privilégios mínimos AWS Identity and Access Management (IAM) (consulte [as instruções](https://aws.amazon.com/blogs/security/techniques-for-writing-least-privilege-iam-policies/)) **Limitações** FSx for Lustre limita o sistema de arquivos Lustre a uma única zona de disponibilidade, o que pode ser uma preocupação se você tiver requisitos de alta disponibilidade. Caso a zona de disponibilidade em que o sistema de arquivos está localizado falhe, o acesso ao sistema será interrompido até a recuperação. Para garantir alta disponibilidade, é possível usar a DRA para vincular o sistema de arquivos do Lustre ao Amazon S3 e transferir dados entre zonas de disponibilidade. **Versões do produto** + [Terraform versão 1.9.3 ou posterior](https://developer.hashicorp.com/terraform/install?product_intent=terraform) + [HashiCorp AWS Provider versão 4.0.0 ou posterior](https://registry.terraform.io/providers/hashicorp/aws/latest) ## Arquitetura O diagrama a seguir mostra a arquitetura do Lustre e a complementar Serviços da AWS no Nuvem AWS. FSx ![FSx para implantação do Lustre com AWS KMS, Amazon EC2, Amazon Logs e CloudWatch Amazon S3.](http://docs.aws.amazon.com/pt_br/prescriptive-guidance/latest/patterns/images/pattern-img/51d38589-e752-42cd-9f46-59c3c8d0bfd3/images/c1c21952-fd6f-4b1d-9bf8-09b2f4f4459f.png) A arquitetura inclui o seguinte: + Um bucket do S3 é usado como local de armazenamento durável, escalável e econômico para os dados. A integração entre FSx o Lustre e o Amazon S3 fornece um sistema de arquivos de alto desempenho que está perfeitamente vinculado ao Amazon S3. + FSx for Lustre executa e gerencia o sistema de arquivos Lustre. + O Amazon CloudWatch Logs coleta e monitora dados de log do sistema de arquivos. Esses logs fornecem insights sobre a performance, a integridade e a atividade do sistema de arquivos do Lustre. + A Amazon EC2 é usada para acessar sistemas de arquivos Lustre usando o cliente Lustre de código aberto. EC2 as instâncias podem acessar sistemas de arquivos de outras zonas de disponibilidade dentro da mesma nuvem privada virtual (VPC). A configuração de rede permite o acesso entre sub-redes dentro da VPC. Depois que o sistema de arquivos do Lustre é montado na instância, você pode trabalhar com arquivos e diretórios como se fossem parte de um sistema de arquivos local. + AWS Key Management Service (AWS KMS) aumenta a segurança do sistema de arquivos fornecendo criptografia para dados em repouso. **Automação e escala** O Terraform facilita a implantação, o gerenciamento e a escalabilidade dos seus sistemas de arquivos do Lustre em diferentes ambientes. No FSx Lustre, um único sistema de arquivos tem limitações de tamanho, então talvez seja necessário escalar horizontalmente criando vários sistemas de arquivos. É possível usar o Terraform para provisionar vários sistemas de arquivos do Lustre de acordo com as necessidades da sua workload. ## Ferramentas **Serviços da AWS** + O [Amazon CloudWatch Logs](https://docs.aws.amazon.com/AmazonCloudWatch/latest/logs/WhatIsCloudWatchLogs.html) ajuda você a centralizar os registros de todos os seus sistemas e aplicativos, Serviços da AWS para que você possa monitorá-los e arquivá-los com segurança. + [O Amazon Elastic Compute Cloud (Amazon EC2)](https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/concepts.html) fornece capacidade de computação escalável no. Nuvem AWS Você poderá iniciar quantos servidores virtuais precisar e escalá-los na vertical rapidamente. + [O Amazon FSx for Lustre](https://docs.aws.amazon.com/fsx/latest/LustreGuide/what-is.html) torna fácil e econômico lançar, executar e escalar um sistema de arquivos Lustre de alto desempenho. + [AWS Key Management Service (AWS KMS)](https://docs.aws.amazon.com/kms/latest/developerguide/overview.html) ajuda você a criar e controlar chaves criptográficas para ajudar a proteger seus dados. + O [Amazon Simple Storage Service (Amazon S3)](https://docs.aws.amazon.com/AmazonS3/latest/userguide/Welcome.html) é um serviço de armazenamento de objetos baseado na nuvem que ajuda você a armazenar, proteger e recuperar qualquer quantidade de dados. **Repositório de código** O código desse padrão está disponível no [sistema de arquivos GitHub Provision FSx for Lustre usando o repositório Terraform](https://github.com/aws-samples/provision-fsx-lustre-with-terraform). ## Práticas recomendadas + As variáveis apresentadas a seguir definem o sistema de arquivos do Lustre. Certifique-se de que essas configurações estejam corretas de acordo com o ambiente, seguindo as instruções apresentadas na seção [Épicos](#deploy-lustre-file-system-for-high-performance-data-processing-with-terraform-dra-epics). + `storage_capacity`— A capacidade de armazenamento do sistema de arquivos Lustre, em GiBs. O valor mínimo e padrão é 1.200 GiB. + `deployment_type`: o tipo de implantação do sistema de arquivos do Lustre. Para obter uma explicação das duas opções `PERSISTENT_1` e `PERSISTENT_2` (padrão), consulte a [documentação do FSx Lustre.](https://docs.aws.amazon.com/fsx/latest/LustreGuide/using-fsx-lustre.html#persistent-file-system) + `per_unit_storage_throughput`— A taxa de transferência de leitura e gravação, em MBs por segundo por TiB.   + `subnet_id`— O ID da sub-rede privada em que você deseja FSx implantar o Lustre. + `vpc_id`— O ID da sua nuvem privada virtual AWS onde você deseja FSx implantar o Lustre. + `data_repository_path`: o caminho para o bucket do S3 que será vinculado ao sistema de arquivos do Lustre. + `iam_instance_profile`— O perfil da instância do IAM a ser usado para iniciar a EC2 instância. + `kms_key_id`— O Amazon Resource Name (ARN) da AWS KMS chave que será usada para criptografia de dados. + Garanta o acesso adequado à rede e o posicionamento correto na VPC usando as variáveis `security_group` e `vpc_id`. + Execute o comando `terraform plan`, conforme descrito na seção [Épicos](#deploy-lustre-file-system-for-high-performance-data-processing-with-terraform-dra-epics), para obter uma visualização prévia e verificar as alterações antes de aplicá-las. Esse procedimento auxilia na detecção de problemas potenciais e assegura que você tenha ciência do que será implantado. + Use o comando `terraform validate`, conforme descrito na seção [Épicos](#deploy-lustre-file-system-for-high-performance-data-processing-with-terraform-dra-epics), para verificar erros de sintaxe e confirmar se a configuração está correta. ## Épicos ### Configurar o ambiente | Tarefa | Description | Habilidades necessárias | | --- | --- | --- | | Instale o Terraform. | Para instalar o Terraform em sua máquina local, siga as instruções apresentadas na [documentação do Terraform](https://developer.hashicorp.com/terraform/tutorials/aws-get-started/install-cli). | AWS DevOps, DevOps engenheiro | | Configure as AWS credenciais. | Para configurar o perfil AWS Command Line Interface (AWS CLI) para a conta, siga as instruções na [AWS documentação](https://docs.aws.amazon.com/cli/latest/userguide/cli-configure-files.html). | AWS DevOps, DevOps engenheiro | | Clone o GitHub repositório. | Para clonar o GitHub repositório, execute o comando:
git clone https://github.com/aws-samples/provision-fsx-lustre-with-terraform.git
| AWS DevOps, DevOps engenheiro | ### Configure e implante FSx para o Lustre | Tarefa | Description | Habilidades necessárias | | --- | --- | --- | | Atualize a configuração de implantação. | [See the AWS documentation website for more details](http://docs.aws.amazon.com/pt_br/prescriptive-guidance/latest/patterns/deploy-lustre-file-system-for-high-performance-data-processing-with-terraform-dra.html) | AWS DevOps, DevOps engenheiro | | Realize a inicialização do ambiente do Terraform. | Para inicializar o ambiente e executar o módulo do Terraform `fsx_deployment`, execute:
terraform init
| AWS DevOps, DevOps engenheiro | | Valide a sintaxe do Terraform. | Para verificar erros de sintaxe e confirmar que a configuração está correta, execute:
terraform validate
| AWS DevOps, DevOps engenheiro | | Valide a configuração do Terraform. | Para criar um plano de execução do Terraform e visualizar previamente a implantação, execute:
terraform plan -var-file terraform.tfvars
| AWS DevOps, DevOps engenheiro | | Realize a implantação do módulo do Terraform. | Para implantar os recursos do FSx for Lustre, execute:
terraform apply -var-file terraform.tfvars
| AWS DevOps, DevOps engenheiro | ### Limpe AWS os recursos | Tarefa | Description | Habilidades necessárias | | --- | --- | --- | | Remova AWS os recursos. | Depois de terminar de usar seu ambiente FSx for Lustre, você pode remover os AWS recursos implantados pelo Terraform para evitar cobranças desnecessárias. O módulo do Terraform fornecido no repositório de código automatiza essa limpeza.[See the AWS documentation website for more details](http://docs.aws.amazon.com/pt_br/prescriptive-guidance/latest/patterns/deploy-lustre-file-system-for-high-performance-data-processing-with-terraform-dra.html) | AWS DevOps, DevOps engenheiro | ## Solução de problemas | Problema | Solução | | --- | --- | | FSx for Lustre retorna erros. | Para obter ajuda com FSx problemas do Lustre, consulte [Solução de problemas do Amazon FSx for Lustre na documentação](https://docs.aws.amazon.com/fsx/latest/LustreGuide/troubleshooting.html) do FSx for Lustre. | ## Recursos relacionados + [Construindo o Amazon FSx for Lustre usando o Terraform](https://registry.terraform.io/providers/hashicorp/aws/latest/docs/resources/fsx_lustre_file_system) (referência do AWS provedor na documentação do Terraform) + [Introdução ao Amazon FSx for Lustre (FSx para](https://docs.aws.amazon.com/fsx/latest/LustreGuide/getting-started.html) documentação do Lustre) + [AWS postagens de blog sobre Amazon FSx for Lustre](https://aws.amazon.com/blogs/storage/tag/amazon-fsx-for-lustre/)