PERF03-BP01 Compreender as características e os requisitos de armazenamento - AWS Well-Architected Framework
Orientação de implementaçãoRecursos

PERF03-BP01 Compreender as características e os requisitos de armazenamento

Identifique e documente as necessidades de armazenamento de workloads e defina as características de armazenamento de cada local. Exemplos de características de armazenamento incluem: acesso compartilhável, tamanho de arquivo, taxa de crescimento, throughput, IOPS, latência, padrões de acesso e persistência dos dados. Use essas características para avaliar se os serviços de armazenamento de blocos, arquivos, objetos ou instâncias são a solução mais eficiente para suas necessidades de armazenamento.

Resultado desejado: identifique e documente os requisitos para cada armazenamento e avalie as soluções de armazenamento disponíveis. Com base nas principais características de armazenamento, sua equipe vai entender como os serviços de armazenamento selecionados vão beneficiar o desempenho de sua workload. Os principais critérios incluem os padrões de acesso aos dados, a taxa de crescimento, as necessidades de escalabilidade e os requisitos de latência.

Antipadrões comuns:

  • Você só usa um tipo de armazenamento, como o Amazon Elastic Block Store (Amazon EBS), para todas as workloads.

  • Você pressupõe que todas as cargas de trabalho têm requisitos semelhantes de performance de acesso ao armazenamento.

Benefícios do estabelecimento desta prática recomendada: selecionar a solução de armazenamento com base nas características identificadas e necessárias vai ajudar você a melhorar a performance de suas workloads, reduzir os custos e diminuir os esforços operacionais para manter a workload. A performance de sua workload vai se beneficiar da solução, da configuração e do local do serviço de armazenamento.

Nível de risco exposto se esta prática recomendada não for estabelecida: Alto

Orientação de implementação

Identifique as métricas de performance de armazenamento mais importantes da sua carga de trabalho e implemente melhorias como parte de uma abordagem impulsionada por dados, usando testes comparativos ou testes de carga. Use esses dados para identificar em que ponto sua solução de armazenamento é restrita e examinar as opções de configuração que possam melhorar a solução. Determine a taxa de crescimento esperada para sua carga de trabalho e escolha uma solução de armazenamento que atenda a essas taxas. Pesquise as ofertas de armazenamento da AWS para determinar a solução de armazenamento correta para as necessidades de sua workload. O provisionamento de soluções de armazenamento na AWS aumenta a oportunidade para você testar ofertas de armazenamento e determinar se são adequadas para as necessidades de sua workload.

Serviço da AWS Características principais Casos de uso comum
Amazon S3

99,999999999% de durabilidade, crescimento ilimitado, acessível de qualquer lugar, vários modelos de custo baseados em acesso e resiliência.

Dados de aplicações nativas de nuvem, arquivamento de dados, backups, análises, data lakes, hospedagem de site estático, dados de IoT.

Amazon S3 Glacier

Latência de segundos a horas, crescimento ilimitado, menor custo, armazenamento de longo prazo.

Arquivamento de dados, arquivos de mídia, retenção de backup de longo prazo.
Amazon EBS O tamanho do armazenamento requer gerenciamento e monitoramento, baixa latência, armazenamento persistente, 99,8% a 99,9% de durabilidade, a maioria dos tipos de volume só podem ser acessados de uma instância do EC2.

Aplicações COTS, aplicações com uso intenso de E/S, bancos de dados relacionais e NoSQL, backup e recuperação.
Armazenamento de instâncias do EC2

Tamanho de armazenamento predeterminado, menor latência, sem persistência, acessível somente de uma instância do EC2.

Aplicações COTS, aplicações com uso intenso de E/S, datastore na memória.
Amazon EFS

99,999999999% de durabilidade, crescimento ilimitado, acessível de vários serviços de computação.

Aplicações modernas compartilhando arquivos entre vários serviços de computação, armazenamento de arquivos para dimensionamento de sistemas de gerenciamento de conteúdo.
Amazon FSx

Compatível com quatro sistemas de arquivos (NetApp, OpenZFS, Windows File Server e Amazon FSx for Lustre), o armazenamento disponível varia de acordo com o sistema de arquivos, acessível de vários serviços de computação.

Workloads nativas de nuvem, expansão na nuvem privada, workloads migradas que exigem um sistema de arquivos específico, VMC, sistemas de ERP, backups e armazenamento de arquivos on-premises.

Família Snow

Dispositivos portáteis, criptografia de 256 bits, endpoint NFS, computação integrada, TBs de armazenamento.

Migração de dados para a nuvem, armazenamento e computação em condições on-premises extremas, recuperação de desastres, coleta de dados remota.
AWS Storage Gateway

Oferece acesso on-premises de baixa latência ao armazenamento com backup na nuvem, cache on-premises totalmente gerenciado.

Migrações de dados on-premises para a nuvem, preenchimento de data lakes na nuvem usando origens on-premises, compartilhamento de dados modernizado.

Etapas da implementação:

  1. use testes de carga ou benchmarking para coletar as principais características de suas necessidades de armazenamento. As principais características incluem:

    1. Compartilhável (quais componentes acessam esse armazenamento)

    2. Taxa de crescimento

    3. Taxa de transferência

    4. Latência

    5. Tamanho de E/S

    6. Durabilidade

    7. Padrões de acesso (leituras vs. gravações, frequência, com picos ou consistente)

  2. Identifique o tipo de solução de armazenamento compatível com as características do seu armazenamento.

    1. Amazon S3 é um serviço de armazenamento de objetos com escalabilidade ilimitada, alta disponibilidade e várias opções de acessibilidade. A transferência e o acesso a objetos dentro e fora do Amazon S3 podem usar um serviço, como Aceleração de Transferências ou Pontos de Acesso , para oferecer suporte ao seu local, necessidades de segurança e padrões de acesso. Use a ferramenta de recomendações do diretrizes de performance do Amazon S3 para ajudar você a otimizar sua configuração do Amazon S3 e atender às necessidades de performance da workload.

    2. Amazon S3 Glacier é uma classe de armazenamento do Amazon S3 desenvolvida para arquivamento de dados. Você pode escolher entre três soluções de arquivamento com acesso que varia de milissegundos até 5 a 12 horas com diversas opções de custo e segurança. O Amazon S3 Glacier pode ajudar você a cumprir os requisitos de performance ao implementar um ciclo de vida de dados que ofereça suporte aos seus requisitos de negócios e características de dados.

    3. Amazon Elastic Block Store (Amazon EBS) é um serviço de armazenamento de blocos de alta performance projetado para o Amazon Elastic Compute Cloud (Amazon EC2). Você pode escolher entre soluções baseadas em SSD ou HDD com características diferentes que priorizam IOPS ou throughput. Os volumes do EBS são adequados para workloads de alta performance, armazenamento primário para sistemas de arquivos, bancos de dados ou aplicações que só podem acessar sistemas de estágio associado.

    4. Armazenamento de instâncias do Amazon EC2 é semelhante ao Amazon EBS já que se associa a uma instância do Amazon EC2, mas o armazenamento de instância é apenas um armazenamento temporário que, idealmente, deve ser usado como buffer, cache ou outro conteúdo temporário. Não é possível desassociar um armazenamento de instância e todos os dados serão perdidos se a instância for encerrada. Armazenamentos de instâncias podem ser usados para casos de uso de alta performance de E/S e baixa latência em que os dados não precisam persistir.

    5. Amazon Elastic File System (Amazon EFS) é um sistema de arquivos montável que pode ser acessado por diversos tipos de soluções de computação. O Amazon EFS aumenta e reduz automaticamente o armazenamento e sua performance é otimizada para oferecer latências baixas de maneira consistente. O EFS tem dois modos de configuração de performance: Propósito geral e E/S Máx. Propósito geral tem latência de leitura inferior a milissegundo e latência de gravação que nunca chega a 10 milissegundos. O recurso E/S Máx. oferece suporte a milhares de instâncias de computação que exigem um sistema de arquivos compartilhado. O Amazon EFS oferece suporte a dois modos de throughput: expansão e provisionada. Uma workload que tem um padrão de acesso com picos vai se beneficiar do modo de throughput de expansão, enquanto uma workload consistentemente alta tem melhor performance com o modo de throughput provisionada.

    6. Amazon FSx se baseia nas soluções de computação mais recentes da AWS para oferecer suporte a quatro sistemas de arquivos comumente usados: NetApp ONTAP, OpenZFS, Windows File Server e Lustre. A latência, throughput e IOPS do Amazon FSx variam de acordo com o sistema de arquivos e devem ser consideradas ao selecionar o sistema de arquivos certo para as necessidades de sua workload.

    7. AWS Snow Family consiste em dispositivos de armazenamento e computação que oferecem suporte à migração de dados online e offline para a nuvem, além de armazenamento de dados e computação on-premises. Os dispositivos AWS Snow oferecem suporte à coleta de grandes quantidades de dados on-premises, processamento desses dados e movimentação desses dados para a nuvem. Há diversas práticas recomendadas e documentadas sobre performance no que se refere a número de arquivos, tamanhos de arquivos e compressão.

    8. AWS Storage Gateway oferece a aplicações on-premises acesso ao armazenamento baseado em nuvem. O AWS Storage Gateway é compatível com vários serviços de armazenamento em nuvem, incluindo Amazon S3, Amazon S3 Glacier, Amazon FSx e Amazon EBS. Ele oferece suporte a diversos protocolos, como iSCSI, SMB e NFS. Oferece performance de baixa latência ao armazenar em cache os dados acessados com frequência on-premises e só envia dados alterados e comprimidos à AWS.

  3. Depois de experimentar a nova solução de armazenamento e identificar a configuração ideal, planeje a migração e valide as métricas de performance. Esse processo é contínuo e deve ser reavaliado quando houver mudança em características importantes ou quando os serviços e as opções disponíveis mudarem.

Nível de esforço do plano de implementação: Se uma workload estiver sendo movida de uma solução de armazenamento para outra, poderá haver um nível moderado de esforço envolvido na refatoração da aplicação.  

Recursos

Documentos relacionados:

Vídeos relacionados:

Exemplos relacionados: