Desempenho e otimização - AWS Storage Gateway
Orientação básica de desempenho para o Gateway de Arquivos do FSxComo otimizar o desempenho de um gateway

O Amazon FSx File Gateway não está mais disponível para novos clientes. Os clientes existentes do FSx File Gateway podem continuar usando o serviço normalmente. Para recursos semelhantes ao FSx File Gateway, visite esta postagem do blog.

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Desempenho e otimização

Esta seção descreve orientações e práticas recomendadas para otimizar o desempenho do Gateway de Arquivos.

Tópicos

Orientação básica de desempenho para o Gateway de Arquivos do FSx

Nesta seção, você pode encontrar orientações de provisionamento de hardware para sua VM do Gateway de Arquivos do FSx. As configurações de instâncias que estão listadas na tabela são exemplos fornecidos apenas para referência.

Para obter melhor desempenho, o tamanho do disco de cache deve ser ajustado ao tamanho do conjunto de trabalho ativo. Usar vários discos locais para o cache aumenta o desempenho de gravação ao paralelizar acesso a dados e gera IOPS maior.

nota

Não recomendamos o uso do armazenamento temporário. Para obter informações sobre como usar o armazenamento temporário, consulte Usando armazenamento temporário com gateways EC2 .

O limite de tamanho sugerido para diretórios individuais nos sistemas de arquivos que você conecta ao Gateway de Arquivos é de 10 mil arquivos por diretório. Você pode usar o Gateway de Arquivos para diretórios com mais de 10 mil arquivos, mas o desempenho pode ser afetado.

Nas tabelas a seguir, as operações de leitura de acertos de cache são leituras dos dados de arquivos que são feitas pelo cache. As operações de leitura de ausências no cache são leituras dos dados de arquivos que são feitas pelo Amazon FSx para Windows File Server.

A tabela a seguir mostra um exemplo de configuração do Gateway de Arquivos do FSx.

Desempenho do Gateway de Arquivos do FSx em clientes Windows

Configuração de exemplo Protocolo Throughput de gravação (arquivos de 1 GB) Throughput de leitura de acertos de cache Throughput de leitura de ausências no cache

Disco raiz: 80 GB, io1 SSD, 4.000 IOPs

Discos de cache: 2x NVME de 2 TiB

Desempenho mínimo da rede: 10 Gbps

CPU: 32 vCPU | RAM: 244 GB

 SMBv3: 1 thread 162 MiB/s (1,4 Gbps) 403 MiB/s (3,4 Gbps) 288 MiB/s (2,4 Gbps)
SMBv3: 8 threads 511 MiB/s (4,3 Gbps) 571 MiB/s (4,8 Gbps) 567 MiB/s (4,8 Gbps)
nota

Seu desempenho pode variar com base na configuração da plataforma de hospedagem e na largura de banda da rede. O desempenho do throughput de gravação diminui com o tamanho do arquivo, e o maior throughput possível para arquivos pequenos (até 32 MiB) é 16 arquivos por segundo.

Como otimizar o desempenho de um gateway

Você pode encontrar informações a seguir sobre como otimizar o desempenho de um gateway. A orientação para isso fundamenta-se na adição de recursos ao gateway e na adição de recursos ao servidor de aplicativos.

Como adicionar recursos ao seu gateway

Você pode otimizar o desempenho do gateway adicionando recursos ao seu gateway em uma ou mais das seguintes maneiras.

Use discos de desempenho superior

Para otimizar o desempenho do gateway, você pode adicionar discos de alto desempenho, como unidades de estado sólido (SSDs) e um controlador NVMe. Você pode também anexar discos virtuais diretamente à sua VM em uma rede de área de armazenamento (SAN), e não no NTFS do Microsoft Hyper-V. Um disco com melhor desempenho geralmente contribui para uma taxa de transferência mais alta e mais operações de entrada/saída por segundo (IOPS). Para obter informações sobre como adicionar discos, consulte Configurar armazenamento em cache adicional.

Para medir o throughput, use as métricas ReadBytes e WriteBytes com a estatística de Samples do Amazon CloudWatch. Por exemplo, a estatística Samples da métrica ReadBytes durante um período de amostra de 5 minutos divididos por 300 segundos fornece o IOPS. Como regra geral, ao analisar essas métricas para um gateway, procure taxas de transferência baixas e IOPS com baixas tendências para indicar gargalos relacionados ao disco.

nota

Não existem métricas do CloudWatch disponíveis para todos os gateways. Para obter informações sobre métricas de gateway, consulte Monitorando seu gateway de de FSx arquivos.

Adicione recursos de CPU ao host de seu gateway

O requisito mínimo para o servidor de host do gateway é quatro processadores virtuais. Para otimizar o desempenho do gateway, confirme se os quatro processadores virtuais atribuídos à VM do gateway contam com o suporte de quatro núcleos. Além disso, confirme se você não está comprometendo exageradamente as CPUs do servidor de host.

Ao adicionar mais CPUs ao servidor de host do gateway, você pode aumentar a capacidade de processamento do gateway. Isso permite que seu gateway lide paralelamente com o armazenamento de dados de sua aplicação no armazenamento local e o upload desses dados para o FSx para Windows File Server. As CPUs adicionais também ajudam a garantir que seu gateway tenha recursos de CPU suficientes quando o host for compartilhado com outras VMs. Ao fornecer recursos suficientes de CPU, o resultado de modo geral é a melhoria da taxa de transferência.

O Storage Gateway é compatível com até 24 CPUs no servidor de host do gateway. Você pode usar 24 CPUs para melhorar significativamente o desempenho de seu gateway. Recomendamos a seguinte configuração de gateway para o servidor de host do gateway:

  • 24 CPUs.

  • 16 GiB de RAM reservada para Gateways de Arquivos

    • 16 GiB de RAM reservada para gateways com tamanho de cache de até 16 TiB

    • 32 GiB de RAM reservada para gateways com tamanho de cache de 16 TiB a 32 TiB

    • 48 GiB de RAM reservada para gateways com tamanho de cache de 32 TiB a 64 TiB

  • Disco 1 anexado ao controlador paravirtual 1, para ser usado como cache do gateway da seguinte forma:

    • SSD com um controlador NVMe.

  • Adaptador de rede 1 configurado na rede 1 da VM:

    • Use a rede 1 da VM e adicione o VMXnet3 (10 Gbps) para ser usado para ingestão.

  • Adaptador de rede 2 configurado na rede 2 da VM:

    • Use a rede 2 da VM e adicione o VMXnet3 (10 Gbps) para ser usado conexão com a AWS.

Respalde os discos virtuais com discos físicos separados

Ao provisionar discos de gateway, é altamente recomendável não provisionar discos locais para armazenamento local que usam os mesmos recursos subjacentes de armazenamento físico. Por exemplo, para VMware ESXi, os recursos subjacentes de armazenamento físico são representados como armazenamento de dados. Ao implantar a VM do gateway, você escolhe um armazenamento de dados para armazenar os arquivos da VM. Ao provisionar um disco virtual (por exemplo, como buffer de upload), você pode armazenar o disco virtual no mesmo armazenamento de dados que a VM ou em outro armazenamento de dados distinto.

Se você tiver mais de um armazenamento de dados, é altamente recomendável escolher um armazenamento de dados para cada tipo de armazenamento local que você estiver criando. O armazenamento de dados que conta apenas com um disco físico subjacente pode apresentar um desempenho ruim. Um exemplo é quando você usa um disco para apoiar o armazenamento em cache e o buffer de upload em uma configuração de gateway. Da mesma forma, um armazenamento de dados que conta uma configuração de RAID de desempenho mais baixo, como RAID 1, pode apresentar um desempenho ruim.

Como adicionar recursos ao seu ambiente de aplicativos

Aumente a largura de banda entre o servidor de aplicativos e o gateway

Para otimizar o desempenho do gateway, confirme se a largura de banda da rede entre o aplicativo e o gateway pode atender às necessidades de seu aplicativo. É possível usar as métricas ReadBytes e WriteBytes do gateway para medir o total de throughput de dados.

Para seu aplicativo, compare a taxa de transferência medidas com a taxa de transferência desejada. Se a taxa de transferência medida for inferior à taxa de transferência desejada, a ampliação da largura de banda entre o aplicativo e o gateway pode melhorar o desempenho se a rede for o gargalo. Da mesma forma, você pode aumentar a largura de banda entre a VM e os discos locais, se eles não estiverem diretamente vinculados.

Adicione recursos de CPU ao seu ambiente de aplicativos

Se seu aplicativo puder usar outros recursos de CPU, adicionar mais CPUs pode ajudar seu aplicativo a dimensionar a respectiva carga de E/S.

Algumas operações de arquivo no Gateway de Arquivos do FSx, como renomeações de pastas de nível superior ou alterações de permissão, podem gerar várias operações de arquivo que ocasionam uma alta carga de E/S no sistema de arquivos do FSx para Windows File Server. Se o sistema de arquivos não tiver recursos de desempenho suficientes para sua workload, ele poderá excluir cópias de sombra porque prioriza a disponibilidade de E/S contínua em vez da retenção histórica de cópias paralelas.

No console do Amazon FSx, confira a página Monitoramento e desempenho para ver se o sistema de arquivos está subprovisionado. Se estiver, você poderá mudar para o armazenamento de SSD, aumentar a capacidade de throughput ou aumentar as IOPS do SSD para lidar com sua workload.