Performance e otimização - AWS Storage Gateway

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Performance e otimização

Esta seção descreve orientações e práticas recomendadas para otimizar a performance do Gateway de Arquivos.

Orientação básica de performance para o Gateway de Arquivos do S3

Nesta seção, você pode encontrar orientações para o provisionamento de hardware para sua VM do Gateway de Arquivos do S3. As configurações de instâncias que estão listados na tabela são exemplos e são fornecidas para referência.

Para obter melhor desempenho, o tamanho do disco de cache deve ser ajustado ao tamanho do conjunto de trabalho ativo. Usar vários discos locais para o cache aumenta o desempenho de gravação ao paralelizar acesso a dados e gera IOPS maior.

nota

Não recomendamos o uso do armazenamento temporário. Para obter informações sobre como usar o armazenamento temporário, consulte Usando armazenamento temporário com gateways EC2 .

Para instâncias do Amazon EC2, se você tiver mais de 5 milhões de objetos no seu bucket do S3 e estiver usando um volume SSD de uso geral, será necessário um volume mínimo de EBS raiz de 350 GiB para a performance aceitável do seu gateway durante a inicialização. Para obter informações sobre como aumentar o tamanho do volume, consulte Modificar um volume do EBS usando volumes elásticos (console).

O limite de tamanho sugerido para diretórios individuais nos compartilhamentos de arquivos que você conecta ao Gateway de Arquivos é de 10 mil arquivos por diretório. Você pode usar o Gateway de Arquivos com diretórios com mais de 10 mil arquivos, mas a performance pode ser afetada.

Nas tabelas a seguir, as operações de leitura de ocorrência de cache são leituras dos compartilhamentos de arquivos que são feitas pelo cache. As operações de leitura de solicitações não atendidas pelo cache são leituras dos compartilhamentos de arquivos que são feitas pelo Amazon S3.

As tabelas a seguir mostram exemplos de configurações do Gateway de Arquivos do S3.

Performance do Gateway de Arquivos do S3 em clientes Linux

Exemplos de configuração Protocolo Throughput de gravação (tamanhos de arquivos 1 GB) Throughput de leitura de ocorrência de cache Throughput de leitura de solicitações não atendidas pelo cache

Disco raiz: 80 GB, io1 SSD, 4.000 IOPs

Disco de cache: caches de 512 GiB, io1, 1.500 IOPS provisionadas

Desempenho mínimo da rede: 10 Gbps

CPU: 16 vCPU | RAM: 32 GB

Protocolo NFS recomendado para Linux

NFSv3: 1 encadeamento 110 MiB/s (0,92 Gbps) 590 MiB/s (4,9 Gbps) 310 MiB/s (2,6 Gbps)
NFSv3: 8 encadeamentos 160 MiB/s (1,3 Gbps) 590 MiB/s (4,9 Gbps) 335 MiB/s (2,8 Gbps)
NFSv4: 1 encadeamento 130 MiB/s (1,1 Gbps) 590 MiB/s (4,9 Gbps) 295 MiB/s (2,5 Gbps)
NFSv4: 8 encadeamentos 160 MiB/s (1,3 Gbps) 590 MiB/s (4,9 Gbps) 335 MiB/s (2,8 Gbps)
SMBV3: 1 encadeamento 115 MiB/s (1,0 Gbps) 325 MiB/s (2,7 Gbps) 255 MiB/s (2,1 Gbps)
SMBV3: 8 encadeamentos 190 MiB/s (1,6 Gbps) 590 MiB/s (4,9 Gbps) 335 MiB/s (2,8 Gbps)

Dispositivo de hardware do Storage Gateway

Desempenho mínimo da rede: 10 Gbps

NFSv3: 1 encadeamento 265 MiB/s (2,2 Gbps) 590 MiB/s (4,9 Gbps) 310 MiB/s (2,6 Gbps)
NFSv3: 8 encadeamentos 385 MiB/s (3,1 Gbps) 590 MiB/s (4,9 Gbps) 335 MiB/s (2,8 Gbps)
NFSv4: 1 encadeamento 310 MiB/s (2,6 Gbps) 590 MiB/s (4,9 Gbps) 295 MiB/s (2,5 Gbps)
NFSv4: 8 encadeamentos 385 MiB/s (3,1 Gbps) 590 MiB/s (4,9 Gbps) 335 MiB/s (2,8 Gbps)
SMBV3: 1 encadeamento 275 MiB/s (2,4 Gbps) 325 MiB/s (2,7 Gbps) 255 MiB/s (2,1 Gbps)
SMBV3: 8 encadeamentos 455 MiB/s (3,8 Gbps) 590 MiB/s (4,9 Gbps) 335 MiB/s (2,8 Gbps)

Disco raiz: 80 GB, io1 SSD, 4.000 IOPs

Disco de cache: quatro discos de cache NVME de 2 TB.

Desempenho mínimo da rede: 10 Gbps

CPU: 32 vCPU | RAM: 244 GB

Protocolo NFS recomendado para Linux

NFSv3: 1 encadeamento 300 MiB/s (2,5 Gbps) 590 MiB/s (4,9 Gbps) 325 MiB/s (2,7 Gbps)
NFSv3: 8 encadeamentos 585 MiB/s (4,9 Gbps) 590 MiB/s (4,9 Gbps) 580 MiB/s (4,8 Gbps)
NFSv4: 1 encadeamento 355 MiB/s (3,0 Gbps) 590 MiB/s (4,9 Gbps) 340 MiB/s (2,9 Gbps)
NFSv4: 8 encadeamentos 575 MiB/s (4,8 Gbps) 590 MiB/s (4,9 Gbps) 575 MiB/s (4,8 Gbps)
SMBV3: 1 encadeamento 230 MiB/s (1,9 Gbps) 325 MiB/s (2,7 Gbps) 245 MiB/s (2,0 Gbps)
SMBV3: 8 encadeamentos 585 MiB/s (4,9 Gbps) 590 MiB/s (4,9 Gbps) 580 MiB/s (4,8 Gbps)

Performance do Gateway de Arquivos em clientes do Windows

Exemplos de configuração Protocolo Throughput de gravação (tamanhos de arquivos 1 GB) Throughput de leitura de ocorrência de cache Throughput de leitura de solicitações não atendidas pelo cache

Disco raiz: 80 GB, io1 SSD, 4.000 IOPs

Disco de cache: caches de 512 GiB, io1, 1.500 IOPS provisionadas

Desempenho mínimo da rede: 10 Gbps

CPU: 16 vCPU | RAM: 32 GB

Protocolo SMB recomendado para Windows

SMBV3: 1 encadeamento 150 MiB/s (1,3 Gbps) 180 MiB/s (1,5 Gbps) 20 MiB/s (0,2 Gbps)
SMBV3: 8 encadeamentos 190 MiB/s (1,6 Gbps) 335 MiB/s (2,8 Gbps) 195 MiB/s (1,6 Gbps)
NFSv3: 1 encadeamento 95 MiB/s (0,8 Gbps) 130 MiB/s (1,1 Gbps) 20 MiB/s (0,2 Gbps)
NFSv3: 8 encadeamentos 190 MiB/s (1,6 Gbps) 330 MiB/s (2,8 Gbps) 190 MiB/s (1,6 Gbps)

Dispositivo de hardware do Storage Gateway

Desempenho mínimo da rede: 10 Gbps

SMBV3: 1 encadeamento 230 MiB/s (1,9 Gbps) 255 MiB/s (2,1 Gbps) 20 MiB/s (0,2 Gbps)
SMBV3: 8 encadeamentos 835 MiB/s (7,0 Gbps) 475 MiB/s (4,0 Gbps) 195 MiB/s (1,6 Gbps)
NFSv3: 1 encadeamento 135 MiB/s (1,1 Gbps) 185 MiB/s (1,6 Gbps) 20 MiB/s (0,2 Gbps)
NFSv3: 8 encadeamentos 545 MiB/s (4,6 Gbps) 470 MiB/s (4,0 Gbps) 190 MiB/s (1,6 Gbps)

Disco raiz: 80 GB, io1 SSD, 4.000 IOPs

Disco de cache: quatro discos de cache NVME de 2 TB.

Desempenho mínimo da rede: 10 Gbps

CPU: 32 vCPU | RAM: 244 GB

Protocolo SMB recomendado para Windows

SMBV3: 1 encadeamento 230 MiB/s (1,9 Gbps) 265 MiB/s (2,2 Gbps) 30 MiB/s (0,3 Gbps)
SMBV3: 8 encadeamentos 835 MiB/s (7,0 Gbps) 780 MiB/s (6,5 Gbps) 250 MiB/s (2,1 Gbps)
NFSv3: 1 encadeamento 135 MiB/s (1,1 Gbps) 220 MiB/s (1,8 Gbps) 30 MiB/s (0,3 Gbps)
NFSv3: 8 encadeamentos 545 MiB/s (4,6 Gbps) 570 MiB/s (4,8 Gbps) 240 MiB/s (2,0 Gbps)
nota

Seu desempenho pode variar com base na configuração da plataforma de hospedagem e na largura de banda da rede. A performance do throughput de gravação diminui com o tamanho do arquivo, com o maior throughput possível para arquivos pequenos (menos de 32 MiB) sendo 16 arquivos por segundo.

Orientação de performance para gateways com vários compartilhamentos de arquivos

O Gateway de Arquivos do Amazon S3 comporta a anexação de até cinquenta compartilhamentos de arquivos a um único dispositivo do Storage Gateway. Ao adicionar vários compartilhamentos de arquivos por gateway, você pode comportar mais usuários e workloads enquanto gerencia menos gateways e recursos de hardware virtual. Além de outros fatores, o número de compartilhamentos de arquivos gerenciados por um gateway pode afetar a performance desse gateway. Esta seção descreve como se espera que a performance do gateway mude dependendo do número de compartilhamentos de arquivos anexados e recomenda configurações de hardware virtual para otimizar a performance de gateways que gerenciam vários compartilhamentos.

Em geral, aumentar o número de compartilhamentos de arquivos gerenciados por um único Storage Gateway pode ter as seguintes consequências:

  • Maior tempo necessário para reiniciar o gateway.

  • Maior utilização de recursos de hardware virtual, como vCPU e RAM.

  • Diminuição da performance das operações de dados e metadados se os recursos de hardware virtual ficarem saturados.

A tabela a seguir lista as configurações recomendadas de hardware virtual para gateways que gerenciam vários compartilhamentos de arquivos:

Compartilhamentos de arquivos por gateway Configuração recomendada de capacidade do gateway Núcleos de vCPU recomendados RAM recomendada Tamanho recomendado do disco raiz

1 a 10

Pequeno

4 (tipo de instância do EC2 m4.xlarge ou posterior)

16 GiB

80 GiB

10 a 20

Médio

8 (tipo de instância do EC2 m4.2xlarge ou posterior)

32 GiB

160 GiB

20+

Grande

16 (tipo de instância do EC2 m4.4xlarge ou posterior)

64 GiB

240 GiB

Além das configurações de hardware virtual indicadas acima, recomendamos as seguintes práticas para configurar e manter dispositivos do Storage Gateway que gerenciam vários compartilhamentos de arquivos:

  • Pense que o relacionamento entre o número de compartilhamentos de arquivos e a demanda colocada no hardware virtual do gateway não é necessariamente linear. Alguns compartilhamentos de arquivos podem gerar maior throughput e, portanto, maior demanda de hardware do que outros. As recomendações na tabela anterior são baseadas nas capacidades máximas de hardware e em vários níveis de throughput de compartilhamento de arquivos.

  • Se você achar que adicionar vários compartilhamentos de arquivos a um único gateway reduz a performance, pense em transferir os mais ativos para outros gateways. Especificamente, se um compartilhamento de arquivos for usado para uma aplicação de throughput muito alto, pense em criar um gateway separado para ele.

  • Não recomendamos configurar um gateway para várias aplicações de alto throughput e outro para várias aplicações de baixo throughput. Em vez disso, tente distribuir uniformemente compartilhamentos de arquivos de alto e baixo throughput entre os gateways para equilibrar a saturação do hardware. Para medir o throughput do compartilhamento de arquivos, use as métricas ReadBytes e WriteBytes. Para acessar mais informações, consulte Noções básicas das métricas de compartilhamento de arquivos.