Como gerenciar desempenho de metadados - FSx para Lustre

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Como gerenciar desempenho de metadados

Usando o console, a API ou a AWS Command Line Interface (AWS CLI) do Amazon FSx, você pode atualizar a configuração de metadados do seu sistema de arquivos do FSx para Lustre sem interromper seus usuários finais ou aplicações. O procedimento de atualização aumenta o número de IOPS de metadados provisionadas para seu sistema de arquivos.

nota

Os metadados aprimorados estão disponíveis somente para sistemas de arquivos 2.15. Você pode aumentar o desempenho de metadados somente em sistemas de arquivos do FSx para Lustre criados com o tipo de implantação Persistent 2 e uma configuração de metadados especificada. Não será possível adicionar ou atualizar a configuração de metadados de um sistema de arquivos do FSx para Lustre se a configuração de metadados não for especificada no momento da sua criação. Isso também se aplica a sistemas de arquivos restaurados em backups de sistemas de arquivos de 2.12 não compatíveis com o desempenho aprimorado de metadados ou de sistemas de arquivos de 2.15 sem a configuração de metadados especificada.

O nível aprimorado de desempenho de metadados do seu sistema de arquivos estará disponível para uso em minutos. É possível atualizar o desempenho dos metadados a qualquer momento, desde que as solicitações de aumento do desempenho dos metadados tenham pelo menos 6 horas de intervalo. Ao escalar o desempenho de metadados, o sistema de arquivos poderá ficar indisponível por alguns minutos. As operações de arquivo emitidas pelos clientes enquanto o sistema de arquivos estiver indisponível serão repetidas de modo transparente e, eventualmente, serão concluídas com sucesso após a conclusão da escalabilidade do desempenho de metadados. Você receberá uma cobrança pelo novo aumento de desempenho de metadados depois que o aumento ficar disponível para você.

É possível acompanhar o progresso de um aumento de desempenho de metadados a qualquer momento usando o console, a CLI e a API do Amazon FSx. Para obter mais informações, consulte Monitorar atualizações de configuração de metadados.

Configuração de desempenho de metadados do Lustre

O número de IOPS de metadados provisionadas determina a taxa máxima de operações de metadados passível de atendimento pelo sistema de arquivos.

Ao criar o sistema de arquivos, você escolhe um modo de configuração de metadados:

  • Em sistemas de arquivos de SSD, escolha o modo Automátivo se quiser que o Amazon FSx provisione e escale automaticamente as IOPS de metadados em seu sistema de arquivos com base na capacidade de armazenamento do sistema de arquivos. Observe que o modo automátivo não é compatível com sistemas de arquivos de Intelligent-Tiering.

  • Para sistemas de arquivos de SSD, você pode escolher a opção Provisionado pelo usuário se quiser especificar o número de IOPS de metadados a ser provisionado para seu sistema.

  • Para sistemas de arquivos de Intelligent-Tiering, você deve escolher o modo provisionado pelo usuário. Com o modo Provisionado pelo usuário, você pode especificar o número de IOPS de metadados a ser provisionado para seu sistema.

Nos sistemas de arquivos de SSD, é possível alternar do modo Automático para o modo Provisionado pelo usuário a qualquer momento. Você também pode alternar do modo Provisionado pelo usuário para o modo Automático se o número de IOPS de metadados provisionadas em seu sistema de arquivos corresponder ao número padrão de IOPS de metadados provisionadas no modo Automático. Os sistemas de arquivos de Intelligent-Tiering oferecem suporte somente ao modo provisionado pelo usuário, portanto, você não pode alternar entre os modos de configuração de metadados.

Os valores válidos de IOPS de metadados são os seguintes:

  • Em sistemas de arquivos de SSD, os valores válidos de IOPS de metadados são 1.500, 3 mil, 6 mil e múltiplos de 12 mil, até um máximo de 192 mil.

  • Para sistemas de arquivos de Intelligent-Tiering, os valores válidos de IOPS de metadados são 6 mil e 12 mil.

Se o desempenho de metadados de sua workload exceder o número de IOPS de metadados provisionadas no modo Automático, você poderá usar o modo provisionado pelo usuário para aumentar o valor de IOPS de metadados para seu sistema de arquivos.

É possível visualizar o valor atual da configuração do servidor de metadados do sistema de arquivos da seguinte forma:

  • Usando o console: no painel Resumo da página de detalhes do sistema de arquivos, o campo IOPS de metadados mostra o valor atual das IOPS de metadados provisionadas e o modo de configuração de metadados atual do sistema de arquivos.

  • Ao usar a CLI ou a API: use o comando describe-file-systems da CLI ou a operação de API DescribeFileSystems e procure pela propriedade MetadataConfiguration.

Considerações ao aumentar o desempenho de metadados

Aqui estão algumas considerações importantes ao aumentar o desempenho de metadados:

  • Somente aumento no desempenho de metadados: você só pode aumentar o número de IOPS de metadados para um sistema de arquivos, não sendo possível diminuir o número de IOPS de metadados.

  • Não é possível especificar as IOPS de metadados no modo Automático: você não pode especificar o número de IOPS de metadados em um sistema de arquivos que esteja no modo Automático. Você precisará alternar para o modo Provisionado pelo usuário e, em seguida, fazer a solicitação. Para obter mais informações, consulte Como alterar o modo de configuração de metadados.

  • IOPS de metadados para dados gravadas antes de escalar: ao escalar as IOPS de metadados além de 12 mil, o FSx para Lustre adiciona novos servidores de metadados ao seu sistema de arquivos. Os novos metadados são distribuídos automaticamente em todos os servidores para melhorar o desempenho. No entanto, os metadados e subdiretórios existentes criados antes de escalar permanecem nos servidores de origem, sem aumento nas IOPS de metadados.

  • Tempo entre os aumentos: não é possível fazer mais aumentos do desempenho de metadados em um sistema de arquivos até 6 horas após a solicitação do último aumento.

  • Aumentos simultâneos do desempenho de metadados e do armazenamento SSD: você não pode escalar o desempenho de metadados e a capacidade de armazenamento do sistema de arquivos simultaneamente.

Quando aumentar desempenho de metadados

Aumente o número de IOPS de metadados quando precisar executar workloads que exijam níveis mais altos de desempenho de metadados do que o nível provisionado por padrão em seu sistema de arquivos. Você pode monitorar o desempenho dos metadados no Console de gerenciamento da AWS usando o gráfico Metadata IOPS Utilization que apresenta a porcentagem do desempenho do servidor de metadados provisionado que você está consumindo no seu sistema de arquivos.

Também é possível monitorar o desempenho dos metadados usando métricas mais granulares do CloudWatch. As métricas do CloudWatch incluem DiskReadOperations e DiskWriteOperations, que fornecem o volume de operações do servidor de metadados que exigem E/S de disco, bem como métricas granulares para operações de metadados, incluindo criação de arquivos e diretórios, estatísticas, leituras e exclusões. Para obter mais informações, consulte Métricas de metadados do FSx para Lustre.