Como gerenciar desempenho de metadados - FSx para Lustre

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Como gerenciar desempenho de metadados

Você pode atualizar a configuração de metadados do seu sistema de arquivos FSx for Lustre sem interromper seus usuários finais ou aplicativos usando o console da Amazon FSx , a FSx API da Amazon ou AWS Command Line Interface ().AWS CLI O procedimento de atualização aumenta o número de IOPS de metadados provisionadas para seu sistema de arquivos.

nota

Os metadados aprimorados estão disponíveis somente para sistemas de arquivos 2.15. Você pode aumentar o desempenho dos metadados somente nos sistemas FSx de arquivos Lustre criados com o tipo de implantação Persistent 2 e uma configuração de metadados especificada. Você não pode adicionar ou atualizar a configuração de metadados FSx para um sistema de arquivos do Lustre se a configuração de metadados não for especificada no momento da criação do sistema de arquivos. Isso também se aplica a sistemas de arquivos restaurados a partir de backups de sistemas de arquivos 2.12 que não suportavam desempenho aprimorado de metadados ou de sistemas de arquivos 2.15 que não tinham configuração de metadados especificada.

O nível aprimorado de desempenho de metadados do seu sistema de arquivos estará disponível para uso em minutos. É possível atualizar o desempenho dos metadados a qualquer momento, desde que as solicitações de aumento do desempenho dos metadados tenham pelo menos 6 horas de intervalo. Ao escalar o desempenho de metadados, o sistema de arquivos poderá ficar indisponível por alguns minutos. As operações de arquivo emitidas pelos clientes enquanto o sistema de arquivos estiver indisponível serão repetidas de modo transparente e, eventualmente, serão concluídas com sucesso após a conclusão da escalabilidade do desempenho de metadados. Você receberá uma cobrança pelo novo aumento de desempenho de metadados depois que o aumento ficar disponível para você.

Você pode acompanhar o progresso de um aumento de desempenho de metadados a qualquer momento usando o FSx console, a CLI e a API da Amazon. Para obter mais informações, consulte Monitorar atualizações de configuração de metadados.

Configuração de desempenho de metadados do Lustre

O número de IOPS de metadados provisionadas determina a taxa máxima de operações de metadados passível de atendimento pelo sistema de arquivos.

Ao criar o sistema de arquivos, você escolhe um modo de configuração de metadados:

  • Para sistemas de arquivos SSD, você pode escolher o modo Automático se quiser que FSx a Amazon provisione e escale automaticamente o IOPS de metadados em seu sistema de arquivos com base na capacidade de armazenamento do seu sistema de arquivos. Observe que os sistemas de arquivos Intelligent-Tiering não oferecem suporte ao modo automático.

  • Para sistemas de arquivos SSD, você pode escolher Provisionado pelo usuário se quiser especificar o número de IOPS de metadados a serem provisionados para seu sistema de arquivos.

  • Para sistemas de arquivos Intelligent-Tiering, você deve escolher o modo provisionado pelo usuário. Com o modo provisionado pelo usuário, você pode especificar o número de IOPS de metadados a serem provisionados para seu sistema de arquivos.

Em sistemas de arquivos SSD, você pode alternar do modo automático para o modo provisionado pelo usuário a qualquer momento. Você também pode alternar do modo Provisionado pelo usuário para o modo Automático se o número de IOPS de metadados provisionadas em seu sistema de arquivos corresponder ao número padrão de IOPS de metadados provisionadas no modo Automático. Os sistemas de arquivos de classificação inteligente em camadas oferecem suporte somente ao modo provisionado pelo usuário, portanto, você não pode alternar entre os modos de configuração de metadados.

Os valores válidos de IOPS de metadados são os seguintes:

  • Para sistemas de arquivos SSD, os valores válidos de IOPS de metadados são 1500, 3000, 6000 e múltiplos de 12.000 até um máximo de 192.000.

  • Para sistemas de arquivos Intelligent-Tiering, os valores válidos de IOPS de metadados são 6000 e 12000.

Se o desempenho de metadados de sua workload exceder o número de IOPS de metadados provisionadas no modo Automático, você poderá usar o modo provisionado pelo usuário para aumentar o valor de IOPS de metadados para seu sistema de arquivos.

É possível visualizar o valor atual da configuração do servidor de metadados do sistema de arquivos da seguinte forma:

  • Usando o console — No painel Resumo da página de detalhes do sistema de arquivos, o campo IOPS de metadados mostra o valor atual do IOPS de metadados provisionado e o modo atual de configuração de metadados do sistema de arquivos.

  • Usando a CLI ou a API — Use o comando describe-file-systemsCLI ou a operação da DescribeFileSystemsAPI e procure a propriedade. MetadataConfiguration

Considerações ao aumentar o desempenho de metadados

Aqui estão algumas considerações importantes ao aumentar o desempenho de metadados:

  • Somente aumento no desempenho de metadados: você só pode aumentar o número de IOPS de metadados para um sistema de arquivos, não sendo possível diminuir o número de IOPS de metadados.

  • Não é possível especificar as IOPS de metadados no modo Automático: você não pode especificar o número de IOPS de metadados em um sistema de arquivos que esteja no modo Automático. Você precisará alternar para o modo Provisionado pelo usuário e, em seguida, fazer a solicitação. Para obter mais informações, consulte Como alterar o modo de configuração de metadados.

  • IOPS de metadados para dados gravados antes do escalonamento — Ao escalar o IOPS de metadados além de 12000, o FSx for Lustre adiciona novos servidores de metadados ao seu sistema de arquivos. Os novos metadados são distribuídos automaticamente em todos os servidores para melhorar o desempenho. No entanto, os metadados e subdiretórios existentes criados antes do escalonamento permanecem nos servidores originais, sem aumento no IOPS de metadados.

  • Tempo entre os aumentos: não é possível fazer mais aumentos do desempenho de metadados em um sistema de arquivos até 6 horas após a solicitação do último aumento.

  • Aumentos simultâneos do desempenho de metadados e do armazenamento SSD: você não pode escalar o desempenho de metadados e a capacidade de armazenamento do sistema de arquivos simultaneamente.

Quando aumentar desempenho de metadados

Aumente o número de IOPS de metadados quando precisar executar workloads que exijam níveis mais altos de desempenho de metadados do que o nível provisionado por padrão em seu sistema de arquivos. Você pode monitorar o desempenho dos metadados no AWS Management Console usando o Metadata IOPS Utilization gráfico que fornece a porcentagem do desempenho do servidor de metadados provisionado que você está consumindo no seu sistema de arquivos.

Você também pode monitorar o desempenho dos metadados usando métricas mais granulares CloudWatch . CloudWatch as métricas incluem DiskReadOperations eDiskWriteOperations, que fornecem o volume de operações do servidor de metadados que exigem E/S de disco, bem como métricas granulares para operações de metadados, incluindo criação de arquivos e diretórios, estatísticas, leituras e exclusões. Para obter mais informações, consulte FSx para métricas de metadados do Lustre.