Gerenciamento do cache de leitura baseado em SSD provisionado - FSx para Lustre

Gerenciamento do cache de leitura baseado em SSD provisionado

Ao criar um sistema de arquivos com a classe de armazenamento de Intelligent-Tiering, você também tem a opção de provisionar um cache de leitura baseado em SSD que fornece latências de SSD para leituras de seus dados acessados com frequência, até 3 IOPS por GiB.

Você pode configurar seu cache de leitura SSD para dados acessados com frequência com uma dessas opções de modo de dimensionamento:

  • Automático (proporcional à capacidade de throughput). Com a opção Automática, o Amazon FSx para Lustre escolhe automaticamente um tamanho de cache de leitura com base na sua capacidade de throughput provisionada.

  • Personalizado (provisionado pelo usuário). Com o Custom, você pode personalizar o tamanho do seu cache de leitura SSD e aumentar a escala verticalmente ou redução da escala verticalmente a qualquer momento, com base nas necessidades da sua workload.

  • Escolha Nenhum cache se não quiser usar um cache de leitura de dados em SSD no seu sistema de arquivos.

No modo Automático (proporcional à capacidade de throughput), o Amazon FSx provisiona automaticamente o seguinte tamanho padrão de cache de leitura baseado na capacidade de throughput do seu sistema de arquivos.

Capacidade de throughput provisionada (MBps) Cache de leitura SSD no modo Automático (proporcional à capacidade de throughput) (GiB) Tamanho suportado do cache de leitura SSD

mínimo (GiB)

máximo (GiB)

A cada 4 mil 20000 32 131072

Assim que o sistema de arquivos for criado, será possível modificar o modo de dimensionamento e a capacidade de armazenamento do cache de leitura a qualquer momento.

Considerações ao atualizar o cache de leitura baseado em SSD

Aqui estão algumas considerações importantes ao modificar o cache de leitura de dados baseado em SSD:

  • Sempre que você modificar o cache de leitura do SSD, todo o seu conteúdo será apagado. Isso significa que é possível ver uma diminuição nos níveis de desempenho até que o cache de leitura baseado em SSD seja preenchido novamente.

  • É possível aumentar ou diminuir o tamanho da capacidade de leitura baseado em SSD. No entanto, você só pode fazer isso uma vez a cada seis horas. Não há restrição de tempo ao adicionar ou remover um cache de leitura SSD do seu sistema de arquivos.

  • Você deve aumentar ou diminuir o tamanho do cache de leitura do SSD em no mínimo 10% toda vez que modificá-lo.

Atualização de um cache de leitura baseado em SSD provisionado

Você pode atualizar a IOPS de SSD de um sistema de arquivos usando o console do Amazon FSx, a AWS CLI ou a API do Amazon FSx.

  1. Abra o console do Amazon FSx em https://console.aws.amazon.com/fsx/.

  2. No painel de navegação à esquerda, escolha Sistemas de arquivos. Na lista Sistemas de arquivos, escolha o sistema de arquivos do FSx para Lustre para o qual deseja atualizar o cache de leitura de SSD.

  3. SSD: No painel Resumo, escolha Atualizar ao lado do valor de Cache de leitura em SSD do sistema de arquivos.

    A caixa de diálogo Atualizar cache de leitura de SSD é exibida.

  4. Selecione o novo modo de dimensionamento que você gostaria para seu cache de leitura de dados, da seguinte forma:

    • Escolha Automático (proporcional à capacidade de throughput) para que seu cache de leitura de dados seja dimensionado automaticamente com base em sua capacidade de throughput.

    • Escolha Personalizado (provisionado pelo usuário) se você souber o tamanho aproximado do seu conjunto de dados e quiser personalizar seu cache de leitura de dados. Se você selecionar Personalizado, também precisará especificar a capacidade de cache de leitura desejada em GiB.

    • Escolha Nenhum se não quiser usar um cache de leitura de dados SSD no seu sistema de arquivos de Intelligent-Tiering.

  5. Selecione Atualizar.

Para atualizar o cache de leitura de dados SSD de um sistema de arquivos de Intelligent-Tiering, use o comando da AWS CLI update-file-system ou a ação equivalente na API UpdateFileSystem. Defina os seguintes parâmetros:

  • Defina --file-system-id como o ID do sistema de arquivos que está sendo atualizado.

  • Para modificar seu cache de leitura SSD, use a --lustre-configuration DataReadCacheConfiguration propriedade. Essa propriedade tem dois parâmetros, SizeGiB e SizingMode:

    • SizeGib: define o tamanho do cache de leitura de SSD em GiB ao usar o modo USER_PROVISIONED.

    • SizingMode: define o modo de dimensionamento do seu cache de leitura SSD.

      • Defina como NO_CACHE se você não quiser usar um cache de leitura SSD com seu sistema de arquivos Intelligent-Tiering.

      • Defina como USER_PROVISIONED para especificar o tamanho exato do seu cache de leitura SSD.

      • Configure PROPORTIONAL_TO_THROUGHPUT_CAPACITY para que seu cache de leitura de dados SSD seja dimensionado automaticamente com base na sua capacidade de throughput.

O exemplo a seguir atualiza o cache de leitura SSD para o modo USER_PROVISIONED e define o tamanho como 524.288 GiB.

aws fsx update-file-system \ --file-system-id fs-0123456789abcdef0 \ --lustre-configuration 'DataReadCacheConfiguration={SizeGiB=524288,SizingMode=USER_PROVISIONED}'

Para monitorar o progresso da atualização, use o comando de AWS CLI describe-file-systems. Procure a seção AdministrativeActions na saída.

Para obter mais informações, consulte AdministrativeAction na Referência de API do Amazon FSx.

Como monitorar atualizações do cache de leitura baseado em SSD

Você pode monitorar o progresso da atualização usando o console do Amazon FSx, a AWS CLI e a API.

Como monitorar as atualizações no console

Você pode monitorar as atualizações de sistemas de arquivos na guia Atualizações na página Detalhes do sistema de arquivos.

Para saber sobre atualizações de cache de leitura SSD, veja as informações a seguir:

Tipo de atualização

Os tipos compatíveis são o modo de dimensionamento do cache de leitura SSD e o tamanho do cache de leitura SSD.

Target value (Valor de destino

O valor atualizado do modo de dimensionamento do cache de leitura SSD do sistema de arquivos ou do tamanho do cache de leitura SSD.

Status

O status atual da atualização. Os valores possíveis são:

  • Pendente: o Amazon FSx recebeu a solicitação de atualização, mas não começou a processá-la.

  • Em andamento: o Amazon FSx está processando a solicitação de atualização.

  • Concluída: a atualização foi concluída com êxito.

  • Falha: a solicitação de atualização falhou. Escolha o ponto de interrogação (?) para ver os detalhes sobre o motivo da falha da solicitação.

Horário da solicitação

O horário em que o Amazon FSx recebeu a solicitação de ação de atualização.

Como monitorar as atualizações de cache de leitura de SSD com a AWS CLI e a API

Você pode visualizar e monitorar solicitações de atualização de SSD do sistema de arquivos usando o comando describe-file-systems da AWS CLI e a operação da API DescribeFileSystems. A matriz AdministrativeActions lista as dez ações de atualização mais recentes para cada tipo de ação administrativa. Quando você atualiza o cache de leitura SSD de um sistema de arquivos, uma AdministrativeActions FILE_SYSTEM_UPDATE é gerada.

O exemplo apresentado a seguir mostra um trecho da resposta de um comando describe-file-systems da CLI. O sistema de arquivos tem uma ação administrativa pendente para alterar o modo de dimensionamento do SSD para USER_PROVISIONED e o tamanho do cache de leitura baseado em SSD para 524288.

"AdministrativeActions": [ { "AdministrativeActionType": "FILE_SYSTEM_UPDATE", "RequestTime": 1586797629.095, "Status": "PENDING", "TargetFileSystemValues": { "LustreConfiguration": { "DataReadCacheConfiguration": { "SizingMode": "USER_PROVISIONED" "SizeGiB": 524288, } } } } ]

Quando a nova configuração de cache de leitura em SSD estiver disponível para o sistema de arquivos, o status FILE_SYSTEM_UPDATE será alterado para COMPLETED. Se a solicitação de atualização do cache de leitura do SSD falhar, o status da ação FILE_SYSTEM_UPDATE mudará para FAILED.