Compressão de dados do Lustre - FSx para Lustre
Como gerenciar a compactação de dadosCompactação de arquivos gravados anteriormenteVisualização de tamanhos de arquivosUsar métricas do Amazon CloudWatch

Compressão de dados do Lustre

É possível usar o recurso de compressão de dados do Lustre para obter economia de custos em sistemas de arquivos e armazenamentos de backup de alto desempenho do Amazon FSx para Lustre. Quando a compressão de dados está habilitada, o Amazon FSx para Lustre compacta os arquivos recém-gravados de maneira automática antes que eles sejam gravados no disco e os descompacta automaticamente quando são lidos.

A compactação de dados usa o algoritmo LZ4, que é otimizado para fornecer altos níveis de compactação sem afetar negativamente a desempenho do sistema de arquivos. O LZ4 é um algoritmo do Lustre de confiança por parte da comunidade e orientado a desempenho que fornece um equilíbrio entre a velocidade de compactação e o tamanho do arquivo compactado. A habilitação da compactação de dados, normalmente, não tem um impacto mensurável na latência.

A compactação de dados reduz a quantidade de dados que é transferida entre os servidores de arquivos e o armazenamento do Amazon FSx para Lustre. Se você ainda não estiver usando formatos de arquivos compactados, visualizará um aumento na capacidade de throughput geral do sistema de arquivos ao usar a compactação de dados. Os aumentos na capacidade de throughput que estão relacionados à compactação de dados serão limitados depois que você tiver saturado as placas de interface da rede de front-end.

Por exemplo, se o seu sistema de arquivos for do tipo de implantação PERSISTENT-50 baseado em SSD, o throughput da rede terá uma linha de base de 250 MBps por TiB de armazenamento. O throughput do disco tem uma linha de base de 50 MBps por TiB. Com a compactação de dados, o throughput do disco pode aumentar de 50 MBps por TiB para um máximo de 250 MBps por TiB, que é o limite de linha de base de throughput da rede. Para obter mais informações sobre os limites de throughput da rede e do disco, consulte as tabelas de desempenho do sistema de arquivos em Características de desempenho das classes de armazenamento SSD e HDD. Para obter mais informações sobre o desempenho da compactação de dados, consulte a publicação Spend less while increasing performance with Amazon FSx for Lustre data compression no blog de armazenamento da AWS.

Como gerenciar a compactação de dados

É possível ativar ou desativar a compactação de dados ao criar um novo sistema de arquivos do Amazon FSx para Lustre. A compactação de dados está desativada por padrão quando você cria um sistema de arquivos do Amazon FSx para Lustre usando o console, a AWS CLI ou a API.

  1. Abra o console do Amazon FSx em https://console.aws.amazon.com/fsx/.

  2. Siga o procedimento para a criação de um novo sistema de arquivos descrito na Etapa 1: criar o sistema de arquivos do FSx para Lustre na seção Conceitos básicos.

  3. Na seção Detalhes do sistema de arquivos, em Tipo de compactação de dados, escolha LZ4.

  4. Conclua o assistente da forma como você faz quando cria um novo sistema de arquivos.

  5. Selecione Review and create.

  6. Analise as configurações escolhidas para o sistema de arquivos do Amazon FSx para Lustre e, em seguida, escolha Criar sistema de arquivos.

Quando o sistema de arquivos estiver Disponível, a compactação de dados estará ativada.

  • Para criar um sistema de arquivos do FSx para Lustre com a compactação de dados ativada, use o comando create-file-system da CLI do Amazon FSx com o parâmetro DataCompressionType, conforme mostrado a seguir. A operação de API correspondente é CreateFileSystem.

    $ aws fsx create-file-system \
      --client-request-token CRT1234 \
      --file-system-type LUSTRE \
      --file-system-type-version 2.12 \
      --lustre-configuration DeploymentType=PERSISTENT_1,PerUnitStorageThroughput=50,DataCompressionType=LZ4 \
      --storage-capacity 3600 \
      --subnet-ids subnet-123456 \
      --tags Key=Name,Value=Lustre-TEST-1 \
      --region us-east-2

Após criar o sistema de arquivos com êxito, o Amazon FSx retorna a descrição do sistema de arquivos como JSON, conforme mostrado no exemplo a seguir.

{

    "FileSystems": [
        {
            "OwnerId": "111122223333",
            "CreationTime": 1549310341.483,
            "FileSystemId": "fs-0123456789abcdef0",
            "FileSystemType": "LUSTRE",
            "FileSystemTypeVersion": "2.12",
            "Lifecycle": "CREATING",
            "StorageCapacity": 3600,
            "VpcId": "vpc-123456",
            "SubnetIds": [
                "subnet-123456"
            ],
            "NetworkInterfaceIds": [
                "eni-039fcf55123456789"
            ],
            "DNSName": "fs-0123456789abcdef0.fsx.us-east-2.amazonaws.com",
            "ResourceARN": "arn:aws:fsx:us-east-2:123456:file-system/fs-0123456789abcdef0",
            "Tags": [
                {
                    "Key": "Name",
                    "Value": "Lustre-TEST-1"
                }
            ],
            "LustreConfiguration": {
                "DeploymentType": "PERSISTENT_1",
                "DataCompressionType": "LZ4",
                "PerUnitStorageThroughput": 50
            }
        }
    ]
}

Você também pode alterar a configuração de compactação de dados dos sistemas de arquivos existentes. Ao ativar a compactação de dados para um sistema de arquivos existente, somente os arquivos gravados recentemente são compactados e os arquivos existentes não são compactados. Para obter mais informações, consulte Compactação de arquivos gravados anteriormente.

  1. Abra o console do Amazon FSx em https://console.aws.amazon.com/fsx/.

  2. Acesse Sistemas de arquivos e escolha o sistema de arquivos do Lustre para o qual deseja gerenciar a compressão de dados.

  3. Em Ações, escolha Atualizar tipo de compactação de dados.

  4. Na caixa de diálogo Atualizar tipo de compactação de dados, escolha LZ4 para ativar a compactação de dados ou escolha NONE para desativá-la.

  5. Selecione Atualizar.

  6. Você pode monitorar o progresso da atualização na página de detalhes dos sistemas de arquivos na guia Atualizações.

Para atualizar a configuração de compactação de dados de um sistema de arquivos do FSx para Lustre existente, use o comando update-file-system da AWS CLI. Defina os seguintes parâmetros:

  • Defina --file-system-id como o ID do sistema de arquivos que está sendo atualizado.

  • Defina --lustre-configuration DataCompressionType como NONE para desativar a compactação de dados ou LZ4 para ativar a compactação de dados com o algoritmo LZ4.

Este comando especifica que a compactação de dados está ativada com o algoritmo LZ4.

$ aws fsx update-file-system \
    --file-system-id fs-0123456789abcdef0 \
    --lustre-configuration DataCompressionType=LZ4

Configuração de compactação de dados ao criar um sistema de arquivos usando um backup

É possível usar um backup disponível para criar um novo sistema de arquivos do Amazon FSx para Lustre. Ao criar um novo sistema de arquivos usando o backup, não há necessidade de especificar o DataCompressionType, pois a configuração será aplicada usando a configuração DataCompressionType do backup. Se você optar por especificar o DataCompressionType ao criar usando o backup, o valor deverá corresponder à configuração DataCompressionType do backup.

Para visualizar as configurações de um backup, escolha-o na guia Backups do console do Amazon FSx. Os detalhes do backup serão listados na página Resumo para o backup. Você também pode executar o comando describe-backups da AWS CLI (a ação de API equivalente é DescribeBackups).

Compactação de arquivos gravados anteriormente

Os arquivos serão descompactados se tiverem sido criados quando a compactação de dados estava desativada no sistema de arquivos do Amazon FSx para Lustre. Ativar a compactação de dados não compactará automaticamente os dados descompactados existentes.

É possível usar o comando lfs_migrate que foi instalado como uma parte da instalação do cliente do Lustre para compactar arquivos existentes. Para obter um exemplo, consulte FSxL-Compression que está disponível no GitHub.

Visualização de tamanhos de arquivos

É possível usar os comandos apresentados a seguir para visualizar os tamanhos descompactados e compactados de seus arquivos e diretórios.

  • du exibe tamanhos compactados.

  • du --apparent-size exibe tamanhos descompactados.

  • ls -l exibe tamanhos descompactados.

Os exemplos apresentados a seguir mostram a saída de cada comando com base no mesmo arquivo.

$ du -sh samplefile
272M	samplefile
$ du -sh --apparent-size samplefile
1.0G	samplefile
$ ls -lh samplefile
-rw-r--r-- 1 root root 1.0G May 10 21:16 samplefile

A opção -h é útil para esses comandos porque imprime tamanhos em um formato legível por humanos.

Usar métricas do Amazon CloudWatch

É possível usar as métricas do Amazon CloudWatch Logs para visualizar o seu uso do sistema de arquivos. A métrica LogicalDiskUsage mostra o uso total do disco lógico (sem compactação) e a métrica PhysicalDiskUsage mostra o uso total do disco físico (com compactação). Essas duas métricas estarão disponíveis somente se o seu sistema de arquivos tiver a compactação de dados habilitada ou já a tiver habilitado.

Você pode determinar a taxa de compactação do sistema de arquivos ao dividir a Sum da estatística LogicalDiskUsage pela Sum da estatística PhysicalDiskUsage.

Para obter mais informações sobre como monitorar a desempenho do sistema de arquivos, consulte Monitorar sistemas de arquivos do Amazon FSx para Lustre.