Compressão de dados do Lustre

Você pode usar o recurso de compactação de Lustre dados para economizar em seus sistemas de arquivos e armazenamento de backup Amazon FSx for Lustre de alto desempenho. Quando a compactação de dados está ativada, o Amazon FSx for Lustre compacta automaticamente os arquivos recém-gravados antes de serem gravados no disco e os descompacta automaticamente quando são lidos.

A compactação de dados usa o LZ4 algoritmo, que é otimizado para fornecer altos níveis de compactação sem afetar adversamente o desempenho do sistema de arquivos. LZ4 é um algoritmo Lustre confiável para a comunidade e orientado ao desempenho que fornece um equilíbrio entre a velocidade de compactação e o tamanho do arquivo compactado. A habilitação da compactação de dados, normalmente, não tem um impacto mensurável na latência.

A compactação de dados reduz a quantidade de dados que é transferida entre os servidores de arquivos e o armazenamento do Amazon FSx for Lustre. Se você ainda não estiver usando formatos de arquivos compactados, visualizará um aumento na capacidade de throughput geral do sistema de arquivos ao usar a compactação de dados. Os aumentos na capacidade de throughput que estão relacionados à compactação de dados serão limitados depois que você tiver saturado as placas de interface da rede de front-end.

Por exemplo, se seu sistema de arquivos for do tipo de implantação de SSD PERSISTENT-50, a taxa de transferência da rede terá uma linha de base de 250 por MBps TiB de armazenamento. Sua taxa de transferência de disco tem uma linha de base de 50 por MBps TiB. Com a compactação de dados, a taxa de transferência do disco pode aumentar de 50 MBps por TiB para um máximo de 250 MBps por TiB, que é o limite básico da taxa de transferência da rede. Para obter mais informações sobre os limites de throughput da rede e do disco, consulte as tabelas de performance do sistema de arquivos em Características de desempenho das classes de armazenamento SSD e HDD. Para obter mais informações sobre o desempenho da compactação de dados, consulte a publicação Spend less while increasing performance with Amazon FSx for Lustre data compression no blog de armazenamento da AWS .

Como gerenciar a compactação de dados

Você pode ativar ou desativar a compactação de dados ao criar um novo sistema de arquivos Amazon FSx for Lustre. A compactação de dados é desativada por padrão quando você cria um sistema de arquivos Amazon FSx for Lustre a partir do console ou da API. AWS CLI

{

    "FileSystems": [
        {
            "OwnerId": "111122223333",
            "CreationTime": 1549310341.483,
            "FileSystemId": "fs-0123456789abcdef0",
            "FileSystemType": "LUSTRE",
            "FileSystemTypeVersion": "2.12",
            "Lifecycle": "CREATING",
            "StorageCapacity": 3600,
            "VpcId": "vpc-123456",
            "SubnetIds": [
                "subnet-123456"
            ],
            "NetworkInterfaceIds": [
                "eni-039fcf55123456789"
            ],
            "DNSName": "fs-0123456789abcdef0.fsx.us-east-2.amazonaws.com",
            "ResourceARN": "arn:aws:fsx:us-east-2:123456:file-system/fs-0123456789abcdef0",
            "Tags": [
                {
                    "Key": "Name",
                    "Value": "Lustre-TEST-1"
                }
            ],
            "LustreConfiguration": {
                "DeploymentType": "PERSISTENT_1",
                "DataCompressionType": "LZ4",
                "PerUnitStorageThroughput": 50
            }
        }
    ]
}

Você também pode alterar a configuração de compactação de dados dos sistemas de arquivos existentes. Ao ativar a compactação de dados para um sistema de arquivos existente, somente os arquivos gravados recentemente são compactados e os arquivos existentes não são compactados. Para obter mais informações, consulte Compactação de arquivos gravados anteriormente.

$ aws fsx update-file-system \
    --file-system-id fs-0123456789abcdef0 \
    --lustre-configuration DataCompressionType=LZ4

Configuração de compactação de dados ao criar um sistema de arquivos usando um backup

Você pode usar um backup disponível para criar um novo sistema de arquivos Amazon FSx for Lustre. Ao criar um novo sistema de arquivos usando o backup, não há necessidade de especificar o DataCompressionType, pois a configuração será aplicada usando a configuração DataCompressionType do backup. Se você optar por especificar o DataCompressionType ao criar usando o backup, o valor deverá corresponder à configuração DataCompressionType do backup.

Para visualizar as configurações de um backup, escolha-o na guia Backups do FSx console da Amazon. Os detalhes do backup serão listados na página Resumo para o backup. Você também pode executar o describe-backups AWS CLI comando (a ação equivalente da API é DescribeBackups).

Compactação de arquivos gravados anteriormente

Os arquivos são descompactados se tiverem sido criados quando a compactação de dados foi desativada no sistema de arquivos Amazon FSx for Lustre. Ativar a compactação de dados não compactará automaticamente os dados descompactados existentes.

É possível usar o comando lfs_migrate que foi instalado como uma parte da instalação do cliente do Lustre para compactar arquivos existentes. Para obter um exemplo, consulte FSxL-Compression, que está disponível em. GitHub

Visualização de tamanhos de arquivos

É possível usar os comandos apresentados a seguir para visualizar os tamanhos descompactados e compactados de seus arquivos e diretórios.

Os exemplos apresentados a seguir mostram a saída de cada comando com base no mesmo arquivo.

$ du -sh samplefile
272M	samplefile
$ du -sh --apparent-size samplefile
1.0G	samplefile
$ ls -lh samplefile
-rw-r--r-- 1 root root 1.0G May 10 21:16 samplefile

A opção -h é útil para esses comandos porque imprime tamanhos em um formato legível por humanos.

Usando CloudWatch métricas

Você pode usar CloudWatch as métricas do Amazon Logs para visualizar o uso do seu sistema de arquivos. A métrica LogicalDiskUsage mostra o uso total do disco lógico (sem compactação) e a métrica PhysicalDiskUsage mostra o uso total do disco físico (com compactação). Essas duas métricas estarão disponíveis somente se o seu sistema de arquivos tiver a compactação de dados habilitada ou já a tiver habilitado.

Você pode determinar a taxa de compactação do sistema de arquivos ao dividir a Sum da estatística LogicalDiskUsage pela Sum da estatística PhysicalDiskUsage.

Para obter mais informações sobre como monitorar a performance do sistema de arquivos, consulte Monitorando a Amazon FSx para sistemas de arquivos Lustre.