Práticas recomendadas para o Gateway de Arquivos - AWS Storage Gateway

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Práticas recomendadas para o Gateway de Arquivos

Esta seção contém os tópicos a seguir, que fornecem informações sobre as práticas recomendadas para trabalhar com gateways, compartilhamentos de arquivos, buckets e dados. Recomendamos que você se familiarize com as informações descritas nesta seção e tente seguir essas diretrizes para evitar problemas com o AWS Storage Gateway. Para obter orientação adicional sobre como diagnosticar e solucionar problemas comuns que você pode encontrar com sua implantação, consulte Solucionar problemas com a implantação do Storage Gateway.

Práticas recomendadas para a recuperação de dados

Ainda que isso seja raro, o gateway pode enfrentar uma falha irrecuperável. Essa falha pode ocorrer em sua máquina virtual (VM), no gateway em si, no armazenamento local ou em outro lugar. Se ocorrer uma falha, é recomendável seguir as instruções apropriadas na seção adiante para recuperar seus dados.

Importante

O Storage Gateway não suporta a recuperação de uma VM de gateway a partir de um snapshot criado pelo seu hipervisor ou pela Amazon EC2 Amazon Machine Image (AMI). Se a VM do gateway apresentar problemas, ative um novo gateway e recupere seus dados para esse gateway usando as instruções a seguir.

Como se recuperar de um caso de encerramento inesperado da máquina virtual

Se sua VM encerrar-se inesperadamente – por exemplo, durante uma queda de energia –, seu gateway ficará inacessível. Quando a energia e a conectividade de rede são restauradas, o gateway fica novamente acessível e começa a funcionar normalmente. Veja a seguir algumas medidas que você pode tomar em momentos como esse para ajudar a recuperar os dados:

  • Se uma interrupção provocar problemas de conectividade de rede, é possível solucionar esse problema. Para obter informações sobre como testar a conectividade de rede, consulte Como testar a conectividade de rede do gateway.

Como recuperar seus dados de um disco de cache com falha

Se seu disco de cache encontrar uma falha, é recomendável usar as etapas a seguir para recuperar seus dados, de acordo com sua situação:

  • Se a falha ocorreu porque um disco de cache foi removido do host, desligue o gateway, adicione novamente o disco e reinicie o gateway.

Como recuperar seus dados de um datacenter inacessível

Se seu gateway ou data center ficar inacessível por algum motivo, você poderá recuperar seus dados em outro gateway em um data center diferente ou recuperá-los em um gateway hospedado em uma EC2 instância da Amazon. Se você não tiver acesso a outro data center, recomendamos criar o gateway em uma EC2 instância da Amazon. As etapas que você segue dependem do tipo de gateway cujos dados você está cobrindo.

Como recuperar dados de um Gateway de Arquivos em um data center inacessível

Para o File Gateway, você mapeia um novo de de arquivos para o bucket Amazon S3 FSx que contém os dados que você deseja recuperar.

  1. Crie e ative um novo gateway de arquivos em um EC2 host da Amazon. Para obter mais informações, consulte Implemente um EC2 host padrão da Amazon para o S3 File Gateway.

  2. Crie um novo no EC2 gateway que você criou. Para obter mais informações, consulte Criar um compartilhamento de arquivos .

  3. Monte seu de compartilhamento de arquivos em seu cliente e mapeie-o para o bucket S3 FSx que contém os dados que você deseja recuperar. Para acessar mais informações, consulte Montar e usar seu compartilhamento de arquivos.

Práticas recomendadas: gerenciar multipart uploads

Quando você transfere arquivos grandes, o Gateway de Arquivos do S3 usa o recurso de multipart upload do Amazon S3 para dividir os arquivos em partes menores e transferi-los paralelamente para melhorar a eficiência. Para acessar mais informações sobre multipart upload, consulte Fazer upload e copiar objetos usando multipart upload no Guia do usuário do Amazon Simple Storage Service.

Se um multipart upload não for concluído com êxito por algum motivo, o gateway normalmente interromperá a transferência, excluirá todas as partes parcialmente transferidas do arquivo do Amazon S3 e tentará a transferência novamente. Em casos raros, como quando uma falha de hardware ou rede impede que o gateway seja limpo após um multipart upload malsucedido, partes do arquivo parcialmente transferido poderão permanecer no Amazon S3, onde podem gerar cobranças de armazenamento.

Como prática recomendada para minimizar os custos de armazenamento do Amazon S3 decorrentes de multipart uploads incompletos, recomendamos configurar uma regra de ciclo de vida do bucket do Amazon S3 que use a ação da API AbortIncompleteMultipartUpload para interromper automaticamente transferências malsucedidas e excluir partes de arquivos associadas após um número de dias específico. Para receber instruções, consulte Configurar um ciclo de vida de um bucket para excluir multipart uploads incompletos no Guia do usuário do Amazon Simple Storage Service.

Práticas recomendadas: descompactar arquivos compactados localmente antes de copiar para um gateway

Se você tentar descompactar um arquivo que contém milhares de arquivos enquanto ele estiver armazenado no gateway, poderá haver atrasos significativos relacionados à performance. O processo de descompactar um arquivo que contém um grande número de arquivos em qualquer tipo de compartilhamento de arquivos de rede envolve inerentemente um alto volume de input/output operações, manipulação do cache de metadados, sobrecarga da rede e latência. Além disso, o Storage Gateway não consegue determinar quando cada arquivo do arquivamento terminou de ser descompactado e pode começar a fazer upload de arquivos antes que o processo seja concluído, o que afeta ainda mais a performance. Esses problemas são agravados quando os arquivos dentro do arquivamento são numerosos, mas pequenos.

Como prática recomendada, indicamos primeiro transferir arquivos compactados do gateway para a máquina local, antes de descompactá-los. Depois, se necessário, você poderá usar uma ferramenta, como robocopy ou rsync, para transferir os arquivos descompactados de volta para o gateway.

Reter os atributos do arquivo ao copiar dados do Windows Server

É possível copiar arquivos para o seu Gateway de Arquivos utilizando o comando copy básico no Microsoft Windows, mas esse comando copia somente os dados do arquivo por padrão, omitindo determinados atributos, como descritores de segurança. Se os arquivos forem copiados para o gateway sem as restrições de segurança correspondentes e as informações da Lista de Controle de Acesso Discricionário (DACL), é possível que eles possam ser acessados por usuários não autorizados.

Como prática recomendada para preservar todos os atributos de arquivos e informações de segurança quando você copia arquivos para seu gateway no Microsoft Windows Server, recomendamos usar os comandos robocopy ou xcopy, com os sinalizadores /copy:DS ou /o, respectivamente. Para acessar mais informações, consulte robocopy e xcopy na documentação de referência de comandos do Microsoft Windows Server.

Práticas recomendadas: dimensionamento adequado dos discos de cache

Para ter a melhor performance, o tamanho total do disco de cache deve ser grande o suficiente para cobrir o tamanho do seu conjunto de trabalho ativo. Para read/write cargas de trabalho mistas e com muita leitura, isso garante que você possa obter uma alta porcentagem de acessos ao cache nas leituras, o que é desejável. Você pode monitorar isso por meio da métrica CacheHitPercent do Gateway de Arquivos do S3.

Para workloads de uso intenso de gravação (por exemplo, para backup e arquivamento), o Gateway de Arquivos do S3 armazena em buffer as gravações recebidas no cache do disco antes de copiar esses dados de forma assíncrona para o Amazon S3. Você deve garantir que tenha capacidade de cache suficiente para armazenar dados gravados em buffer. A CachePercentDirty métrica fornece uma indicação da porcentagem do cache de disco que ainda não foi mantida. AWS

Valores baixos de CachePercentDirty são desejáveis. Valores consistentemente próximos de 100% indicam que o Gateway de Arquivos do S3 não consegue acompanhar a taxa de tráfego de gravação recebido. Você pode evitar isso aumentando a capacidade do cache de disco provisionado ou aumentando a largura de banda de rede dedicada disponível do Gateway de Arquivos do S3 para o Amazon S3, ou ambos.

Para obter mais informações sobre o dimensionamento do disco de cache, consulte as melhores práticas de dimensionamento de cache do Amazon S3 File Gateway no canal oficial da Amazon Web Services. YouTube

Trabalhar com vários compartilhamentos de arquivos e buckets do Amazon S3

Quando você configura um único bucket do Amazon S3 para permitir que vários gateways ou compartilhamentos de arquivos gravem nele, os resultados podem ser imprevisíveis. Você pode configurar seus buckets de duas maneiras para evitar resultados imprevisíveis. Escolha o método mais adequado para seu caso de uso entre as seguintes opções:

  • Configure seus buckets do S3 para que somente um compartilhamento de arquivos possa gravar em cada bucket. Use um compartilhamento de arquivos diferente para gravar em cada bucket.

    Para evitar isso, crie uma política de bucket do S3 que negue todos os perfis exceto o perfil usado para o compartilhamento de arquivos específico inserir ou excluir objetos no bucket. Anexe uma política semelhante a cada bucket, especificando um compartilhamento de arquivos diferente para gravar em cada bucket.

    O exemplo de política a seguir nega as permissões de gravação do bucket do S3 a todos os perfis, exceto o que criou o bucket. As ações s3:DeleteObject e s3:PutObject são negadas para todas as funções, exceto "TestUser". A política se aplica a todos os objetos no bucket "arn:aws:s3:::amzn-s3-demo-bucket/*".

    JSON
    { "Version":"2012-10-17", "Statement":[ { "Sid":"DenyMultiWrite", "Effect":"Deny", "Principal":"*", "Action":[ "s3:DeleteObject", "s3:PutObject" ], "Resource":"arn:aws:s3:::amzn-s3-demo-bucket/*", "Condition":{ "StringNotLike":{ "aws:userid":"TestUser:*" } } } ] }
  • Se você quiser que vários compartilhamentos de arquivos gravem no mesmo bucket do Amazon S3, deverá evitar que os compartilhamentos de arquivos tentem gravar nos mesmos objetos simultaneamente.

    Para fazer isso, configure um prefixo de objeto separado e exclusivo para cada compartilhamento de arquivos. Isso significa que cada compartilhamento de arquivos grava somente em objetos com o prefixo correspondente e não grava em objetos associados aos outros compartilhamentos de arquivos em sua implantação. Você deve configurar o prefixo do objeto no campo Nome do prefixo do S3 ao criar um compartilhamento de arquivos.

Limpar recursos desnecessários

Como prática recomendada, indicamos limpar os recursos do Storage Gateway para evitar alterações inesperadas ou desnecessárias. Por exemplo, se você criou um gateway como um exercício de demonstração ou teste, pense em excluí-lo, bem como o dispositivo virtual da sua implantação. Use o procedimento a seguir para limpar recursos.

Para limpar os recursos dos quais você não necessita
  1. Se você não planeja mais continuar usando um gateway, exclua-o. Para obter mais informações, consulte Como excluir o gateway e remover recursos associados.

  2. Exclua a VM do Storage Gateway do host on-premises. Se você criou seu gateway em uma EC2 instância da Amazon, encerre a instância.