Acesse seus sistemas de arquivos FSx para NetApp ONTAP com Transfer Family - AWS Transfer Family

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Acesse seus sistemas de arquivos FSx para NetApp ONTAP com Transfer Family

Visão geral do

O Transfer Family oferece suporte ao Amazon FSx for NetApp ONTAP por meio de pontos de acesso S3. O Amazon FSx for NetApp ONTAP é um serviço totalmente gerenciado que fornece armazenamento de arquivos altamente confiável, escalável, de alto desempenho e rico em recursos, baseado no NetApp popular sistema de arquivos ONTAP. Quando você configura o Transfer Family com um sistema de FSx arquivos, seus usuários se conectam aos endpoints do Transfer Family usando clientes de transferência de arquivos padrão. O Transfer Family roteia as operações de arquivos por meio de um ponto de acesso S3 conectado ao seu FSx volume, enquanto seus dados permanecem no sistema de FSx arquivos. Para saber mais sobre o FSx NetApp ONTAP, consulte O que é o Amazon FSx for NetApp ONTAP?

Essa integração permite que você:

  • Transfira arquivos usando protocolos SFTP, FTPS ou FTP para armazenamento de arquivos de nível empresarial

  • Acesse os mesmos dados por meio de vários protocolos (SFTP, NFS, SMB)

  • Use FSx recursos como instantâneos, backups e hierarquização de dados

Importante

Algumas operações de arquivo não são suportadas ao usar sistemas de FSx arquivos com Transfer Family, incluindo operações de renomeação e adição. Para operações de upload, os tamanhos dos arquivos são limitados a 5 GB. Para obter uma lista completa das limitações, consulte Compatibilidade de pontos de acesso.

Pré-requisitos

Antes de configurar o Transfer Family com a Amazon FSx, você deve atender aos seguintes requisitos.

FSx para os requisitos do NetApp ONTAP

FSx Para usar o NetApp ONTAP com Transfer Family, você precisa:

  • E FSx para o sistema de arquivos NetApp ONTAP executando o ONTAP versão 9.17.1 ou posterior

  • O sistema de arquivos e o ponto de acesso S3 na mesma região AWS

  • A mesma AWS conta proprietária do sistema de arquivos e do ponto de acesso

Para saber mais, consulte Introdução à Amazon FSx para NetApp ONTAP.

Permissões obrigatórias do IAM

Você pode configurar cada ponto de acesso do S3 com permissões e controles de rede distintos que o S3 aplica a qualquer solicitação feita usando esse ponto de acesso. Os pontos de acesso do S3 oferecem suporte às políticas de recursos do IAM que você pode usar para controlar o uso do ponto de acesso por recurso, usuário ou outras condições. Para que um aplicativo ou usuário acesse arquivos por meio de um ponto de acesso, tanto o ponto de acesso quanto o volume subjacente devem permitir a solicitação. Para obter mais informações, consulte as políticas de pontos de acesso do IAM.

Pontos de acesso do Amazon S3 para FSx usar um modelo de autorização de camada dupla que combina permissões do IAM com permissões no nível do sistema de arquivos. Essa abordagem garante que as solicitações de acesso aos dados sejam devidamente autorizadas tanto no nível do AWS serviço quanto no nível do sistema de arquivos subjacente.

Para que um aplicativo ou usuário acesse com êxito os dados por meio de um ponto de acesso, tanto a política de ponto de acesso do S3 quanto o FSx volume subjacente devem permitir a solicitação.

Para criar e configurar essa integração, você precisa das seguintes permissões:

  • fsx:CreateAndAttachS3AccessPoint

  • s3:CreateAccessPoint

  • s3:GetAccessPoint

  • s3:PutAccessPointPolicy(se estiver criando uma política de ponto de acesso opcional)

Como o FSx armazenamento funciona com o Transfer Family

Quando você configura o Transfer Family com um sistema de FSx arquivos, os seguintes componentes trabalham juntos para permitir transferências de arquivos:

  1. Um usuário se conecta ao servidor Transfer Family usando um cliente SFTP, FTPS ou FTP.

  2. O Transfer Family autentica o usuário usando identidades gerenciadas pelo serviço, um provedor de identidade personalizado ou. AWS Directory Service for Microsoft Active Directory Depois de autenticado, o Transfer Family assume a função do IAM associada ao usuário.

  3. Para cada operação de arquivo, o Transfer Family atua como um cliente de API S3 padrão, fazendo solicitações ao S3 Access Point usando a função assumida do usuário no IAM e verifica as permissões em relação à política de ponto de acesso do S3.

  4. O sistema de FSx arquivos verifica se o usuário do sistema de arquivos associado ao ponto de acesso tem permissão para realizar a operação solicitada. A operação do arquivo é então executada no FSx volume.

Para que uma operação de arquivo seja bem-sucedida, ambas as camadas de autorização devem permitir a solicitação.

nota

Anexar um ponto de acesso S3 a um FSx volume não altera o comportamento do volume quando acessado diretamente por meio de NFS ou SMB. O acesso ao protocolo de arquivos existente continua funcionando inalterado.

Identidade do usuário do sistema de arquivos

Cada ponto de acesso usa uma identidade de usuário do sistema de arquivos que você especifica ao criar o ponto de acesso. Essa identidade autoriza todas as solicitações de acesso a arquivos feitas por meio desse ponto de acesso. O usuário do sistema de arquivos é uma conta de usuário no sistema de FSx arquivos subjacente da Amazon. Se o usuário do sistema de arquivos tiver acesso somente para leitura, somente as solicitações de leitura feitas usando o ponto de acesso serão autorizadas e as solicitações de gravação serão bloqueadas. Se o usuário do sistema de arquivos tiver acesso de leitura e gravação, as solicitações de leitura e gravação no volume conectado feitas usando o ponto de acesso serão autorizadas.

Criando um ponto de acesso S3 para FSx

Antes de configurar o Transfer Family, você deve criar um ponto de acesso S3 conectado ao seu FSx volume. Os pontos de acesso do S3 são chamados de endpoints de rede conectados a uma fonte de dados, como um bucket ou volume Amazon FSx for ONTAP. Você pode criar e anexar um ponto de acesso a um FSx para NetApp ONTAP usando o FSx console, a AWS CLI ou a API da Amazon. Depois de anexado, você pode usar o objeto S3 APIs para acessar os dados do arquivo. Seus dados continuam residindo no sistema de FSx arquivos da Amazon e continuam diretamente acessíveis para suas cargas de trabalho existentes. Você continua gerenciando seu armazenamento usando todos os recursos de gerenciamento FSx de armazenamento do NetApp ONTAP, incluindo backups, instantâneos, cotas de usuários e grupos e compactação.

Para obter mais informações, consulte Criar pontos de acesso.

Nomeação de pontos de acesso

Ao nomear seu ponto de acesso, siga estas diretrizes:

  • Os nomes dos pontos de acesso devem ser exclusivos em sua AWS conta e região.

  • Os nomes não podem terminar com -ext-s3alias (reservados para aliases).

  • Evite incluir informações confidenciais nos nomes porque eles são publicados no DNS.

Para obter uma lista completa das regras de nomenclatura, consulte Regras de nomenclatura, restrições e limitações dos pontos de acesso.

Criando um ponto de acesso FSx para o NetApp ONTAP

Use o procedimento a seguir para criar um ponto de acesso S3 para um volume FSx para NetApp ONTAP.

Para criar um ponto de acesso (console)
  1. Abra o FSx console da Amazon em https://console.aws.amazon.com/fsx/.

  2. No painel de navegação, escolha Sistemas de arquivos.

  3. Escolha o seu sistema FSx de arquivos NetApp ONTAP.

  4. Escolha a guia Volumes.

  5. Selecione o volume que você deseja conectar.

  6. Em Ações, escolha Criar ponto de acesso S3.

  7. Em Nome do ponto de acesso, insira um nome descritivo (por exemplo,transfer-family-ap).

  8. Para Tipo de identidade de usuário do sistema de arquivos, escolha uma das seguintes opções:

    • Identidade UNIX - Para volumes com estilo de segurança UNIX

    • Identidade do Windows - Para volumes com estilo de segurança NTFS

  9. (Opcional) Em Política de ponto de acesso, insira uma política do IAM que define quais diretores do IAM podem realizar quais operações em objetos acessados por meio desse ponto de acesso. Para obter mais informações, consulte Gerenciando o acesso ao ponto de acesso.

  10. Escolha Criar.

  11. Após a criação, anote o alias do ponto de acesso para uso na configuração do Transfer Family.

nota

Quando AWS Transfer Family acessa os recursos do S3 em nome dos SFTP/FTPS usuários conectados, as solicitações se originam da AWS Transfer Family infraestrutura, não da sua VPC. Por esse motivo, os pontos de acesso S3 configurados com uma origem de rede VPC negarão essas solicitações. No entanto, mesmo se você usar um Access Point configurado com uma origem de rede na Internet, todo o tráfego entre o Transfer Family e o Access Point permanece privado e viaja pela rede de AWS backbone — ele não atravessa a Internet pública.

Configurando permissões do sistema de arquivos

O usuário do sistema de arquivos que você especifica determina quais operações os usuários do Transfer Family podem realizar. Você deve configurar as permissões apropriadas em seu FSx volume.

Exemplo de UNIX:

# Create a directory for Transfer Family users mkdir -p /vol1/transfer-users # Set ownership to match the access point user chown 1001:1001 /vol1/transfer-users # Set permissions chmod 755 /vol1/transfer-users

Exemplo do Windows:

# Create a directory for Transfer Family users New-Item -Path "D:\vol1\transfer-users" -ItemType Directory # Set permissions for the file system user associated with the access point # Replace DOMAIN\TransferUser with your Windows user identity icacls "D:\vol1\transfer-users" /grant "DOMAIN\TransferUser:(OI)(CI)M" /T # Verify permissions icacls "D:\vol1\transfer-users"

Usando aliases de ponto de acesso S3 com FSx

Ao usar sistemas de FSx arquivos com Transfer Family, você deve usar aliases de ponto de acesso S3. O Transfer Family não suporta o uso de pontos de acesso ARNs ou outros métodos de referência para FSx armazenamento.

Importante

AWS Transfer Family só oferece suporte a aliases de ponto de acesso S3 ao usar sistemas de FSx arquivos. Você não pode usar o ponto de acesso ARNs ou virtual-hosted-style URIs.

Importante

O ponto de acesso deve estar na mesma região do volume.

Sobre aliases de pontos de acesso

Quando você cria um ponto de acesso S3 anexado a um FSx volume, o Amazon S3 gera automaticamente um alias de ponto de acesso. Esse alias é um identificador exclusivo que você pode usar em qualquer lugar em que use um nome de bucket do S3.

Para pontos de acesso conectados a FSx volumes, o alias usa o seguinte formato:

access-point-name-metadata-ext-s3alias

Exemplo de alias:

my-fsx-ap-aqfqprnstn7aefdfbarligizwgyfouse1a-ext-s3alias
nota

O -ext-s3alias sufixo é reservado para aliases de pontos de FSx acesso. Você não pode usar esse sufixo em nomes de pontos de acesso.

Encontrando seu alias de ponto de acesso

Você pode encontrar o alias do ponto de acesso depois de criar o ponto de acesso.

Para encontrar o alias do ponto de acesso (console)
  1. Abra o FSx console da Amazon em https://console.aws.amazon.com/fsx/.

  2. No painel de navegação, escolha Sistemas de arquivos.

  3. Escolha o sistema de arquivos.

  4. Escolha a guia Volumes e selecione o volume para o qual você criou o ponto de acesso.

  5. Vá para a coluna de detalhes do ponto de acesso S3.

  6. O alias é exibido na coluna Alias.

Para encontrar o alias do ponto de acesso (CLI)

Use o comando describe-s3-access-point-attachments.

aws fsx describe-s3-access-point-attachments \ --filters Name=file-system-id,Values=fs-0123456789abcdef0

A resposta inclui o alias:

{ "S3AccessPointAttachments": [ { "S3AccessPoint": { "ResourceARN": "arn:aws:s3:us-east-1:111122223333:accesspoint/my-fsx-ap", "Alias": "my-fsx-ap-aqfqprnstn7aefdfbarligizwgyfouse1a-ext-s3alias" } } ] }

Ao configurar os usuários do Transfer Family, use o alias do ponto de acesso nos mapeamentos do diretório inicial.

Formato do diretório inicial:

/access-point-alias/path/to/directory

Exemplo:

/my-fsx-ap-aqfqprnstn7aefdfbarligizwgyfouse1a-ext-s3alias/users/jsmith

Configurando o Transfer Family para armazenamento FSx

Depois de criar o ponto de acesso S3, configure um servidor Transfer Family para usá-lo.

Criar um perfil do IAM

Você deve criar uma função do IAM que conceda à Transfer Family acesso ao ponto de acesso do S3.

Importante

As políticas do IAM exigem o formato ARN do ponto de acesso, não o alias. Use o formato arn:aws:s3:region:account-id:accesspoint/access-point-name em suas declarações de recursos de política do IAM. O alias do ponto de acesso (terminado em-ext-s3alias) é usado somente para mapeamentos do diretório inicial.

Para criar perfil do IAM
  1. Abra o console do IAM em https://console.aws.amazon.com/iam/.

  2. No painel de navegação, escolha Funções e, em seguida, escolha Criar função.

  3. Em Tipo de entidade confiável, escolha Serviços da AWS .

  4. Em Caso de uso, escolha Transferir.

  5. Escolha Próximo.

  6. Escolha Criar política e insira sua política (veja o exemplo de política abaixo).

  7. Anexe a política à função e escolha Criar função.

Exemplo de política do IAM:

{ "Version": "2012-10-17", "Statement": [ { "Sid": "AllowFileOperations", "Effect": "Allow", "Action": [ "s3:GetObject", "s3:PutObject", "s3:DeleteObject", "s3:GetObjectTagging", "s3:PutObjectTagging" ], "Resource": "arn:aws:s3:us-east-2:111122223333:accesspoint/my-fsx-ap/object/*" }, { "Sid": "AllowDirectoryOperations", "Effect": "Allow", "Action": [ "s3:ListBucket", "s3:GetBucketLocation" ], "Resource": "arn:aws:s3:us-east-2:111122223333:accesspoint/my-fsx-ap" } ] }

Gerenciando usuários para FSx armazenamento

Crie usuários do Transfer Family com mapeamentos de diretório inicial que usam o alias do ponto de acesso S3.

Criar um usuário

Ao criar um usuário para FSx armazenamento, use o alias do ponto de acesso nos mapeamentos do diretório inicial.

Para criar um usuário do Service Managed (console)
  1. Abra o AWS Transfer Family console em https://console.aws.amazon.com/transfer/.

  2. No painel de navegação, selecione Servidores.

  3. Escolha seu servidor.

  4. Na seção Usuários, escolha Adicionar usuário.

  5. Em Nome de usuário, insira um nome de usuário.

  6. Em Role, escolha a função do IAM que você criou.

  7. Em Diretório pessoal, escolha Restrito.

  8. Para mapeamentos do diretório inicial, adicione um mapeamento usando o alias do ponto de acesso:

    [{"Entry": "/", "Target": "/my-fsx-ap-aqfqprnstn7aefdfbarligizwgyfouse1a-ext-s3alias/users/jsmith"}]

Para criar um usuário (CLI)

Use o comando create-user. Substitua o alias do ponto de acesso pelo seu alias.

aws transfer create-user \ --server-id s-0123456789abcdef0 \ --user-name jsmith \ --role arn:aws:iam::111122223333:role/TransferFamilyFSxRole \ --home-directory-type LOGICAL \ --home-directory-mappings '[ { "Entry": "/", "Target": "/my-fsx-ap-aqfqprnstn7aefdfbarligizwgyfouse1a-ext-s3alias/users/jsmith" } ]'

Configurando vários mapeamentos de diretórios

Você pode mapear vários diretórios virtuais para caminhos diferentes no FSx volume.

Exemplo: diretórios separados de upload e download

aws transfer create-user \ --server-id s-0123456789abcdef0 \ --user-name jsmith \ --role arn:aws:iam::111122223333:role/TransferFamilyFSxRole \ --home-directory-type LOGICAL \ --home-directory-mappings '[ { "Entry": "/inbox", "Target": "/my-fsx-ap-aqfqprnstn7aefdfbarligizwgyfouse1a-ext-s3alias/users/jsmith/inbox" }, { "Entry": "/outbox", "Target": "/my-fsx-ap-aqfqprnstn7aefdfbarligizwgyfouse1a-ext-s3alias/users/jsmith/outbox" } ]'

Configurando clientes de transferência de arquivos

Ao usar sistemas de FSx arquivos com o Transfer Family, você deve configurar seus clientes de transferência de arquivos para desativar recursos que não são suportados.

Configuração WinSCP

O WinSCP usa um recurso de renomeação temporária por padrão que não é compatível com pontos de acesso S3 para. FSx

Atenção

Se você não desativar o recurso de renomeação temporária no WinSCP, os carregamentos de arquivos falharão.

Para desativar a renomeação temporária no WinSCP
  1. Abra o WinSCP.

  2. Na caixa de diálogo Login, escolha Editar para modificar suas configurações de sessão.

  3. Escolha Advanced (Avançado).

  4. No painel de navegação à esquerda, em Transferir, escolha Resistência.

  5. Em Habilitar transferência resume/transfer para nome de arquivo temporário, escolha Desabilitar.

  6. Escolha OK para salvar as configurações.

Como alternativa, você pode desativar essa configuração para uma sessão existente:

  1. Conecte-se ao seu servidor Transfer Family.

  2. Escolha Opções e, em seguida, Preferências.

  3. Escolha Transferência e, em seguida, Resistência.

  4. Em Habilitar transferência resume/transfer para nome de arquivo temporário, escolha Desabilitar.

  5. Escolha OK.

Outros clientes SFTP

Para outros clientes SFTP, desative os seguintes recursos, se disponíveis:

  • Uploads de arquivos temporários (faça upload para arquivo temporário e renomeie)

  • Retomar transferências usando arquivos temporários

  • Uploads atômicos usando operações de renomeação

  • Modo de anexação para uploads

Consulte a documentação do cliente para ver as etapas específicas de configuração.

Solução de problemas FSx de armazenamento

Esta seção descreve como identificar e resolver problemas comuns ao usar o Transfer Family com sistemas de FSx arquivos.

Problemas de operação de arquivos

Permissão negada

Se você receber erros de permissão negada:

  1. Verifique se a função do IAM tem as permissões corretas para o alias do ponto de acesso. Você pode fazer isso testando diretamente com o S3 APIs.

  2. Verifique se a política do ponto de acesso permite a função do IAM.

  3. Verifique se o usuário do sistema de arquivos tem permissões no caminho de destino.

  4. Confirme se o mapeamento do diretório inicial usa o alias de ponto de acesso correto.

O upload falha com o WinSCP

Se o upload do arquivo falhar com o WinSCP, desative a renomeação temporária:

  1. No WinSCP, escolha Opções e, em seguida, Preferências.

  2. Escolha Transferência e, em seguida, Resistência.

  3. Em Habilitar transferência resume/transfer para nome de arquivo temporário, escolha Desabilitar.

Para obter mais informações, consulte Configurando clientes de transferência de arquivos.

Falha no upload do arquivo

Se o upload do arquivo falhar:

  1. Verifique se o tamanho do arquivo está abaixo de 5 GB.

  2. Verifique se o FSx volume tem armazenamento disponível suficiente.

  3. Monitore CloudWatch as métricas de limitação.