Atualizando o cache de objetos do bucket do Amazon S3

Para configurar uma agenda automatizada de atualização de cache usando o console do Storage Gateway

1. Abra o console do Storage Gateway em https://console.aws.amazon.com/storagegateway/casa.

2. Escolha Compartilhamentos de arquivos.

3. Escolha o compartilhamento de arquivos para o qual você deseja configurar a agenda de atualização.

4. Em Actions, escolha Edit file share settings.

5. Para atualizar automaticamente o cache do S3 depois, marque a caixa de seleção e defina o tempo em dias, horas e minutos para atualizar o cache do compartilhamento de arquivos usando Time To Live (TTL). TTL é o período de tempo desde a última atualização, após o qual o acesso ao diretório faria com que o File Gateway atualizasse primeiro o conteúdo desse diretório a partir do bucket do Amazon S3.

6. Escolha Salvar alterações.

Para configurar um cronograma automatizado de atualização de cache usando AWS Lambda uma regra da Amazon CloudWatch

1. Identifique o bucket S3 usado pelo S3 File Gateway.

2. Verifique se a seção Evento está em branco. Ele é preenchido automaticamente mais tarde.

3. Crie uma função do IAM e permita o Trust Relationship for lambda.amazonaws.com Lambda.

4. Use a política a seguir.

   JSON

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Sid": "StorageGatewayPermissions",
               "Effect": "Allow",
               "Action": "storagegateway:RefreshCache",
               "Resource": "*"
           },
           {
               "Sid": "CloudWatchLogsPermissions",
               "Effect": "Allow",
               "Action": [
                   "logs:CreateLogStream",
                   "logs:CreateLogGroup",
                   "logs:PutLogEvents"
               ],
               "Resource": "*"
           }
       ]
   }                
   

5. Crie uma função Lambda a partir do console Lambda.

6. Use a função a seguir para sua tarefa do Lambda.

   import json
   import boto3
   client = boto3.client('storagegateway')
   def lambda_handler(event, context):
       print(event)
       response = client.refresh_cache(
           FileShareARN='arn:aws:storagegateway:ap-southeast-2:672406474878:share/share-E51FBS9C'
       )
       print(response)
       return 'Your FileShare cache has been refreshed'                

7. Em Função de execução, escolha a função do IAM que você criou.

8. Opcional: adicione um gatilho para o Amazon S3 e selecione o evento ObjectCreatedou. ObjectRemoved

   nota

   RefreshCacheprecisa concluir um processo antes de iniciar outro. Quando você cria ou exclui muitos objetos em um bucket, o desempenho pode diminuir. Portanto, não recomendamos o uso de gatilhos do S3. Em vez disso, use a CloudWatch regra da Amazon descrita a seguir.

9. Crie uma CloudWatch regra no CloudWatch console e adicione uma agenda. Geralmente, recomendamos uma taxa fixa de 30 minutos. No entanto, você pode usar de 1 a 2 horas em um grande bucket S3.

10. Adicione um novo gatilho para CloudWatch eventos e escolha a regra que você acabou de criar.

11. Salve sua configuração do Lambda. Escolha Testar.

12. Escolha S3 PUT e personalize o teste de acordo com suas necessidades.

13. O teste deve ser bem-sucedido. Caso contrário, modifique o JSON de acordo com seus requisitos e teste novamente.

14. Abra o console do Amazon S3 e verifique se o evento que você criou e o ARN da função Lambda estão presentes.

15. Faça upload de um objeto para o seu bucket do S3 usando o console do Amazon S3 ou o. AWS CLI

    O CloudWatch console gera uma CloudWatch saída semelhante à seguinte.

    {
        u'Records': [
            {u'eventVersion': u'2.0', u'eventTime': u'2018-09-10T01:03:59.217Z', u'requestParameters': {u'sourceIPAddress': u'MY-IP-ADDRESS'}, 
            u's3': {u'configurationId': u'95a51e1c-999f-485a-b994-9f830f84769f', u'object': {u'sequencer': u'00549CC2BF34D47AED', u'key': u'new/filename.jpeg'}, 
            u'bucket': {u'arn': u'arn:aws:s3:::amzn-s3-demo-bucket', u'name': u'MY-GATEWAY-NAME', u'ownerIdentity': {u'principalId': u'A3OKNBZ72HVPP9'}}, u's3SchemaVersion': u'1.0'}, 
            u'responseElements': {u'x-amz-id-2': u'76tiugjhvjfyriugiug87t890nefevbck0iA3rPU9I/s4NY9uXwtRL75tCyxasgsdgfsq+IhvAg5M=', u'x-amz-request-id': u'651C2D4101D31593'}, 
            u'awsRegion': u'MY-REGION', u'eventName': u'ObjectCreated:PUT', u'userIdentity': {u'principalId': u'AWS:AROAI5LQR5JHFHDFHDFHJ:MY-USERNAME'}, u'eventSource': u'aws:s3'}
        ]
    }                

    A invocação do Lambda fornece uma saída semelhante à seguinte.

    {
        u'FileShareARN': u'arn:aws:storagegateway:REGION:ACCOUNT-ID:share/MY-SHARE-ID', 
            'ResponseMetadata': {'RetryAttempts': 0, 'HTTPStatusCode': 200, 'RequestId': '6663236a-b495-11e8-946a-bf44f413b71f', 
                'HTTPHeaders': {'x-amzn-requestid': '6663236a-b495-11e8-946a-bf44f413b71f', 'date': 'Mon, 10 Sep 2018 01:03:59 GMT', 
                    'content-length': '90', 'content-type': 'application/x-amz-json-1.1'
            }
        }
    }                

    Seu compartilhamento NFS montado em seu cliente refletirá essa atualização.

    nota

    Para caches que atualizam a criação ou exclusão de objetos grandes em grandes buckets com milhões de objetos, as atualizações podem levar horas.

16. Exclua seu objeto manualmente usando o console Amazon S3 ou. AWS CLI

17. Visualize o compartilhamento NFS montado em seu cliente. Verifique se o objeto sumiu (porque seu cache foi atualizado).

18. Verifique seus CloudWatch registros para ver o registro de sua exclusão com o eventoObjectRemoved:Delete.

    {
        u'account': u'MY-ACCOUNT-ID', u'region': u'MY-REGION', u'detail': {}, u'detail-type': u'Scheduled Event', u'source': u'aws.events', 
        u'version': u'0', u'time': u'2018-09-10T03:42:06Z', u'id':  u'6468ef77-4db8-0200-82f0-04e16a8c2bdb', 
        u'resources': [u'arn:aws:events:REGION:MY-ACCOUNT-ID:rule/FGw-RefreshCache-CW']
    }          

    nota

    Para tarefas cron ou tarefas agendadas, seu evento de CloudWatch registro éu'detail-type': u'Scheduled Event'.

Para realizar uma atualização manual do cache usando o console do Storage Gateway

1. Abra o console do Storage Gateway em https://console.aws.amazon.com/storagegateway/casa.

2. Escolha Compartilhamentos de arquivos e, em seguida, escolha o compartilhamento de arquivos para o qual você deseja realizar a atualização.

3. Em Actions, escolha Refresh cache.

   O tempo que o processo de atualização leva depende do número de objetos armazenados em cache no gateway e o número de objetos que foram adicionados ou removidos do bucket do S3.

Para realizar uma atualização manual do cache usando a API Storage Gateway

• Envie uma solicitação HTTP POST para invocar a RefreshCache operação com os parâmetros desejados por meio da API Storage Gateway. Para obter mais informações, consulte RefreshCachena Referência da API do AWS Storage Gateway.

  nota

  O envio da RefreshCache solicitação só inicia a operação de atualização do cache. Quando a atualização do cache termina, não significa necessariamente que o arquivo de atualização esteja concluída. Para saber se a operação de atualização do arquivo foi concluída antes de verificar se há novos arquivos no compartilhamento de arquivos do gateway, use a notificação refresh-complete. Para fazer isso, você pode se inscrever para ser notificado por meio de um CloudWatch evento da Amazon. Para obter mais informações, consulte Receber notificações sobre operações de arquivos.