Noções básicas sobre o Amazon S3 Storage Lens

A Lente de Armazenamento do Amazon S3 é um recurso de análise de armazenamento em nuvem que você pode usar para obter visibilidade em toda a organização sobre o uso e a atividade do armazenamento de objetos. Use as métricas da Lente de Armazenamento do S3 para gerar insights resumidos, como descobrir quanto armazenamento você tem em toda a organização ou quais são os buckets e prefixos que mais crescem. Você também pode usar as métricas da Lente de Armazenamento do S3 para identificar oportunidades de otimização de custos, implementar práticas recomendadas de proteção e segurança de dados, e melhorar a performance das workloads de aplicações. Por exemplo, você pode identificar buckets que não têm regras de Ciclo de Vida do S3 para expirar multipart uploads incompletos com mais de 7 dias. Você também pode identificar buckets que não estão seguindo as práticas recomendadas de proteção de dados, como usar a Replicação do S3 ou o Versionamento do S3. A Lente de Armazenamento do S3 também analisa as métricas para fornecer recomendações contextuais que você pode usar para otimizar os custos de armazenamento e aplicar as práticas recomendadas de proteção de dados.

A Lente de Armazenamento do S3 agrega suas métricas e exibe as informações na seção Account snapshot (Snapshot da conta) na página Buckets do console do Amazon S3. A Lente de Armazenamento do S3 também oferece um painel interativo para visualizar insights e tendências, sinalizar discrepâncias e receber recomendações para otimizar os custos de armazenamento e aplicar as práticas recomendadas de proteção de dados. O painel tem opções de detalhamento para gerar e visualizar insights no nível da organização, conta, Região da AWS, classe de armazenamento, bucket, prefixo ou grupo de Lente de Armazenamento. Também é possível enviar um relatório diário de métricas no formato CSV ou Parquet a um bucket do S3 de uso geral ou exportar as métricas diretamente para um bucket de tabela do S3 gerenciado pela AWS. Você pode criar e gerenciar painéis de Lente de Armazenamento do S3 usando o console do Amazon S3, AWS Command Line Interface (AWS CLI), AWS SDKs ou API REST do Amazon S3.

Conceitos e terminologia da Lente de Armazenamento do S3

Esta seção contém a terminologia e os conceitos essenciais para entender e usar a Lente de Armazenamento do Amazon S3.

Configuração de painel

A Lente de Armazenamento do S3 requer uma configuração de painel que contém as propriedades necessárias para agregar métricas em seu nome para um único painel ou exportação. Ao criar uma configuração, escolha o nome do painel e a região inicial, que não poderão ser alterados depois de criar o painel. Opcionalmente, você pode adicionar etiquetas e configurar uma exportação de métricas em formato CSV ou Parquet.

Na configuração do painel, defina também o escopo do painel e a seleção de métricas. O escopo pode incluir todo o armazenamento da conta da sua organização ou seções que são filtradas por região, bucket e conta. Ao configurar a seleção de métricas, escolha métricas do nível gratuito ou adquira métricas do nível avançado por um custo adicional. Com o nível avançado, é possível acessar métricas e recursos adicionais. Esses recursos incluem categorias de métricas avançadas, agregação por prefixo, recomendações contextuais e publicação no Amazon CloudWatch. Para obter mais informações sobre a definição de preço do S3 Storage Lens, consulte Definição de preço do Amazon S3.

Painel padrão

O painel padrão do S3 Storage Lens no console é chamado default-account-dashboard. O S3 pré-configura esse painel para visualizar um resumo de insights e tendências para toda a sua conta e atualiza esse resumo diariamente no console do S3. Não é possível modificar o escopo de configuração do painel padrão, mas você pode atualizar a seleção de métricas do nível gratuito para métricas do nível avançado. Você pode configurar a exportação opcional de métricas ou até mesmo desabilitar o painel. No entanto, você não pode excluir o painel padrão.

Painéis

Você pode criar painéis adicionais da Lente de Armazenamento do S3 e definir o escopo deles por Regiões da AWS, bucket do S3 ou conta (para o AWS Organizations). Ao criar ou editar um painel da Lente de Armazenamento do S3, defina o escopo do painel e a seleção de métricas. Além de métricas do nível gratuito, a Lente de Armazenamento do S3 oferece métricas do nível avançado, que podem ser adquiridas por um custo adicional. Com as métricas avançadas, você pode acessar métricas e recursos adicionais para obter insights sobre armazenamento. Elas incluem categorias de métricas avançadas, agregação por prefixo, recomendações contextuais e publicação no Amazon CloudWatch. Para obter mais informações sobre a definição de preço do S3 Storage Lens, consulte Definição de preço do Amazon S3.

Você também pode desativar ou excluir painéis. Se você desabilitar um painel, ele não será mais atualizado e você não receberá mais nenhuma nova métrica diária. Você ainda pode ver dados históricos durante o período de validade de 14 dias. Esse período é de 15 meses com a opção de métricas avançadas habilitada para esse painel. Para acessar dados históricos, reative o painel dentro do período de validade.

Se você excluir seu painel, você perderá todas as configurações do painel. Você não receberá mais nenhuma nova métrica diária e também perderá o acesso aos dados históricos associados a esse painel. Se você quiser acessar os dados históricos de um painel excluído, você deve criar outro painel com o mesmo nome na mesma região inicial.

Snapshot da conta

O Snapshot da conta da Lente de Armazenamento do S3 resume as métricas do painel padrão e exibe o armazenamento total, a contagem de objetos e o tamanho médio dos objetos na página Buckets do console do S3. Esse snapshot de conta oferece acesso rápido a insights sobre o armazenamento sem ter que sair da página Buckets. O snapshot da conta também fornece acesso com um clique ao painel interativo da Lente de Armazenamento do S3.

Você pode usar o painel para visualizar insights e tendências, sinalizar discrepâncias e receber recomendações para otimizar os custos de armazenamento e aplicar as práticas recomendadas de proteção de dados. O painel tem opções de detalhamento para gerar insights por organização, conta, bucket, objeto ou prefixo. Você também pode enviar um arquivo exportado em formato CSV ou Parquet das métricas uma vez por dia para um bucket do S3.

Não é possível modificar o escopo do default-account dashboard (painel padrão da conta) porque ele está vinculado ao Account snapshot (Snapshot da conta). No entanto, você pode fazer a atualização da seleção de métricas no painel padrão da conta de métricas do nível gratuito para métricas avançadas pagas. Depois de fazer upgrade, você pode exibir todas as solicitações, bytes carregados e bytes baixados no Snapshot da conta da Lente de Armazenamento do S3.

Exportação de métricas

Uma exportação de métricas do S3 Storage Lens é um arquivo que contém todas as métricas identificadas na configuração do S3 Storage Lens. Essas informações são geradas diariamente em formato CSV ou Parquet e enviadas a um bucket de uso geral do S3. Também é possível exportar as métricas diretamente para o bucket de tabela aws-s3 do S3 gerenciado pela AWS, o que facilita a consulta por meio de serviços de analytics da AWS ou de ferramentas de terceiros. Você pode usar a exportação de métricas para realizar análises adicionais usando a ferramenta de métricas de sua escolha. O bucket especificado para a exportação de métricas deve estar na mesma região da configuração da Lente de Armazenamento do S3. Você pode gerar uma exportação de métricas da Lente de Armazenamento do S3 pelo console do S3 editando a configuração do painel. Você também pode configurar uma exportação de métricas usando a AWS CLI e AWS SDKs.

Há dois tipos de exportação de métricas disponíveis na Lente de Armazenamento:

Destinos de exportação de métricas

Ao exportar dados de métricas da Lente de Armazenamento, é possível escolher um bucket de uso geral do S3 ou um bucket de tabela do S3 como destino. Os buckets de uso geral oferecem ampla compatibilidade com ferramentas e aplicações existentes, bem como flexibilidade para processar dados em sua conta por meio de serviços de analytics de sua preferência. Essa opção atende a padrões de acesso padrão do S3 e a integrações para análise de dados em buckets individuais em sua região. Em contraposição, o bucket de tabela do S3 permite executar consultas imediatas em várias contas e regiões, criar painéis personalizados com o Amazon Quick e associar dados a outros serviços da AWS ou ferramentas de terceiros, sem a necessidade de infraestrutura adicional de processamento. Por exemplo, é possível associar as métricas da Lente de Armazenamento ao S3 Metadata para analisar os padrões de atividade de objetos em sua organização.

Buckets de uso geral do S3

A exportação das métricas da Lente de Armazenamento para um bucket de uso geral do S3 oferece flexibilidade e continuidade para armazenar os dados da Lente de Armazenamento. Você pode manter os fluxos de trabalho existentes e a consistência operacional continuando a usar sua infraestrutura atual e os processos existentes de extração, transformação e carregamento (ETL), ferramentas de analytics ou fluxos de trabalho automatizados. Os buckets de uso geral também funcionam com toda a gama de serviços da AWS e ferramentas de terceiros compatíveis com as APIs padrão do S3. Isso oferece máxima flexibilidade em relação a como você processa, analisa ou visualiza insights da Lente de Armazenamento. Além disso, é possível implementar políticas de ciclo de vida do S3 para gerenciar automaticamente a retenção de dados, transferindo métricas antigas para classes de armazenamento de menor custo ou as excluindo após períodos específicos para otimizar os custos. Portanto, se a continuidade operacional e a flexibilidade do fluxo de trabalho forem suas prioridades para a implementação da Lente de Armazenamento, considere a possibilidade de escolher um bucket de uso geral do S3 para exportar seus dados da Lente de Armazenamento. Consulte mais informações sobre o preço dos buckets de uso geral em Preços do Amazon S3.

Bucket de tabela do S3

Ao exportar as métricas da Lente de Armazenamento para o bucket de tabela do S3, é possível analisar facilmente as métricas de uso e atividade de armazenamento sem criar pipelines de dados. As métricas são organizadas em tabelas do S3 criadas em um bucket de tabela do S3 gerenciado pela AWS, chamado aws-s3, para oferecer um desempenho de consulta ideal, com períodos de retenção e configurações de criptografia personalizáveis para atender às suas necessidades de gerenciamento de dados. Com as métricas nas tabelas do S3, é possível executar consultas em várias contas e regiões usando ferramentas SQL e serviços de analytics da AWS (como Amazon Athena, Amazon Quick, Amazon EMR e Amazon Redshift) para criar painéis personalizados e gerar insights mais detalhados. Por exemplo, é possível associar as métricas da Lente de Armazenamento do S3 ao S3 Metadata para identificar objetos em prefixos que não mostrem nenhuma atividade recente. Todos os dados armazenados em um bucket de tabela do S3 são contabilizados nos custos de Tabelas do S3. Para ter mais informações sobre preços da funcionalidade Tabelas do S3, consulte Preços do Amazon S3.

Permissões para exportação de métricas para Tabelas do S3

Para criar e trabalhar com tabelas e buckets de tabela da Lente de Armazenamento do S3, é necessário ter determinadas permissões s3tables. No mínimo, para configurar a Lente de Armazenamento do S3 para Tabelas do S3, é necessário ter as seguintes permissões s3tables:

Região inicial

A região inicial é a Região da AWS em que todas as métricas da Lente de Armazenamento do S3 para determinada configuração de painel são armazenadas. Você deve escolher uma região inicial ao criar uma configuração de painel da Lente de Armazenamento do S3. Depois de escolher uma região inicial, não será possível alterá-la. Além disso, se você estiver criando um grupo da Lente de Armazenamento, recomendamos que você escolha a mesma região inicial do painel da Lente de Armazenamento.

Período de retenção

As métricas da Lente de Armazenamento do S3 são mantidas para que você possa ver tendências históricas e comparar diferenças na atividade e no armazenamento ao longo do tempo. Você pode usar as métricas do Amazon S3 Storage Lens para consultar o histórico de tendências e comparar diferenças no uso e na atividade do armazenamento ao longo do tempo.

Todas as métricas do S3 Storage Lens são mantidas durante um período de 15 meses. No entanto, as métricas só estão disponíveis para consultas durante um período específico, que depende da sua seleção de métricas. Essa duração não pode ser modificada. As métricas gratuitas estão disponíveis para consultas por 14 dias, e as métricas avançadas estão disponíveis para consultas por 15 meses.

Categorias de métricas

Nos níveis gratuito e avançado, as métricas da Lente de Armazenamento do S3 estão organizadas em categorias que se alinham aos principais casos de uso, como otimização de custos e proteção de dados. As métricas gratuitas incluem métricas de resumo, otimização de custos, proteção de dados, gerenciamento de acesso, performance e eventos. Ao atualizar para métricas avançadas, você pode habilitar métricas adicionais de otimização de custos e proteção de dados que podem ser usadas para reduzir ainda mais os custos de armazenamento do S3 e garantir que seus dados estejam protegidos. Você também pode ativar métricas de atividade e métricas de códigos de status detalhados que pode usar para melhorar a performance dos fluxos de trabalho de aplicações.

A lista a seguir mostra todas as categorias de métricas gratuitas e avançadas. Para ver uma lista completa das métricas individuais incluídas em cada categoria, consulte Glossário de métricas de lente de armazenamento do Amazon S3.

Métricas de resumo

As métricas de resumo fornecem informações gerais sobre seu armazenamento do S3, incluindo o total de bytes armazenados e a contagem de objetos.

Métricas de otimização de custos

As métricas de otimização de custos fornecem insights que você pode usar para gerenciar e otimizar seus custos de armazenamento. Por exemplo, você pode identificar buckets com multipart uploads que estão incompletos há mais de 7 dias.

Com as métricas avançadas, você pode habilitar métricas avançadas de otimização de custos. Essas métricas incluem métricas de contagem de regras do Ciclo de Vida do S3 que você pode usar para obter contagens de regras do Ciclo de Vida do S3 para validade e transição por bucket.

Métricas de proteção de dados

As métricas de proteção de dados fornecem insights sobre recursos de proteção de dados, como criptografia e Versionamento do S3. Essas métricas podem ser usadas para identificar buckets que não estão seguindo as práticas recomendadas de proteção de dados. Por exemplo, você pode identificar buckets que não usam criptografia padrão com chaves do AWS Key Management Service (SSE-KMS) ou que não usam o Versionamento do S3.

Com as métricas avançadas, você pode habilitar métricas avançadas de proteção de dados. Essas métricas incluem métricas de contagem de regras de replicação por bucket.

Métricas de gerenciamento de acesso

As métricas de gerenciamento de acesso fornecem insights sobre a propriedade de objetos do S3. Você pode usar essas métricas para ver as configurações de Propriedade de Objeto de seus buckets.

Métricas de eventos

As métricas de eventos fornecem informações sobre as Notificações de Eventos do S3. Com as métricas de eventos, você pode ver quais buckets têm as Notificações de Eventos do S3 configuradas.

Métricas de performance

As métricas de performance fornecem informações sobre a Aceleração de Transferência do S3. Com as métricas de performance, você pode ver quais buckets têm a Aceleração de Transferência ativada.

Métricas de atividade (avançadas)

Se você atualizar seu painel para o nível avançado, poderá habilitar métricas de atividade. As métricas de atividade fornecem detalhes sobre como seu armazenamento é solicitado (por exemplo, todas as solicitações, solicitações Get e solicitações Put), bytes carregados ou baixados e erros.

As métricas de atividade em nível de prefixo podem ser usadas para ajudar a determinar quais prefixos estão sendo usados com pouca frequência, a fim de fazer a transição para uma classe de armazenamento mais ideal usando o S3 Lifecycle.

Métricas de códigos de status detalhados (avançadas)

Se você atualizar seu painel para o nível avançado, poderá habilitar métricas detalhadas de código de status. Métricas detalhadas de código de status fornecem informações para códigos de status HTTP, como 403 Forbidden e 503 Service Unavailable, que você pode usar para solucionar problemas de acesso ou desempenho. Por exemplo, você pode observar a métrica 403 Forbidden error count (Contagem de erros 403 Proibido) para identificar workloads que estão acessando buckets sem as permissões corretas em vigor.

Métricas de código de status detalhadas em nível de prefixo podem ser usadas para obter uma melhor compreensão das ocorrências de código de status HTTP por prefixo. Por exemplo, as métricas de contagem de erros 503 permitem identificar prefixos que recebem solicitações de controle de utilização durante a ingestão de dados.

Advanced cost optimization metrics (Métricas avançadas de otimização de custos)

As métricas avançadas de otimização de custos fornecem insights detalhados sobre suas configurações de gerenciamento de ciclo de vida do S3 para ajudar a otimizar os custos de armazenamento por meio de transições e exclusões automatizadas de dados. Essas métricas rastreiam o número de regras de ciclo de vida configuradas em diferentes tipos de regra de ciclo de vida. É possível usar essas métricas para garantir uma cobertura abrangente das regras de ciclo de vida em todos os buckets e identificar oportunidades de implementar estratégias adicionais de otimização de custos por meio do gerenciamento automatizado de dados.

Advanced data protection metrics (Métricas avançadas de proteção de dados)

As métricas avançadas de proteção de dados ajudam a proteger os dados fornecendo insights sobre o número de regras de replicação, o uso da criptografia SSE-KMS e vulnerabilidades de segurança, como assinaturas não compatíveis e solicitações TLS. (Observação: as métricas de contagem de regras de replicação não estão disponíveis para prefixos.)

Essa visibilidade permite garantir a redundância de dados adequada, validar a conformidade com a criptografia, identificar riscos de segurança de protocolos desatualizados, solucionar problemas de configuração incorreta de replicação e manter estratégias robustas de proteção de dados em nível de organização, conta e bucket.

Métricas avançadas de desempenho

As métricas avançadas de desempenho revelam como as aplicações interagem com os dados no S3 e podem ajudar a identificar oportunidades para otimizar o desempenho das aplicações, como padrões de E/S ineficientes, acesso entre regiões e contagem de acesso a objetos exclusivos. As métricas avançadas de desempenho da Lente de Armazenamento eliminam a necessidade de ferramentas de monitoramento personalizadas de alto custo e permitem que os clientes implementem as práticas recomendadas do S3 com maior eficiência, beneficiando particularmente as aplicações sensíveis ao desempenho, como treinamento de machine learning, data analytics e outras workloads de computação de alta performance.

Recomendações

O S3 Storage Lens fornece recomendações automatizadas para ajudá-lo a otimizar seu armazenamento. As recomendações são colocadas contextualmente ao lado de métricas relevantes no painel do S3 Storage Lens. Os dados históricos não são elegíveis para recomendações porque as recomendações são relevantes para o que está acontecendo no período mais recente. As recomendações só aparecem quando são relevantes.

As recomendações do S3 Storage Lens vêm nos seguintes formulários:

Seleção de métricas

A Lente de Armazenamento do S3 oferece duas seleções de métricas que você pode escolher para seu painel e exportar: nível gratuito e nível avançado.

Delimitador de prefixo

Os delimitadores de prefixo determinam como a Lente de Armazenamento faz a contagem de profundidade do prefixo, separando os níveis hierárquicos nas chaves de objeto. Só é possível especificar um único caractere para indicar cada nível nos prefixos. Se o delimitador de prefixo for indefinido, o Amazon S3 usará “/” como delimitador padrão.

S3 Storage Lens e AWS Organizations

O AWS Organizations é um AWS service (Serviço da AWS) que ajuda você a agregar todas as suas Contas da AWS em uma hierarquia da organização. A Lente de Armazenamento do Amazon S3 funciona com o AWS Organizations para fornecer uma visão única do armazenamento de objetos e da atividade em todo o armazenamento do Amazon S3.

Para obter mais informações, consulte Usar o Amazon S3 Storage Lens com AWS Organizations.

Para obter mais informações, consulte Amazon S3 Storage Lens e AWS Organizations no Guia do usuário do AWS Organizations.

Funções vinculadas ao serviço do Amazon S3 Storage Lens

Juntamente com o acesso confiável do AWS Organizations, o Amazon S3 Storage Lens usa funções vinculadas ao serviço do AWS Identity and Access Management (IAM). Um perfil vinculado ao serviço é um tipo exclusivo de perfil do IAM vinculado diretamente à Lente de Armazenamento do S3. As funções vinculadas ao serviço são predefinidas pela Lente de Armazenamento do S3 e incluem todas as permissões necessárias para coletar métricas diárias de armazenamento e atividades de contas de membros na sua organização.

Para obter mais informações, consulte Usar funções vinculadas a serviços para o Amazon S3 Storage Lens.