O que é um manifesto de exportação do S3 Storage Lens?
Dada a grande quantidade de dados agregados, uma exportação de métricas diárias do S3 Storage Lens pode ser dividida em vários arquivos. O arquivo de manifesto manifest.json
descreve onde as métricas que exportam arquivos para esse dia estão localizadas. Sempre que uma nova exportação é entregue, ela é acompanhada por um novo manifesto. Cada manifesto contido no manifest.json
fornece metadados e outras informações básicas sobre a exportação.
As informações do manifesto incluem as seguintes propriedades:
-
sourceAccountId
— O ID da conta do proprietário da configuração. -
configId
– Um identificador exclusivo do painel. -
destinationBucket
— O bucket de destino do Amazon Resource Name (ARN) no qual a exportação das métricas é colocada. -
reportVersion
— A versão da exportação. -
reportDate
— A data do relatório. -
reportFormat
– O formato do relatório. -
reportSchema
— O esquema do relatório. -
reportFiles
— A lista real dos arquivos de relatório de exportação que estão no bucket de destino.
Veja a seguir um exemplo de manifesto em um arquivo manifest.json
para um inventário em formato CSV.
{ "sourceAccountId":"123456789012", "configId":"my-dashboard-configuration-id", "destinationBucket":"arn:aws:s3:::
amzn-s3-demo-destination-bucket
", "reportVersion":"V_1", "reportDate":"2020-11-03", "reportFormat":"CSV", "reportSchema":"version_number,configuration_id,report_date,aws_account_number,aws_region,storage_class,record_type,record_value,bucket_name,metric_name,metric_value", "reportFiles":[ { "key":"DestinationPrefix/StorageLens/123456789012/my-dashboard-configuration-id/V_1/reports/dt=2020-11-03/a38f6bc4-2e3d-4355-ac8a-e2fdcf3de158.csv", "size":1603959, "md5Checksum":"2177e775870def72b8d84febe1ad3574" } ] }
Veja a seguir um exemplo de manifesto em um arquivo manifest.json
para uma exportação em formato Parquet.
{ "sourceAccountId":"123456789012", "configId":"my-dashboard-configuration-id", "destinationBucket":"arn:aws:s3:::
amzn-s3-demo-destination-bucket
", "reportVersion":"V_1", "reportDate":"2020-11-03", "reportFormat":"Parquet", "reportSchema":"message s3.storage.lens { required string version_number; required string configuration_id; required string report_date; required string aws_account_number; required string aws_region; required string storage_class; required string record_type; required string record_value; required string bucket_name; required string metric_name; required long metric_value; }", "reportFiles":[ { "key":"DestinationPrefix/StorageLens/123456789012/my-dashboard-configuration-id/V_1/reports/dt=2020-11-03/bd23de7c-b46a-4cf4-bcc5-b21aac5be0f5.par", "size":14714, "md5Checksum":"b5c741ee0251cd99b90b3e8eff50b944" } }
Você pode configurar a exportação de métricas para serem geradas como parte da configuração do painel no console do Amazon S3 ou usando a API REST do Amazon S3, a AWS CLI e os SDKs.