As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Processar exportações de dados
Nas seções a seguir, você encontrará informações sobre como processar as exportações de dados.
Configurar o Amazon Athena
Ao contrário dos Relatórios de Custos e Uso (CURs), as exportações de dados não fornecem um arquivo SQL de configuração do Athena para consultar suas exportações. Você precisará usar um CloudFormation modelo para exportação de dados (consulte a opção 1) ou configurar manualmente o Athena (consulte a opção 2).
(Opção 1) Use um CloudFormation modelo: para localizar o CloudFormation modelo e as instruções para configurar o Athena com exportações de dados, consulte Exportações de dados no Cloud Intelligence Dashboards
(Opção 2) Use um rastreador AWS Glue para criar sua tabela e partições para o Athena: ao criar exportações de dados CUR ou de emissões de carbono para o Athena, sugerimos usar o formato de arquivo Apache Parquet; ele oferece melhor compactação e armazenamento orientado a colunas, o que contribui para consultas menores e mais baratas do Athena. A preferência de entrega de substituição é necessária para que cada partição mensal sempre contenha apenas uma cópia de cada arquivo e nenhum item de linha duplicado apareça quando você executar consultas com o Amazon Athena.
Também recomendamos usar o AWS Glue com um rastreador Glue para carregar seus dados no Athena.
Para criar uma tabela e partições para o Athena usando um AWS rastreador Glue
-
Crie uma exportação de CUR 2.0 ou emissões de carbono com as seguintes opções de entrega de exportação de dados:
-
Tipo de compactação e formato de arquivo: Parquet - Parquet
-
Versionamento de arquivo: substituir o arquivo de exportação de dados existente
-
-
No Athena, use o editor do notebook com o Trino SQL e escolha Create para criar uma tabela com "AWS Glue crawler”. Usando o fluxo de trabalho do crawler Glue, aponte o crawler Glue para ser executado na pasta s3://<bucket-name>/<prefix>/<export-name>/data para carregar automaticamente todas as partições entregues para a exportação especificada no Athena.
-
Depois que o crawler Glue estiver concluído, você poderá usar o Athena para escrever consultas na tabela criada pelo crawler Glue.
Configurar o Amazon Redshift
O Amazon Redshift é um data warehouse na nuvem que pode ser acessado em uma capacidade provisionada ou em um modelo sem servidor. O Amazon Redshift oferece performance rápida de consultas para processar os dados pelo Data Exports.
No momento, o Data Exports não fornece o arquivo SQL de configuração do Redshift para consultar as exportações, como fazem os relatórios de custos e uso (CURs). No entanto, ainda é possível configurar manualmente o Redshift para consultar as exportações. Recomendamos usar a compactação gzip/csv e o formato de arquivo para o Redshift.
Para obter mais informações sobre como configurar o Redshift, consulte o Guia de conceitos básicos do Amazon Redshift.
Consultas SQL recomendadas para processamento do CUR 2.0
Depois de carregar seus dados de exportação do CUR 2.0 em uma ferramenta de análise de dados, como Amazon Athena ou Amazon Redshift, você pode processá-los para obter insights de custo e uso. AWS
O Well-Architected Labs oferece uma biblioteca de consultas de CUR que você pode usar para processar o CUR. Para mais informações, consulte AWS CUR Query Library
Observe as duas informações a seguir sobre consultas SQL:
-
As consultas SQL do Well-Architected Labs não funcionarão no campo de consulta de exportação de dados, porque o Data Exports não é compatível com agregações e com algumas das outras sintaxes SQL usadas nessas consultas.
-
As consultas SQL do Well-Architected Labs só funcionarão se você não tiver alterado os nomes padrão das colunas. Dependendo da consulta, talvez seja necessário consultar algumas das colunas do produto como colunas separadas usando o operador de ponto. Para obter mais informações, consulte Data query–SQL query and table configurations.
Consultas SQL recomendadas para processar exportações de dados de emissões de carbono
Para obter o total de emissões de carbono por payer_account_id:
SELECT payer_account_id, SUM(total_mbm_emissions_value) AS total_emissions FROM "ccft-data-exports"."ccft-data-exports-data" -- change to your table name GROUP BY payer_account_id ORDER BY total_emissions DESC;
Para obter o total de emissões de carbono por payer_account_id e por product_code:
SELECT payer_account_id, product_code, SUM(total_mbm_emissions_value) AS total_emissions FROM "ccft-data-exports"."ccft-data-exports-data"-- change to your table name GROUP BY payer_account_id, product_code ORDER BY total_emissions DESC;
Para obter o total de emissões de carbono por payer_account_id e por region_code:
SELECT payer_account_id, region_code, SUM(total_mbm_emissions_value) AS total_emissions FROM "ccft-data-exports"."ccft-data-exports-data" -- change to your table name GROUP BY payer_account_id, region_code ORDER BY total_emissions DESC;
