Procesamiento de exportaciones de datos - Exportaciones de datos de AWS
Configuración de Amazon AthenaConfiguración de Amazon RedshiftConsultas SQL recomendadas para procesar CUR 2.0Consultas SQL recomendadas para procesar las exportaciones de datos de emisiones de carbono

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Procesamiento de exportaciones de datos

En las siguientes secciones, encontrará información sobre el procesamiento de las exportaciones de datos.

Configuración de Amazon Athena

A diferencia de los informes de costos y usos (CUR), Exportaciones de datos no proporciona el archivo SQL para configurar Athena a fin de consultar sus exportaciones. Deberá usar una CloudFormation plantilla para las exportaciones de datos (consulte la opción 1) o configurar Athena manualmente (consulte la opción 2).

(Opción 1) Utilice una CloudFormation plantilla: para localizar la CloudFormation plantilla y las instrucciones para configurar Athena con las exportaciones de datos, consulte Exportaciones de datos en el marco de paneles de Cloud Intelligence.

(Opción 2) Utilice un rastreador de AWS Glue para crear la tabla y las particiones de Athena: al crear exportaciones de datos CUR o de emisiones de carbono para Athena, le sugerimos que utilice el formato de archivo Apache Parquet, que ofrece una mejor compresión y un almacenamiento orientado a columnas, lo que contribuye a que las consultas de Athena sean más pequeñas y económicas. Las preferencias de entrega y sobrescritura son obligatorias para que cada partición mensual contenga siempre una sola copia de cada archivo y no aparezcan elementos duplicados al ejecutar consultas con Amazon Athena.

También recomendamos usar AWS Glue con un rastreador de Glue para cargar los datos en Athena.

Para construir una mesa y particiones para Athena con un rastreador Glue AWS

  1. Cree una exportación de CUR 2.0 o emisiones de carbono con las siguientes opciones de entrega de exportación de datos:

    • Tipo de compresión y formato de archivo: Parquet - Parquet

    • Control de versiones de archivos: sobrescribir archivo de exportación de datos existente

  2. En Athena, utilice el editor de cuadernos con Trino SQL y elija Crear para crear una tabla con "AWS Glue crawler». Con el flujo de trabajo del rastreador de Glue, apunte el rastreador de Glue para que se ejecute en la carpeta s3://<bucket-name>/<prefix>/<export-name>/data a fin de cargar automáticamente todas las particiones entregadas para la exportación especificada a Athena.

  3. Una vez haya finalizado el rastreador de Glue, podrá usar Athena para escribir consultas en la tabla creada por el rastreador de Glue.

Configuración de Amazon Redshift

Amazon Redshift es un almacenamiento de datos en la nube al que se puede acceder en un modelo de capacidad aprovisionada o sin servidor. Amazon Redshift ofrece un rendimiento de consulta rápido para procesar los datos de Exportación de datos.

Actualmente, Exportación de datos no proporciona el archivo SQL para configurar Redshift a fin de consultar sus exportaciones tal y como lo hacen los informes de costos y usos (CUR). Sin embargo, puede configurar Redshift manualmente para hacer consultas en las exportaciones. Le recomendamos que utilice la compresión y el formato de archivo gzip/csv para Redshift.

Para obtener más información sobre la configuración de Redshift, consulte la Guía de introducción de Amazon Redshift.

Tras cargar los datos de exportación de CUR 2.0 en una herramienta de análisis de datos como Amazon Athena o Amazon Redshift, puede procesarlos para obtener información sobre los costes y el uso. AWS Well-Architected Labs proporciona una biblioteca de consultas CUR que puede utilizar para procesar CUR. Para obtener más información, consulte AWS CUR Query Library.

Tenga en cuenta dos cosas sobre las consultas SQL:

  • Las consultas SQL de Well-Architected Labs no funcionarán en el campo de consulta de exportación de datos, ya que Exportación de datos no admite agregaciones ni algunos de los demás tipos de sintaxis SQL utilizados en estas consultas.

  • Las consultas SQL de Well-Architected Labs solo funcionarán si no ha cambiado el nombre de las columnas con los nombres predeterminados. En función de la consulta, es posible que necesite consultar algunas de las columnas de producto como columnas independientes mediante el operador de punto. Para obtener más información, consulte Data query–SQL query and table configurations.

Consultas SQL recomendadas para procesar las exportaciones de datos de emisiones de carbono

Para obtener el total de emisiones de carbono por payer_account_id:

SELECT payer_account_id, SUM(total_mbm_emissions_value) AS total_emissions
FROM "ccft-data-exports"."ccft-data-exports-data" -- change to your table name
GROUP BY payer_account_id
ORDER BY total_emissions DESC;

Para obtener el total de emisiones de carbono por pays_account_id y por product_code:

SELECT payer_account_id, product_code, SUM(total_mbm_emissions_value) AS total_emissions
FROM "ccft-data-exports"."ccft-data-exports-data"-- change to your table name
GROUP BY payer_account_id, product_code
ORDER BY total_emissions DESC;

Para obtener el total de emisiones de carbono por pays_account_id y por region_code:

SELECT payer_account_id, region_code, SUM(total_mbm_emissions_value) AS total_emissions
FROM "ccft-data-exports"."ccft-data-exports-data" -- change to your table name
GROUP BY payer_account_id, region_code
ORDER BY total_emissions DESC;