Secuencia temporal de InfluxDB como objetivo

Amazon Timestream para InfluxDB es un servicio de base de datos de series temporales gestionado que utiliza InfluxDB de código abierto para aplicaciones AWS en tiempo real. APIs Ofrece una configuración, un funcionamiento y un escalado sencillos, y ofrece consultas con tiempos de respuesta de milisegundos de un solo dígito.

El primer paso para determinar si Timestream para InfluxDB es un objetivo de migración adecuado para su caso de uso es determinar la cardinalidad de su tabla Timestream for. LiveAnalytics Hemos desarrollado un script que calcula la cardinalidad de una tabla en Timestream para. LiveAnalytics Este cálculo tiene dos propósitos:

La cardinalidad en InfluxDB es el número de medidas, etiquetas y combinaciones de teclas de campo únicas en un depósito de InfluxDB. Consulte Timestream para ver la documentación de InfluxDB sobre la gestión de la cardinalidad para comprender cómo superar los límites recomendados puede reducir el rendimiento de las consultas y aumentar el consumo de memoria. Compara tus patrones de consulta previstos con muestras de datos representativas antes de finalizar la selección de instancias para asegurarte de que las consultas sigan funcionando correctamente después de la migración. Presta atención a las consultas de agregación que consumen mucha memoria y que podrían comportarse de forma diferente que en Timestream. LiveAnalytics Al migrar de Timestream a LiveAnalytics, selecciona cuidadosamente las especificaciones de tu instancia de InfluxDB en función de la cardinalidad de tu conjunto de datos, ya que esto afecta directamente al rendimiento y a las necesidades de recursos. Te recomendamos que consideres otros destinos si la cardinalidad de tus datos es superior a 10 millones.

Descripción general del script de cálculo de cardinalidad

El script de cálculo de cardinalidad calcula la cardinalidad de un flujo temporal para una tabla. LiveAnalytics Si la cardinalidad es inferior a 10 millones, el script recomienda un Timestream para el tipo de instancia de InfluxDB. Con el esquema de mapeo predeterminado, la cardinalidad se calcula calculando las combinaciones únicas totales de dimensiones y nombre de medida. Elegir las etiquetas de protocolo de la línea correcta (equivalentes a las dimensiones de Timestream LiveAnalytics) le ayuda a indexar automáticamente los datos y a filtrarlos de manera eficiente mediante etiquetas. El script también ofrece la opción de excluir dimensiones específicas al calcular la cardinalidad. Si es aplicable a su caso, es decir, si no utiliza determinadas dimensiones para filtrar los datos en las consultas SQL (concretamente, si no las utiliza como predicados), puede excluir estas dimensiones del cálculo de la cardinalidad. Más adelante, podrá incorporarlos como campos (equivalentes a las medidas de Timestream LiveAnalytics) en los siguientes pasos de la migración.

Requisitos previos e instalación

Consulte la sección de requisitos previos y la instalación en el archivo README del script de cardinalidad.

Uso básico

Para determinar la cardinalidad de una tabla, example_table, en la base de datos example_database, el script se puede utilizar de la siguiente manera:

python3 cardinality.py \
    --table-name example_table \
    --database-name example_database

Esto produce el siguiente resultado:

Cardinality of "example_database"."example_table": 160
Your recommended Timestream for InfluxDB type is: db.influx.medium

Recomendaciones

El script escanea automáticamente toda la tabla para calcular la cardinalidad y, al mismo tiempo, ofrece opciones de filtro de tiempo para una ejecución óptima de las consultas. Sugerimos implementar filtros de tiempo cuando los datos incluyan dimensiones consistentes y cuando el análisis de distintas variaciones dimensionales en toda la tabla arroje resultados similares a los del análisis de intervalos de tiempo específicos. Este enfoque garantiza una ejecución de consultas eficiente y eficaz.

Para obtener más información, consulte el README del script de cardinalidad.