Integración de Telegraf con Timestream para InfluxDB 3 - Amazon Timestream

Para obtener capacidades similares a las de Amazon Timestream, considere Amazon Timestream LiveAnalytics para InfluxDB. Ofrece una ingesta de datos simplificada y tiempos de respuesta a las consultas en milisegundos de un solo dígito para realizar análisis en tiempo real. Obtenga más información aquí.

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Integración de Telegraf con Timestream para InfluxDB 3

Telegraf es un agente de recopilación de datos basado en complementos con más de 300 complementos de entrada para recopilar métricas de varios orígenes y complementos de salida para escribir datos en diferentes destinos. Su arquitectura lista para usar lo hace ideal para recopilar y reportar métricas rápidamente a InfluxDB 3.

Requisitos

  • Telegraf 1.9.2 o superior: para obtener instrucciones de instalación, consulte la Documentación de instalación de Telegraf.

  • Punto de conexión y credenciales del clúster de InfluxDB 3.

  • Conectividad de red a su clúster de InfluxDB 3.

Opciones de configuración de Telegraf

Telegraf ofrece dos complementos del resultado compatibles con InfluxDB 3:

  1. outputs.influxdb_v2: recomendado para nuevas implementaciones.

  2. outputs.influxdb (v1): para configuraciones de v1 existentes.

Le recomendamos que utilice el complemento outputs.influxdb_v2 para conectarse a la API de compatibilidad de InfluxDB v2:

[[outputs.influxdb_v2]] urls = ["https://your-cluster-endpoint:8086"] token = "${INFLUX_TOKEN}" # Use environment variable for security organization = "" # Can be left empty for InfluxDB 3 bucket = "DATABASE_NAME" ## Optional: Enable gzip compression content_encoding = "gzip" ## Optional: Increase timeout for high-latency networks timeout = "10s" ## Optional: Configure batching metric_batch_size = 5000 metric_buffer_limit = 50000

Uso del complemento del resultado heredado de la v1

Para las configuraciones de Telegraf existentes que utilizan el complemento v1:

[[outputs.influxdb]] urls = ["https://your-cluster-endpoint:8086"] database = "DATABASE_NAME" skip_database_creation = true username = "ignored" # Required but ignored password = "${INFLUX_TOKEN}" # Use environment variable content_encoding = "gzip" ## Optional: Configure write parameters timeout = "10s" metric_batch_size = 5000 metric_buffer_limit = 50000

Ejemplo de configuración básica de Telegraf

El siguiente es un ejemplo completo que recopila las métricas del sistema y las escribe en InfluxDB 3:

# Global Agent Configuration [agent] interval = "10s" round_interval = true metric_batch_size = 5000 metric_buffer_limit = 50000 collection_jitter = "0s" flush_interval = "10s" flush_jitter = "0s" precision = "s" hostname = "" omit_hostname = false # Input Plugins - Collect system metrics [[inputs.cpu]] percpu = true totalcpu = true collect_cpu_time = false report_active = false [[inputs.disk]] ignore_fs = ["tmpfs", "devtmpfs", "devfs", "iso9660", "overlay", "aufs", "squashfs"] [[inputs.mem]] [[inputs.net]] interfaces = ["eth*", "en*"] [[inputs.system]] # Output Plugin - Write to InfluxDB 3 [[outputs.influxdb_v2]] urls = ["https://your-cluster-endpoint:8086"] token = "${INFLUX_TOKEN}" organization = "" bucket = "telegraf_metrics" content_encoding = "gzip"

Prácticas recomendadas para Telegraf con InfluxDB 3

  • Seguridad

    • Almacene los token en variables de entorno o en almacenes secretos.

    • Nunca codifique los token de manera rígida en los archivos de configuración.

    • Utilice puntos de conexión HTTPS para las implementaciones de producción.

  • Optimización del rendimiento

    • Habilite la compresión gzip con content_encoding = "gzip".

    • Configure los tamaños adecuados de lote (métrica de 5000 a 10 000).

    • Establezca los límites del búfer según la memoria disponible.

    • Utilice la precisión adecuada para el caso de uso (los segundos suelen ser suficientes).

  • Configuración de red

    • Para los clústeres privados, ejecute Telegraf dentro de la misma VPC.

    • Configure los tiempos de espera adecuados para la latencia de la red.

    • Utilice el punto de conexión del escritor o lector para las operaciones de escritura.

  • Monitorización

    • Habilite el complemento de métricas internas de Telegraf para controlar el rendimiento de los agentes.

    • Supervise los errores de escritura y los reintentos.

    • Configure alertas para las condiciones de desbordamiento del búfer.

  • Organización de datos

    • Utilice nombres de etiquetas consistentes en todos los complementos de entrada.

    • Aproveche los complementos del procesador de Telegraf para normalizar los datos.

    • Aplique el filtrado de etiquetas para controlar la cardinalidad.

Ejecute Telegraf

Para iniciar Telegraf con su configuración, realice lo siguiente:

# Test configuration telegraf --config telegraf.conf --test # Run Telegraf telegraf --config telegraf.conf # Run as a service (systemd) sudo systemctl start telegraf

Complementos habituales de Telegraf para datos de serie temporal

Complementos de entrada populares:

  • inputs.cpu, inputs.mem, inputs.disk: métricas del sistema.

  • inputs.docker, inputs.kubernetes: métricas del contenedor.

  • inputs.prometheus: elimina los puntos de conexión de Prometheus.

  • inputs.snmp: supervisión de los dispositivos de red.

  • inputs.mqtt_consumer: recopilación de datos de IoT.

  • inputs.http_listener_v2: receptor de webhook HTTP.

Complementos útiles del procesador:

  • processors.regex: transforma los nombres de etiquetas o campos.

  • processors.converter: cambia los tipos de datos de los campos.

  • processors.aggregator: métricas agrupadas.

  • processors.filter: filtra las métricas según las condiciones.

Al aprovechar el amplio ecosistema de complementos de Telegraf con InfluxDB 3, puede crear soluciones de monitoreo integrales que recopilen datos de varios orígenes y los escriban de manera eficiente en la base de datos de serie temporal.