Intégration de Telegraf à Timestream pour InfluxDB 3 - Amazon Timestream

Pour des fonctionnalités similaires à celles d'Amazon Timestream pour, pensez à Amazon Timestream LiveAnalytics pour InfluxDB. Il permet une ingestion simplifiée des données et des temps de réponse aux requêtes à un chiffre en millisecondes pour des analyses en temps réel. Pour en savoir plus, cliquez ici.

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Intégration de Telegraf à Timestream pour InfluxDB 3

Telegraf est un agent de collecte de données basé sur des plugins avec plus de 300 plugins d'entrée pour collecter des métriques à partir de diverses sources et des plugins de sortie pour écrire des données vers différentes destinations. Son architecture « plug-and-play » le rend idéal pour collecter et rapporter rapidement des métriques à InfluxDB 3.

Prérequis

  • Telegraf 1.9.2 ou version ultérieure — Pour les instructions d'installation, consultez la documentation d'installation de Telegraf.

  • Point de terminaison et informations d'identification du cluster InfluxDB 3.

  • Connectivité réseau à votre cluster InfluxDB 3.

Options de configuration de Telegraf

Telegraf fournit deux plugins de sortie compatibles avec InfluxDB 3 :

  1. outputs.influxdb_v2- Recommandé pour les nouveaux déploiements.

  2. outputs.influxdb(v1) - Pour les configurations v1 existantes.

Nous vous recommandons d'utiliser le outputs.influxdb_v2 plugin pour vous connecter à l'API de compatibilité InfluxDB v2 :

[[outputs.influxdb_v2]] urls = ["https://your-cluster-endpoint:8086"] token = "${INFLUX_TOKEN}" # Use environment variable for security organization = "" # Can be left empty for InfluxDB 3 bucket = "DATABASE_NAME" ## Optional: Enable gzip compression content_encoding = "gzip" ## Optional: Increase timeout for high-latency networks timeout = "10s" ## Optional: Configure batching metric_batch_size = 5000 metric_buffer_limit = 50000

Utilisation de l'ancien plugin de sortie v1

Pour les configurations Telegraf existantes utilisant le plugin v1 :

[[outputs.influxdb]] urls = ["https://your-cluster-endpoint:8086"] database = "DATABASE_NAME" skip_database_creation = true username = "ignored" # Required but ignored password = "${INFLUX_TOKEN}" # Use environment variable content_encoding = "gzip" ## Optional: Configure write parameters timeout = "10s" metric_batch_size = 5000 metric_buffer_limit = 50000

Exemple de configuration de base de Telegraf

Voici un exemple complet qui collecte les métriques du système et les écrit dans InfluxDB 3 :

# Global Agent Configuration [agent] interval = "10s" round_interval = true metric_batch_size = 5000 metric_buffer_limit = 50000 collection_jitter = "0s" flush_interval = "10s" flush_jitter = "0s" precision = "s" hostname = "" omit_hostname = false # Input Plugins - Collect system metrics [[inputs.cpu]] percpu = true totalcpu = true collect_cpu_time = false report_active = false [[inputs.disk]] ignore_fs = ["tmpfs", "devtmpfs", "devfs", "iso9660", "overlay", "aufs", "squashfs"] [[inputs.mem]] [[inputs.net]] interfaces = ["eth*", "en*"] [[inputs.system]] # Output Plugin - Write to InfluxDB 3 [[outputs.influxdb_v2]] urls = ["https://your-cluster-endpoint:8086"] token = "${INFLUX_TOKEN}" organization = "" bucket = "telegraf_metrics" content_encoding = "gzip"

Meilleures pratiques pour Telegraf avec InfluxDB 3

  • Sécurité

    • Stockez les jetons dans des variables d'environnement ou des magasins secrets.

    • Ne codez jamais de jetons en dur dans les fichiers de configuration.

    • Utilisez des points de terminaison HTTPS pour les déploiements de production.

  • Optimisation des performances

    • Activez la compression gzip avec content_encoding = « gzip ».

    • Configurez les tailles de lots appropriées (5 000 à 10 000 métriques).

    • Définissez les limites de la mémoire tampon en fonction de la mémoire disponible.

    • Utilisez une précision adaptée à votre cas d'utilisation (quelques secondes suffisent souvent).

  • Configuration réseau

    • Pour les clusters privés, exécutez Telegraf au sein du même VPC.

    • Configurez des délais d'expiration adaptés à la latence de votre réseau.

    • Utilisez le writer/reader point de terminaison pour les opérations d'écriture.

  • Surveillance

    • Activez le plugin de métriques interne de Telegraf pour surveiller les performances des agents.

    • Surveillez les erreurs d'écriture et les nouvelles tentatives.

    • Configurez des alertes en cas de dépassement de la mémoire tampon.

  • Organisation des données

    • Utilisez un nom de balise cohérent pour tous les plugins d'entrée.

    • Tirez parti des plug-ins du processeur de Telegraf pour normaliser les données.

    • Appliquez le filtrage des balises pour contrôler la cardinalité.

Running Telegraf

Pour démarrer Telegraf avec votre configuration, procédez comme suit :

# Test configuration telegraf --config telegraf.conf --test # Run Telegraf telegraf --config telegraf.conf # Run as a service (systemd) sudo systemctl start telegraf

Plugins Telegraf courants pour les données de séries chronologiques

Plug-ins de saisie populaires :

  • inputs.cpu,inputs.mem, inputs.disk - Métriques du système.

  • inputs.docker, inputs.kubernetes - Métriques relatives aux conteneurs.

  • inputs.prometheus- Grattez les extrémités de Prometheus.

  • inputs.snmp- Surveillance des périphériques réseau.

  • inputs.mqtt_consumer- Collecte de données IoT.

  • inputs.http_listener_v2- Récepteur Webhook HTTP.

Plugins de processeur utiles :

  • processors.regex- Transformez tag/field les noms.

  • processors.converter- Modifiez les types de données des champs.

  • processors.aggregator- Métriques agrégées.

  • processors.filter- Filtrez les métriques en fonction des conditions.

En tirant parti du vaste écosystème de plugins de Telegraf avec InfluxDB 3, vous pouvez créer des solutions de surveillance complètes qui collectent des données provenant de diverses sources et les écrivent efficacement dans votre base de données de séries chronologiques.