Integrasi Telegraf dengan Timestream untuk InfluxDB 3 - Amazon Timestream

Untuk kemampuan serupa dengan Amazon Timestream LiveAnalytics, pertimbangkan Amazon Timestream untuk InfluxDB. Ini menawarkan konsumsi data yang disederhanakan dan waktu respons kueri milidetik satu digit untuk analitik waktu nyata. Pelajari lebih lanjut di sini.

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Integrasi Telegraf dengan Timestream untuk InfluxDB 3

Telegraf adalah agen pengumpulan data berbasis plugin dengan lebih dari 300 plugin input untuk mengumpulkan metrik dari berbagai sumber dan plugin output untuk menulis data ke tujuan yang berbeda. Arsitektur plug-and-play "" membuatnya ideal untuk mengumpulkan dan melaporkan metrik dengan cepat ke InfluxDB 3.

Persyaratan

Opsi konfigurasi Telegraf

Telegraf menyediakan dua plugin output yang kompatibel dengan InfluxDB 3:

  1. outputs.influxdb_v2- Direkomendasikan untuk penerapan baru.

  2. outputs.influxdb(v1) - Untuk konfigurasi v1 yang ada.

Kami menyarankan Anda menggunakan outputs.influxdb_v2 plugin untuk terhubung ke API kompatibilitas InfluxDB v2:

[[outputs.influxdb_v2]] urls = ["https://your-cluster-endpoint:8086"] token = "${INFLUX_TOKEN}" # Use environment variable for security organization = "" # Can be left empty for InfluxDB 3 bucket = "DATABASE_NAME" ## Optional: Enable gzip compression content_encoding = "gzip" ## Optional: Increase timeout for high-latency networks timeout = "10s" ## Optional: Configure batching metric_batch_size = 5000 metric_buffer_limit = 50000

Menggunakan plugin keluaran v1 lama

Untuk konfigurasi Telegraf yang ada menggunakan plugin v1:

[[outputs.influxdb]] urls = ["https://your-cluster-endpoint:8086"] database = "DATABASE_NAME" skip_database_creation = true username = "ignored" # Required but ignored password = "${INFLUX_TOKEN}" # Use environment variable content_encoding = "gzip" ## Optional: Configure write parameters timeout = "10s" metric_batch_size = 5000 metric_buffer_limit = 50000

Contoh konfigurasi Telegraf dasar

Berikut ini adalah contoh lengkap yang mengumpulkan metrik sistem dan menuliskannya ke InfluxDB 3:

# Global Agent Configuration [agent] interval = "10s" round_interval = true metric_batch_size = 5000 metric_buffer_limit = 50000 collection_jitter = "0s" flush_interval = "10s" flush_jitter = "0s" precision = "s" hostname = "" omit_hostname = false # Input Plugins - Collect system metrics [[inputs.cpu]] percpu = true totalcpu = true collect_cpu_time = false report_active = false [[inputs.disk]] ignore_fs = ["tmpfs", "devtmpfs", "devfs", "iso9660", "overlay", "aufs", "squashfs"] [[inputs.mem]] [[inputs.net]] interfaces = ["eth*", "en*"] [[inputs.system]] # Output Plugin - Write to InfluxDB 3 [[outputs.influxdb_v2]] urls = ["https://your-cluster-endpoint:8086"] token = "${INFLUX_TOKEN}" organization = "" bucket = "telegraf_metrics" content_encoding = "gzip"

Praktik terbaik untuk Telegraf dengan InfluxDB 3

  • Keamanan

    • Simpan token dalam variabel lingkungan atau toko rahasia.

    • Jangan pernah hardcode token dalam file konfigurasi.

    • Gunakan titik akhir HTTPS untuk penerapan produksi.

  • Optimalisasi kinerja

    • Aktifkan kompresi gzip dengan content_encoding = “gzip”.

    • Konfigurasikan ukuran batch yang sesuai (5000-10000 metrik).

    • Tetapkan batas buffer berdasarkan memori yang tersedia.

    • Gunakan presisi yang sesuai untuk kasus penggunaan Anda (detik seringkali cukup).

  • Konfigurasi jaringan

    • Untuk cluster pribadi, jalankan Telegraf dalam VPC yang sama.

    • Konfigurasikan batas waktu yang sesuai untuk latensi jaringan Anda.

    • Gunakan writer/reader titik akhir untuk operasi penulisan.

  • Pemantauan

    • Aktifkan plugin metrik internal Telegraf untuk memantau kinerja agen.

    • Pantau kesalahan tulis dan coba lagi.

    • Siapkan peringatan untuk kondisi buffer overflow.

  • Organisasi data

    • Gunakan penamaan tag yang konsisten di seluruh plugin masukan.

    • Manfaatkan plugin prosesor Telegraf untuk menormalkan data.

    • Terapkan pemfilteran tag untuk mengontrol kardinalitas.

Menjalankan Telegraf

Untuk memulai Telegraf dengan konfigurasi Anda, lakukan hal berikut:

# Test configuration telegraf --config telegraf.conf --test # Run Telegraf telegraf --config telegraf.conf # Run as a service (systemd) sudo systemctl start telegraf

Plugin Telegraf umum untuk data deret waktu

Plugin masukan populer:

  • inputs.cpu,inputs.mem, inputs.disk - Metrik sistem.

  • inputs.docker, inputs.kubernetes - Metrik kontainer.

  • inputs.prometheus- Mengikis titik akhir Prometheus.

  • inputs.snmp- Pemantauan perangkat jaringan.

  • inputs.mqtt_consumer- Pengumpulan data IoT.

  • inputs.http_listener_v2- Penerima webhook HTTP.

Plugin prosesor yang berguna:

  • processors.regex- Ubah tag/field nama.

  • processors.converter- Ubah tipe data bidang.

  • processors.aggregator- Metrik agregat.

  • processors.filter- Filter metrik berdasarkan kondisi.

Dengan memanfaatkan ekosistem plugin Telegraf yang luas dengan InfluxDB 3, Anda dapat membangun solusi pemantauan komprehensif yang mengumpulkan data dari beragam sumber dan menuliskannya secara efisien ke database deret waktu Anda.