Timestream untuk InfluxDB sebagai Target

Amazon TimeStream untuk InfluxDB adalah layanan database deret waktu terkelola AWS yang menggunakan InfluxDB sumber terbuka untuk aplikasi waktu nyata. APIs Ini menawarkan pengaturan, pengoperasian, dan penskalaan yang mudah, memberikan kueri dengan waktu respons milidetik satu digit.

Langkah pertama untuk menentukan apakah Timestream untuk InfluxDB adalah target migrasi yang sesuai untuk kasus penggunaan Anda adalah menentukan kardinalitas Timestream Anda untuk tabel. LiveAnalytics Kami telah mengembangkan skrip yang menghitung kardinalitas tabel di Timestream untuk. LiveAnalytics Perhitungan ini melayani dua tujuan:

Kardinalitas di InfluxDB adalah jumlah pengukuran unik, tag, dan kombinasi tombol bidang dalam bucket InfluxDB. Lihat Timestream untuk dokumentasi InfluxDB tentang manajemen kardinalitas untuk memahami bagaimana melebihi batas yang disarankan dapat menurunkan kinerja kueri dan meningkatkan konsumsi memori. Benchmark pola kueri yang Anda antisipasi terhadap sampel data representatif sebelum menyelesaikan pemilihan instans Anda untuk memastikan kueri Anda tetap berkinerja baik setelah migrasi. Perhatikan kueri agregasi intensif memori yang mungkin berperilaku berbeda dari di Timestream for. LiveAnalytics Saat bermigrasi dari Timestream untuk LiveAnalytics, pilih spesifikasi instans InfluxDB Anda dengan cermat berdasarkan kardinalitas kumpulan data Anda karena hal ini secara langsung memengaruhi kinerja dan persyaratan sumber daya. Kami merekomendasikan untuk mempertimbangkan tujuan lain jika kardinalitas data Anda lebih dari 10 juta.

Ikhtisar skrip perhitungan kardinalitas

Skrip perhitungan kardinalitas menghitung kardinalitas Timestream untuk tabel. LiveAnalytics Jika kardinalitas di bawah 10 juta, skrip merekomendasikan Timestream untuk jenis instans InfluxDB. Menggunakan pemetaan skema default, kardinalitas dihitung dengan menghitung total kombinasi unik dimensi dan nama ukuran. Memilih tag protokol baris yang tepat (setara dengan dimensi di Timestream for LiveAnalytics) membantu Anda secara otomatis mengindeks data Anda dan memfilter data Anda secara efisien menggunakan tag. Skrip ini juga menyediakan opsi untuk mengecualikan dimensi tertentu saat menghitung kardinalitas. Jika berlaku untuk kasus Anda yaitu, jika Anda tidak menggunakan dimensi tertentu untuk memfilter data dalam kueri SQL (khususnya tidak menggunakannya sebagai predikat) maka Anda dapat mengecualikan dimensi ini dari perhitungan kardinalitas. Kemudian, Anda dapat menelannya sebagai bidang (setara dengan ukuran di Timestream for LiveAnalytics) di langkah migrasi berikutnya.

Prasyarat dan instalasi

Lihat bagian Prasyarat dan instalasi di README skrip kardinalitas.

Penggunaan dasar

Untuk menentukan kardinalitas tabel, example_table, dalam database example_database skrip dapat digunakan dengan cara berikut:

python3 cardinality.py \
    --table-name example_table \
    --database-name example_database

Ini menghasilkan output sebagai berikut:

Cardinality of "example_database"."example_table": 160
Your recommended Timestream for InfluxDB type is: db.influx.medium

Rekomendasi

Skrip secara otomatis memindai seluruh tabel untuk menghitung kardinalitas sambil menawarkan opsi filter waktu untuk eksekusi kueri yang optimal. Kami menyarankan untuk menerapkan filter waktu ketika data Anda melibatkan dimensi yang konsisten dan ketika menganalisis variasi dimensi yang berbeda di seluruh tabel menghasilkan hasil yang serupa dengan menganalisis rentang waktu tertentu. Pendekatan ini memastikan eksekusi kueri yang efisien dan berkinerja.

Untuk informasi lebih lanjut, lihat README skrip kardinalitas.