Migrasi Tumpukan ELK ke Elastic Cloud di AWS

Identifikasi server yang menjalankan solusi Elastic lokal.

Konfirmasikan bahwa migrasi elastis didukung.

Memahami konfigurasi server lokal.

Untuk memahami konfigurasi server yang diperlukan untuk mengarahkan beban kerja dengan sukses di lokasi, temukan jejak perangkat keras server, konfigurasi jaringan, dan karakteristik penyimpanan yang saat ini digunakan

Kumpulkan informasi akun pengguna dan aplikasi.

Identifikasi nama pengguna dan nama aplikasi yang digunakan oleh lingkungan Elastic lokal.

Document Beats dan konfigurasi pengirim data.

Untuk mendokumentasikan konfigurasi, lihat sumber dan sink data yang ada. Untuk informasi selengkapnya, lihat dokumentasi Elastis.

Tentukan kecepatan dan volume data.

Tetapkan garis dasar untuk berapa banyak data yang ditangani cluster.

Dokumentasikan skenario RPO dan RTO.

Skenario tujuan titik pemulihan dokumen (RPO) dan tujuan waktu pemulihan (RTO) dalam hal pemadaman dan perjanjian tingkat layanan (). SLAs

Tentukan pengaturan siklus hidup snapshot yang optimal.

Tentukan seberapa sering data perlu diamankan dengan menggunakan snapshot Elastis selama dan setelah migrasi.

Tentukan ekspektasi kinerja pasca-migrasi.

Hasilkan metrik pada penyegaran layar saat ini dan yang diharapkan, runtime kueri, dan perilaku antarmuka pengguna.

Dokumentasikan transportasi akses internet, bandwidth, dan persyaratan ketersediaan.

Pastikan kecepatan, latensi, dan ketahanan koneksi internet untuk menyalin snapshot ke Amazon S3.

Dokumentasikan biaya runtime lokal saat ini untuk Elastic.

Pastikan bahwa ukuran lingkungan yang ditargetkan AWS dirancang agar berkinerja tinggi dan hemat biaya.

Identifikasi kebutuhan otentikasi dan otorisasi.

Fitur keamanan Elastic Stack menyediakan ranah bawaan seperti Lightweight Directory Access Protocol (LDAP), Security Assertion Markup Language (SAMP), dan OpenID Connect (OIDC).

Memahami persyaratan peraturan khusus berdasarkan lokasi geografis.

Pastikan bahwa data diekspor dan dienkripsi sesuai dengan kebutuhan Anda dan dengan persyaratan nasional yang relevan.

Siapkan area pementasan di Amazon S3.

Untuk menerima snapshot di Amazon S3, buat bucket S3 dan peran AWS Identity and Access Management (IAM) sementara dengan akses penuh ke bucket yang baru dibuat. Untuk informasi selengkapnya, lihat Membuat peran untuk mendelegasikan izin ke pengguna IAM. Gunakan AWS Security Token Service untuk meminta kredensil keamanan sementara. Simpan ID kunci akses, kunci akses rahasia, dan token sesi diamankan.

Aktifkan Amazon S3 Transfer Acceleration di bucket.

Instal AWS CLI dan plugin Amazon S3 di tempat.

Pada setiap node Elasticsearch, jalankan perintah berikut.

sudo bin/elasticsearch-plugin install repository-s3

Kemudian reboot node.

Konfigurasikan akses klien Amazon S3.

Tambahkan kunci yang dibuat sebelumnya dengan menjalankan perintah berikut.

elasticsearch-keystore add s3.client.default.access_key

elasticsearch-keystore add s3.client.default.secret_key

elasticsearch-keystore add s3.client.default.session_token

Daftarkan repositori snapshot untuk data Elastis

Gunakan Kibana Dev Tools untuk memberi tahu kluster lokal lokal tempat bucket S3 jarak jauh mana yang akan ditulis.

Konfigurasikan kebijakan snapshot.

Untuk mengonfigurasi manajemen siklus hidup snapshot, pada tab Kebijakan Kibana, pilih kebijakan SLM, dan tentukan waktu, aliran data, atau indeks mana yang harus disertakan, dan nama apa yang akan digunakan.

Konfigurasikan kebijakan yang sering mengambil snapshot. Snapshot bersifat inkremental dan memanfaatkan penyimpanan secara efisien. Cocokkan keputusan penilaian kesiapan Anda. Kebijakan juga dapat menentukan kebijakan penyimpanan dan menghapus snapshot secara otomatis saat tidak diperlukan lagi.

Verifikasi bahwa snapshot berfungsi.

Di Kibana Dev Tools, jalankan perintah berikut.

GET _snapshot/<your_repo_name>/_all

Terapkan cluster baru di Elastic Cloud.

Masuk ke Elastic, dan pilih klaster untuk “observabilitas, pencarian, atau keamanan” yang berasal dari temuan bisnis Anda dalam penilaian kesiapan.

Siapkan akses penyimpanan kunci cluster.

Cluster baru membutuhkan akses ke bucket S3 yang akan menyimpan snapshot. Pada Konsol Layanan Elasticsearch, pilih Keamanan, dan masukkan akses dan kunci rahasia IAM yang Anda buat sebelumnya.

Konfigurasikan cluster yang dihosting Elastic Cloud untuk mengakses Amazon S3.

Siapkan akses cluster baru ke repositori snapshot yang dibuat sebelumnya di Amazon S3. Menggunakan Kibana, lakukan hal berikut:

Verifikasi repositori Amazon S3 baru.

Pastikan Anda dapat mengakses repositori baru yang dihosting di cluster Elastic Cloud.

Initilaize cluster layanan Elasticsearch.

Di Konsol Layanan Elasticsearch, inisialisasi cluster layanan Elasticsearch dari snapshot S3.

Jalankan perintah berikut sebagai POST.

*/_close?expand_wildcards=all

/_snapshot/<your-repo-name>/  <your-snapshot-name>/_restore

*/_open?expand_wildcards=all

Verifikasi bahwa pemulihan snapshot berhasil.

Menggunakan Kibana Dev Tools, jalankan perintah berikut.

GET _cat/indices

Layanan konsumsi Redploy.

Connect endpoint untuk Beats dan Logstash ke endpoint layanan Elasticsearch yang baru.

Validasi lingkungan cluster.

Setelah lingkungan cluster Elastic lokal dimigrasikan ke AWS, Anda dapat menyambungkannya dan menggunakan alat pengujian penerimaan pengguna (UAT) Anda sendiri untuk memvalidasi lingkungan baru.

Bersihkan sumber daya.

Setelah Anda memvalidasi bahwa cluster berhasil bermigrasi, hapus bucket S3 dan peran IAM yang digunakan untuk migrasi.