Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Memigrasi database ThoughtSpot Falcon lokal ke Amazon Redshift
Battulga Purevragchaa dan Antony Prasad Thevaraj, Amazon Web Services
Ringkasan
Gudang data lokal memerlukan waktu administrasi dan sumber daya yang signifikan, terutama untuk kumpulan data yang besar. Biaya finansial untuk membangun, memelihara, dan menumbuhkan gudang ini juga sangat tinggi. Untuk membantu mengelola biaya, menjaga kompleksitas ekstrak, transformasi, dan pemuatan (ETL) tetap rendah, dan memberikan kinerja seiring pertumbuhan data Anda, Anda harus terus-menerus memilih data mana yang akan dimuat dan data mana yang akan diarsipkan.
Dengan memigrasikan database ThoughtSpot Falcon
Pola ini menjelaskan langkah-langkah dan proses untuk memigrasikan database ThoughtSpot Falcon dari pusat data lokal ke database Amazon Redshift di AWS Cloud.
Prasyarat dan batasan
Prasyarat
Akun AWS yang aktif
Database ThoughtSpot Falcon yang dihosting di pusat data lokal
Versi produk
ThoughtSpot versi 7.0.1
Arsitektur
Diagram menunjukkan alur kerja berikut:
Data dihosting di database relasional lokal.
AWS Schema Conversion Tool (AWS SCT) mengonversi bahasa definisi data (DDL) yang kompatibel dengan Amazon Redshift.
Setelah tabel dibuat, Anda dapat memigrasikan data menggunakan AWS Database Migration Service (AWS DMS).
Data dimuat ke Amazon Redshift.
Data disimpan di Amazon Simple Storage Service (Amazon S3) Simple Storage S3) jika Anda menggunakan Redshift Spectrum atau sudah meng-host data di Amazon S3.
Alat
AWS DMS — AWS Data Migration Service (AWS DMS) membantu Anda dengan cepat dan aman memigrasikan database ke AWS.
Amazon Redshift - Amazon Redshift adalah layanan gudang data berskala petabyte yang cepat, terkelola sepenuhnya, yang membuatnya sederhana dan hemat biaya untuk menganalisis semua data Anda secara efisien menggunakan alat intelijen bisnis yang ada.
AWS SCT — AWS Schema Conversion Tool (AWS SCT) mengonversi skema database Anda yang ada dari satu mesin database ke mesin database lainnya.
Epik
| Tugas | Deskripsi | Keterampilan yang dibutuhkan |
|---|---|---|
Identifikasi konfigurasi Amazon Redshift yang sesuai. | Identifikasi konfigurasi klaster Amazon Redshift yang sesuai berdasarkan kebutuhan dan volume data Anda. Untuk informasi selengkapnya, lihat klaster Amazon Redshift di dokumentasi Amazon Redshift. | DBA |
Teliti Amazon Redshift untuk mengevaluasi apakah itu memenuhi kebutuhan Anda. | Gunakan Amazon Redshift FAQs | DBA |
| Tugas | Deskripsi | Keterampilan yang dibutuhkan |
|---|---|---|
Buat cluster Amazon Redshift. | Masuk ke AWS Management Console, buka konsol Amazon Redshift, lalu buat klaster Amazon Redshift di cloud pribadi virtual (VPC). Untuk informasi selengkapnya, lihat Membuat klaster di VPC di dokumentasi Amazon Redshift. | DBA |
Lakukan PoC untuk desain database Amazon Redshift Anda. | Ikuti praktik terbaik Amazon Redshift dengan melakukan proof of concept (PoC) untuk desain database Anda. Untuk informasi selengkapnya, lihat Melakukan bukti konsep untuk Amazon Redshift di dokumentasi Amazon Redshift. | DBA |
Buat pengguna database. | Buat pengguna di database Amazon Redshift Anda dan berikan peran yang sesuai untuk akses ke skema dan tabel. Untuk informasi selengkapnya, lihat Memberikan hak akses untuk pengguna atau grup pengguna di dokumentasi Amazon Redshift. | DBA |
Terapkan pengaturan konfigurasi ke database target. | Terapkan pengaturan konfigurasi ke database Amazon Redshift sesuai dengan kebutuhan Anda. Untuk informasi selengkapnya tentang mengaktifkan parameter database, sesi, dan tingkat server, lihat referensi Konfigurasi di dokumentasi Amazon Redshift. | DBA |
| Tugas | Deskripsi | Keterampilan yang dibutuhkan |
|---|---|---|
Buat tabel secara manual dengan DDL di Amazon Redshift. | (Opsional) Jika Anda menggunakan AWS SCT, tabel dibuat secara otomatis. Namun, jika ada kegagalan saat mereplikasi DDLs, Anda harus membuat tabel secara manual | DBA |
Buat tabel eksternal untuk Redshift Spectrum. | Buat tabel eksternal dengan skema eksternal untuk Amazon Redshift Spectrum. Untuk membuat tabel eksternal, Anda harus menjadi pemilik skema eksternal atau superuser database. Untuk informasi selengkapnya, lihat Membuat tabel eksternal untuk Amazon Redshift Spectrum di dokumentasi Amazon Redshift. | DBA |
| Tugas | Deskripsi | Keterampilan yang dibutuhkan |
|---|---|---|
Gunakan AWS DMS untuk memigrasikan data. | Setelah Anda membuat DDL tabel di database Amazon Redshift, migrasi data Anda ke Amazon Redshift menggunakan AWS DMS. Untuk langkah dan petunjuk terperinci, lihat Menggunakan database Amazon Redshift sebagai target AWS DMS dalam dokumentasi AWS DMS. | DBA |
Gunakan perintah COPY untuk memuat data. | Gunakan Untuk informasi selengkapnya, lihat Menggunakan perintah COPY untuk memuat dari Amazon S3 di dokumentasi Amazon Redshift. | DBA |
| Tugas | Deskripsi | Keterampilan yang dibutuhkan |
|---|---|---|
Validasi sumber dan catatan target. | Validasi jumlah tabel untuk sumber dan catatan target yang dimuat dari sistem sumber Anda. | DBA |
Menerapkan praktik terbaik Amazon Redshift untuk penyetelan kinerja. | Menerapkan praktik terbaik Amazon Redshift untuk desain tabel dan database. Untuk informasi lebih lanjut, lihat posting blog 10 teknik penyetelan kinerja teratas untuk Amazon Redshift | DBA |
Optimalkan kinerja kueri. | Amazon Redshift menggunakan kueri berbasis SQL untuk berinteraksi dengan data dan objek dalam sistem. Bahasa manipulasi data (DHTML) adalah bagian dari SQL yang dapat Anda gunakan untuk melihat, menambah, mengubah, dan menghapus data. DDL adalah bagian dari SQL yang Anda gunakan untuk menambah, mengubah, dan menghapus objek database seperti tabel dan tampilan. Untuk informasi selengkapnya, lihat Menyetel kinerja kueri di dokumentasi Amazon Redshift. | DBA |
Menerapkan WLM. | Anda dapat menggunakan manajemen beban kerja (WLM) untuk menentukan beberapa antrian kueri dan merutekan kueri ke antrian yang sesuai saat runtime. Untuk informasi selengkapnya, lihat Menerapkan manajemen beban kerja di dokumentasi Amazon Redshift. | DBA |
Bekerja dengan penskalaan konkurensi. | Dengan menggunakan fitur Penskalaan Konkurensi, Anda dapat mendukung pengguna bersamaan dan kueri bersamaan yang hampir tidak terbatas, dengan kinerja kueri yang cepat secara konsisten. Untuk informasi selengkapnya, lihat Bekerja dengan penskalaan konkurensi di dokumentasi Amazon Redshift. | DBA |
Gunakan praktik terbaik Amazon Redshift untuk desain tabel. | Ketika Anda merencanakan database Anda, keputusan desain tabel penting tertentu dapat sangat mempengaruhi kinerja kueri secara keseluruhan. Untuk informasi selengkapnya tentang memilih opsi desain tabel yang paling tepat, lihat praktik terbaik Amazon Redshift untuk mendesain tabel di dokumentasi Amazon Redshift. | DBA |
Buat tampilan terwujud di Amazon Redshift. | Tampilan terwujud berisi kumpulan hasil yang dihitung sebelumnya berdasarkan kueri SQL di atas satu atau beberapa tabel dasar. Anda dapat mengeluarkan Untuk informasi selengkapnya, lihat Membuat tampilan terwujud di Amazon Redshift di dokumentasi Amazon Redshift. | DBA |
Tentukan gabungan antara tabel. | Untuk mencari lebih dari satu tabel pada saat yang sama ThoughtSpot, Anda harus menentukan gabungan antara tabel dengan menentukan kolom yang berisi data yang cocok di dua tabel. Kolom ini Anda dapat mendefinisikannya dengan menggunakan | DBA |
| Tugas | Deskripsi | Keterampilan yang dibutuhkan |
|---|---|---|
Tambahkan koneksi Amazon Redshift. | Tambahkan sambungan Amazon Redshift ke database Falcon lokal ThoughtSpot Anda. Untuk informasi selengkapnya, lihat Menambahkan sambungan Amazon Redshift | DBA |
Edit koneksi Amazon Redshift. | Anda dapat mengedit koneksi Amazon Redshift untuk menambahkan tabel dan kolom. Untuk informasi selengkapnya, lihat Mengedit sambungan Amazon Redshift | DBA |
Memetakan ulang koneksi Amazon Redshift. | Ubah parameter koneksi dengan mengedit file pemetaan sumber .yaml yang dibuat saat Anda menambahkan koneksi Amazon Redshift. Misalnya, Anda dapat memetakan ulang tabel atau kolom yang ada ke tabel atau kolom yang berbeda dalam koneksi database yang ada. ThoughtSpot merekomendasikan agar Anda memeriksa dependensi sebelum dan sesudah Anda memetakan ulang tabel atau kolom dalam koneksi untuk memastikan bahwa mereka ditampilkan sesuai kebutuhan. Untuk informasi selengkapnya, lihat Memetakan ulang koneksi Amazon Redshift | DBA |
Hapus tabel dari koneksi Amazon Redshift. | (Opsional) Jika Anda mencoba menghapus tabel dalam koneksi Amazon Redshift, ThoughtSpot memeriksa dependensi dan menampilkan daftar objek dependen. Anda dapat memilih objek yang terdaftar untuk menghapusnya atau menghapus ketergantungan. Anda kemudian dapat menghapus tabel. Untuk informasi selengkapnya, lihat Menghapus tabel dari sambungan Amazon Redshift | DBA |
Hapus tabel dengan objek dependen dari koneksi Amazon Redshift. | (Opsional) Jika Anda mencoba menghapus tabel dengan objek dependen, operasi diblokir. Sebuah Untuk informasi selengkapnya, lihat Menghapus tabel dengan objek dependen dari koneksi Amazon Redshift | DBA |
Hapus koneksi Amazon Redshift. | (Opsional) Karena koneksi dapat digunakan di beberapa sumber data atau visualisasi, Anda harus menghapus semua sumber dan tugas yang menggunakan koneksi tersebut sebelum Anda dapat menghapus koneksi Amazon Redshift. Untuk informasi selengkapnya, lihat Menghapus sambungan Amazon Redshift | DBA |
Periksa referensi koneksi untuk Amazon Redshift. | Pastikan Anda memberikan informasi yang diperlukan untuk koneksi Amazon Redshift Anda dengan menggunakan referensi Koneksi | DBA |
Informasi tambahan
