Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Migrasi data ke AWS Cloud dengan menggunakan Starburst
Antony Prasad Thevaraj dan Suresh Veeragoni, Amazon Web Services
Shaun Van Staden, Tidak Ada
Ringkasan
Starburst membantu mempercepat perjalanan migrasi data Anda ke Amazon Web Services (AWS) dengan menyediakan mesin kueri perusahaan yang menyatukan sumber data yang ada dalam satu titik akses. Anda dapat menjalankan analitik di berbagai sumber data untuk mendapatkan wawasan berharga, sebelum menyelesaikan rencana migrasi apa pun. Tanpa mengganggu business-as-usual analitik, Anda dapat memigrasikan data dengan menggunakan mesin Starburst atau aplikasi ekstrak, transformasi, dan muat (ETL) khusus.
Prasyarat dan batasan
Prasyarat
Aktif Akun AWS
Awan pribadi virtual (VPC)
Cluster Amazon Elastic Kubernetes Service (Amazon EKS)
Grup Auto Scaling Amazon Elastic Compute Cloud (Amazon EC2)
Daftar beban kerja sistem saat ini yang perlu dimigrasikan
Konektivitas jaringan dari AWS ke lingkungan lokal
Arsitektur
Arsitektur referensi
Diagram arsitektur tingkat tinggi berikut menunjukkan penerapan khas Starburst Enterprise di: AWS Cloud
Kluster Starburst Enterprise berjalan di dalam kluster Anda Akun AWS.
Pengguna mengautentikasi dengan menggunakan Lightweight Directory Access Protocol (LDAP) atau Open Authorization (OAuth) dan berinteraksi langsung dengan cluster Starburst.
Starburst dapat terhubung ke beberapa sumber AWS data, seperti AWS Glue, Amazon Simple Storage Service (Amazon S3), Amazon Relational Database Service (Amazon RDS), dan Amazon Redshift. Starburst menyediakan kemampuan kueri gabungan di seluruh sumber data di AWS Cloud, di tempat, atau di lingkungan cloud lainnya.
Anda meluncurkan Starburst Enterprise di klaster Amazon EKS dengan menggunakan bagan Helm.
Starburst Enterprise menggunakan grup Amazon EC2 Auto Scaling dan Instans Spot EC2 Amazon untuk mengoptimalkan infrastruktur.
Starburst Enterprise terhubung langsung ke sumber data lokal yang ada untuk membaca data secara real-time. Selain itu, jika Anda memiliki penyebaran Starburst Enterprise yang ada di lingkungan ini, Anda dapat langsung menghubungkan cluster Starburst baru Anda AWS Cloud ke cluster yang ada ini.
Harap perhatikan hal berikut:
Starburst bukan platform virtualisasi data. Ini adalah mesin query massively parallel processing (MPP) berbasis SQL yang membentuk dasar strategi data mesh keseluruhan untuk analitik.
Ketika Starburst digunakan sebagai bagian dari migrasi, Starburst memiliki konektivitas langsung ke infrastruktur lokal yang ada.
Starburst menyediakan beberapa built-in enterprise dan open-source konektor yang memfasilitasi konektivitas ke berbagai sistem warisan. Untuk daftar lengkap konektor dan kemampuannya, lihat Konektor
di panduan pengguna Starburst Enterprise. Starburst dapat melakukan kueri data secara real-time dari sumber data lokal. Ini mencegah gangguan operasi bisnis reguler saat data sedang dimigrasikan.
Jika Anda bermigrasi dari penerapan Starburst Enterprise lokal yang ada, Anda dapat menggunakan konektor khusus, Starburst Stargate, untuk menghubungkan kluster Starburst Enterprise langsung ke kluster lokal. AWS Ini memberikan manfaat kinerja tambahan saat pengguna bisnis dan analis data menggabungkan kueri dari lingkungan lokal AWS Cloud ke lingkungan lokal Anda.
Ikhtisar proses tingkat tinggi
Anda dapat mempercepat proyek migrasi data dengan menggunakan Starburst karena Starburst mengaktifkan wawasan di semua data Anda, sebelum memigrasikannya. Gambar berikut menunjukkan proses khas untuk memigrasi data dengan menggunakan Starburst.
Peran
Peran berikut biasanya diperlukan untuk menyelesaikan migrasi menggunakan Starburst:
Administrator cloud — Bertanggung jawab untuk membuat sumber daya cloud tersedia untuk menjalankan aplikasi Starburst Enterprise
Administrator Starburst — Bertanggung jawab untuk menginstal, mengonfigurasi, mengelola, dan mendukung aplikasi Starburst
Insinyur data — Bertanggung jawab untuk:
Migrasi data lama ke cloud
Membangun pandangan semantik untuk mendukung analitik
Pemilik solusi atau sistem — Bertanggung jawab atas implementasi solusi secara keseluruhan
Alat
Layanan AWS
Amazon Elastic Compute Cloud (Amazon EC2) menyediakan kapasitas komputasi yang dapat diskalakan di. AWS Cloud Anda dapat meluncurkan server virtual sebanyak yang Anda butuhkan dan dengan cepat meningkatkannya ke atas atau ke bawah.
Amazon Elastic Kubernetes Service (Amazon EKS) membantu Anda menjalankan AWS Kubernetes tanpa perlu menginstal atau memelihara control plane atau node Kubernetes Anda sendiri.
Alat-alat lainnya
Helm
- Helm adalah manajer paket untuk Kubernetes yang membantu Anda menginstal dan mengelola aplikasi di klaster Kubernetes Anda. Starburst Enterprise
adalah mesin query massively parallel processing (MPP) berbasis SQL yang membentuk dasar strategi data mesh secara keseluruhan untuk analitik. Starburst Stargate
— Starburst Stargate menautkan katalog dan sumber data dalam satu lingkungan Starburst Enterprise, seperti cluster di pusat data lokal, ke katalog dan sumber data di lingkungan Starburst Enterprise lainnya, seperti cluster di. AWS Cloud
Epik
| Tugas | Deskripsi | Keterampilan yang dibutuhkan |
|---|---|---|
Identifikasi dan prioritaskan data Anda. | Identifikasi data yang ingin Anda pindahkan. Sistem lama lokal yang besar dapat menyertakan data inti yang ingin Anda migrasi bersama data yang tidak ingin Anda pindahkan atau tidak dapat dipindahkan karena alasan kepatuhan. Dimulai dengan inventaris data membantu Anda memprioritaskan data mana yang harus Anda targetkan terlebih dahulu. Untuk informasi selengkapnya, lihat Memulai penemuan portofolio otomatis. | Insinyur data, DBA |
Jelajahi, inventarisasi, dan buat cadangan data Anda. | Validasi kualitas, kuantitas, dan relevansi data untuk kasus penggunaan Anda. Cadangkan atau buat snapshot data sesuai kebutuhan, dan selesaikan lingkungan target untuk data. | Insinyur data, DBA |
| Tugas | Deskripsi | Keterampilan yang dibutuhkan |
|---|---|---|
Konfigurasikan Starburst Enterprise di file. AWS Cloud | Saat data sedang dikatalogkan, siapkan Starburst Enterprise di cluster Amazon EKS yang dikelola. Untuk informasi selengkapnya lihat, Menerapkan dengan Kubernetes | Administrator AWS, Pengembang aplikasi |
Connect Starburst ke sumber data. | Setelah Anda mengidentifikasi data dan mengatur Starburst Enterprise, sambungkan Starburst ke sumber data. Starburst membaca data langsung dari sumber data sebagai query SQL. Untuk informasi selengkapnya, lihat dokumentasi referensi Starburst Enterprise | Administrator AWS, Pengembang aplikasi |
| Tugas | Deskripsi | Keterampilan yang dibutuhkan |
|---|---|---|
Membangun dan menjalankan pipeline ETL. | Mulailah proses migrasi data. Aktivitas ini dapat terjadi bersamaan dengan business-as-usual analitik. Untuk migrasi, Anda dapat menggunakan produk pihak ketiga atau Starburst. Starburst memiliki kemampuan untuk membaca dan menulis data di berbagai sumber. Untuk informasi selengkapnya, lihat dokumentasi referensi Starburst Enterprise | Insinyur data |
Validasi data. | Setelah data dimigrasi, validasi data untuk memastikan semua data yang diperlukan telah dipindahkan dan utuh. | Insinyur data, DevOps insinyur |
| Tugas | Deskripsi | Keterampilan yang dibutuhkan |
|---|---|---|
Potong data. | Setelah migrasi dan validasi data selesai, Anda dapat memotong data. Ini melibatkan mengubah tautan koneksi data di Starburst. Alih-alih menunjuk ke sumber lokal, Anda mengarahkan ke sumber cloud baru dan memperbarui tampilan semantik. Untuk informasi selengkapnya, lihat Konektor | Insinyur data, Cutover lead |
Luncurkan ke pengguna. | Konsumen data mulai bekerja dari sumber data yang dimigrasi. Proses ini tidak terlihat oleh pengguna akhir analitik. | Cutover lead, Insinyur data |
Sumber daya terkait
AWS Marketplace
Dokumentasi Starburst
AWS Dokumentasi lainnya
Memulai dengan penemuan portofolio otomatis (Panduan AWS Preskriptif)
Mengoptimalkan Biaya dan Kinerja Infrastruktur Cloud dengan Starburst di AWS
(AWS posting blog)
