Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Otomatiskan konsumsi data dari AWS Data Exchange Amazon S3
Adnan Alvee dan Manikanta Gona, Amazon Web Services
Ringkasan
Pola ini menyediakan AWS CloudFormation template yang memungkinkan Anda untuk secara otomatis menyerap data dari AWS Data Exchange danau data Anda di Amazon Simple Storage Service (Amazon S3).
AWS Data Exchange adalah layanan yang memudahkan pertukaran kumpulan data berbasis file dengan aman di AWS Cloud. AWS Data Exchange kumpulan data berbasis langganan. Sebagai pelanggan, Anda juga dapat mengakses revisi kumpulan data saat penyedia mempublikasikan data baru.
AWS CloudFormation Template membuat acara di Amazon CloudWatch Events dan sebuah AWS Lambda fungsi. Acara ini mengawasi pembaruan apa pun pada kumpulan data yang telah Anda langgani. Jika ada pembaruan, CloudWatch memulai fungsi Lambda, yang menyalin data ke bucket S3 yang Anda tentukan. Ketika data telah berhasil disalin, Lambda mengirimkan pemberitahuan Amazon Simple Notification Service (Amazon SNS) kepada Anda.
Prasyarat dan batasan
Prasyarat
Aktif Akun AWS
Berlangganan ke kumpulan data di AWS Data Exchange
Batasan
AWS CloudFormation Template harus digunakan secara terpisah untuk setiap set data berlangganan. AWS Data Exchange
Arsitektur
Tumpukan teknologi target
AWS Lambda
Amazon S3
AWS Data Exchange
Amazon CloudWatch
Amazon SNS
Arsitektur target
Otomatisasi dan skala
Anda dapat menggunakan AWS CloudFormation template beberapa kali untuk kumpulan data yang ingin Anda konsumsi ke dalam danau data.
Alat
AWS Data Exchangememudahkan AWS pelanggan untuk bertukar kumpulan data berbasis file dengan aman di. AWS Cloud Sebagai pelanggan, Anda dapat menemukan dan berlangganan ratusan produk dari penyedia data yang memenuhi syarat. Kemudian, Anda dapat dengan cepat mengunduh kumpulan data atau menyalinnya ke Amazon S3 untuk digunakan di berbagai layanan AWS analisis dan pembelajaran mesin. Siapa pun yang memiliki Akun AWS dapat menjadi AWS Data Exchange pelanggan.
AWS Lambda memungkinkan Anda menjalankan kode tanpa server provisioning atau pengelolaan. Lambda menjalankan kode Anda hanya saat diperlukan dan menskalakan secara otomatis, dari beberapa permintaan per hari hingga ribuan per detik. Anda hanya membayar untuk waktu komputasi yang Anda konsumsi; tidak ada biaya ketika kode Anda tidak berjalan. Dengan Lambda, Anda dapat menjalankan kode untuk hampir semua jenis aplikasi atau layanan backend tanpa administrasi. Lambda menjalankan kode Anda pada infrastruktur komputasi ketersediaan tinggi dan mengelola semua sumber daya komputasi, termasuk pemeliharaan server dan sistem operasi, penyediaan kapasitas dan penskalaan otomatis, pemantauan kode, dan pencatatan.
Amazon S3 menyediakan penyimpanan untuk internet. Anda dapat menggunakan Amazon S3 untuk menyimpan dan mengambil data sebanyak apa pun kapan pun, dari mana pun di web.
Amazon CloudWatch Events memberikan aliran peristiwa sistem yang mendekati real-time yang menjelaskan perubahan AWS sumber daya. Dengan menggunakan aturan sederhana yang dapat Anda atur dengan cepat, Anda dapat mencocokkan acara dan mengarahkannya ke satu atau lebih fungsi atau aliran target. CloudWatch Peristiwa menjadi sadar akan perubahan operasional saat terjadi. Ini menanggapi perubahan operasional ini dan mengambil tindakan korektif seperlunya, dengan mengirim pesan untuk menanggapi lingkungan, mengaktifkan fungsi, membuat perubahan, dan menangkap informasi negara. Anda juga dapat menggunakan CloudWatch Acara untuk menjadwalkan tindakan otomatis yang dimulai sendiri pada waktu-waktu tertentu menggunakan ekspresi cron atau rate.
Amazon Simple Notification Service (Amazon SNS) memungkinkan aplikasi, pengguna akhir, dan perangkat untuk langsung mengirim dan menerima notifikasi dari cloud. Amazon SNS menyediakan topik (saluran komunikasi) untuk pengiriman pesan dengan throughput tinggi, berbasis push. many-to-many Menggunakan topik Amazon SNS, penerbit dapat mendistribusikan pesan ke sejumlah besar pelanggan untuk pemrosesan paralel, termasuk antrian Amazon Simple Queue Service (Amazon SQS), fungsi Lambda, dan webhook. HTTP/S Anda juga dapat menggunakan Amazon SNS untuk mengirim notifikasi kepada pengguna akhir menggunakan push seluler, SMS, dan email.
Epik
| Tugas | Deskripsi | Keterampilan yang dibutuhkan |
|---|---|---|
Berlangganan kumpulan data. | Di AWS Data Exchange konsol, berlangganan dataset. Untuk petunjuk, lihat Berlangganan produk data AWS Data Exchange dalam AWS dokumentasi. | AWS Umum |
Perhatikan atribut kumpulan data. | Perhatikan Wilayah AWS, ID, dan ID revisi untuk kumpulan data. Anda akan membutuhkan ini untuk AWS CloudFormation template di langkah berikutnya. | AWS Umum |
| Tugas | Deskripsi | Keterampilan yang dibutuhkan |
|---|---|---|
Buat ember dan folder S3. | Jika Anda sudah memiliki data lake di Amazon S3, buat folder untuk menyimpan data untuk dicerna. AWS Data Exchange Jika Anda menerapkan template untuk tujuan pengujian, buat bucket S3 baru, dan catat nama bucket dan awalan folder untuk langkah berikutnya. | AWS Umum |
Menyebarkan AWS CloudFormation template. | Terapkan AWS CloudFormation template yang disediakan sebagai lampiran ke pola ini. Untuk instruksi, lihat AWS CloudFormation dokumentasi. Konfigurasikan parameter berikut agar sesuai dengan pengaturan bucket Akun AWS, kumpulan data, dan S3 Anda: Dataset Wilayah AWS, ID Dataset, ID Revisi, Nama Bucket S3 (misalnya, | AWS Umum |
Sumber daya terkait
Berlangganan produk data pada AWS Data Exchange (AWS Data Exchange dokumentasi)
Lampiran
Untuk mengakses konten tambahan yang terkait dengan dokumen ini, unzip file berikut: attachment.zip
