Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

# Migrasikan beban kerja dari ke AWS Data Pipeline Amazon MWAA
<a name="migrating-pipeline-workloads"></a>

AWS meluncurkan AWS Data Pipeline layanan pada tahun 2012. Pada saat itu, pelanggan menginginkan layanan yang memungkinkan mereka menggunakan berbagai opsi komputasi untuk memindahkan data antara sumber data yang berbeda. Karena kebutuhan transfer data berubah dari waktu ke waktu, begitu juga solusi untuk kebutuhan tersebut. Anda sekarang memiliki opsi untuk memilih solusi yang paling sesuai dengan kebutuhan bisnis Anda. Anda dapat memigrasikan beban kerja Anda ke salah satu layanan berikut: AWS 
+ Gunakan Alur Kerja Terkelola Amazon untuk Apache Airflow (Amazon MWAA) untuk mengelola orkestrasi alur kerja untuk Apache Airflow.
+ Gunakan Step Functions untuk mengatur alur kerja antara beberapa. Layanan AWS
+ Gunakan AWS Glue untuk menjalankan dan mengatur aplikasi Apache Spark.

Opsi yang Anda pilih tergantung pada beban kerja Anda saat ini. AWS Data Pipeline Topik ini menjelaskan cara bermigrasi dari AWS Data Pipeline ke Amazon MWAA.

**Topics**
+ [Memilih Amazon MWAA](#migrating-pipeline-workloads-mwaa)
+ [Arsitektur dan pemetaan konsep](#migrating-pipeline-workloads-concept-mapping)
+ [Contoh implementasi](#migrating-pipeline-workloads-examples)
+ [Perbandingan harga](#migrating-pipeline-workloads-price-comparison)
+ [Sumber daya terkait](#migrating-pipeline-workloads-resources)

## Memilih Amazon MWAA
<a name="migrating-pipeline-workloads-mwaa"></a>

 Amazon Managed Workflows for Apache Airflow (Amazon MWAA) adalah layanan orkestrasi terkelola untuk Apache Airflow yang memungkinkan Anda mengatur dan mengoperasikan pipeline data di cloud dalam skala besar. end-to-end [Apache](https://airflow.apache.org/) *Airflow adalah alat sumber terbuka yang digunakan untuk secara terprogram membuat, menjadwalkan, dan memantau urutan proses dan tugas yang disebut sebagai alur kerja.* Dengan Amazon MWAA, Anda dapat menggunakan Apache Airflow dan bahasa pemrograman Python untuk membuat alur kerja tanpa harus mengelola infrastruktur dasar untuk skalabilitas, ketersediaan, dan keamanan. Amazon MWAA secara otomatis menskalakan kapasitas alur kerjanya untuk memenuhi kebutuhan Anda, dan terintegrasi dengan layanan AWS keamanan untuk membantu memberi Anda akses cepat dan aman ke data Anda. 

Berikut ini menyoroti beberapa manfaat bermigrasi dari AWS Data Pipeline ke Amazon MWAA:
+ **Peningkatan skalabilitas dan kinerja** - Amazon MWAA menyediakan kerangka kerja yang fleksibel dan dapat diskalakan untuk menentukan dan mengeksekusi alur kerja. Hal ini memungkinkan pengguna untuk menangani alur kerja yang besar dan kompleks dengan mudah, dan memanfaatkan fitur seperti penjadwalan tugas dinamis, alur kerja berbasis data, dan paralelisme.
+ **Pemantauan dan pencatatan yang ditingkatkan** - Amazon MWAA terintegrasi dengan Amazon CloudWatch untuk meningkatkan pemantauan dan pencatatan alur kerja Anda. Amazon MWAA secara otomatis mengirimkan metrik dan log sistem ke. CloudWatch Ini berarti Anda dapat melacak kemajuan dan kinerja alur kerja Anda secara real-time, dan mengidentifikasi masalah apa pun yang muncul.
+ **Integrasi yang lebih baik dengan AWS layanan dan perangkat lunak pihak ketiga** [https://www.getdbt.com/](https://www.getdbt.com/) Ini memungkinkan Anda memproses, dan mentransfer, data di berbagai lingkungan dan layanan.
+ **Alat pipa data sumber terbuka** — Amazon MWAA memanfaatkan produk Apache Airflow sumber terbuka yang sama dengan yang Anda kenal. Apache Airflow adalah alat yang dibuat khusus yang dirancang untuk menangani semua aspek manajemen pipa data, termasuk konsumsi, pemrosesan, transfer, pengujian integritas, pemeriksaan kualitas, dan memastikan garis keturunan data.
+ **Arsitektur modern dan fleksibel** — Amazon MWAA memanfaatkan kontainerisasi dan teknologi cloud-native, tanpa server. Ini berarti lebih banyak fleksibilitas dan portabilitas, serta penyebaran dan pengelolaan lingkungan alur kerja Anda yang lebih mudah.

## Arsitektur dan pemetaan konsep
<a name="migrating-pipeline-workloads-concept-mapping"></a>

 AWS Data Pipeline dan Amazon MWAA memiliki arsitektur dan komponen yang berbeda, yang dapat memengaruhi proses migrasi dan cara alur kerja didefinisikan dan dijalankan. Bagian ini meninjau arsitektur dan komponen untuk kedua layanan, dan menyoroti beberapa perbedaan utama. 

 Keduanya AWS Data Pipeline dan Amazon MWAA adalah layanan yang dikelola sepenuhnya. Saat memigrasikan beban kerja ke Amazon MWAA, Anda mungkin perlu mempelajari konsep baru untuk memodelkan alur kerja yang ada menggunakan Apache Airflow. Namun, Anda tidak perlu mengelola infrastruktur, menambal pekerja, dan mengelola pembaruan sistem operasi. 

 Tabel berikut mengaitkan konsep-konsep kunci AWS Data Pipeline dengan yang ada di Amazon MWAA. Gunakan informasi ini sebagai titik awal untuk merancang rencana migrasi. 



- **Definisi pipa**
  - **AWS Data Pipeline:**  AWS Data Pipeline menggunakan file konfigurasi berbasis JSON yang mendefinisikan alur kerja.
  - **Amazon MWAA:** Amazon MWAA menggunakan [Directed Acyclic](https://airflow.apache.org/docs/apache-airflow/stable/core-concepts/dags.html) Graphs () berbasis Python yang menentukan alur kerja. DAGs

- **Lingkungan eksekusi pipa**
  - **AWS Data Pipeline:** Alur kerja berjalan di instans Amazon EC2. AWS Data Pipeline menyediakan dan mengelola instans ini atas nama Anda.
  - **Amazon MWAA:** Amazon MWAA menggunakan lingkungan kontainer Amazon ECS untuk menjalankan tugas.

- **Komponen pipa**
  - **AWS Data Pipeline:** Aktivitas adalah memproses tugas yang berjalan sebagai bagian dari alur kerja. / **Amazon MWAA:** [Operator](https://airflow.apache.org/docs/apache-airflow/stable/core-concepts/operators.html) ([Tugas](https://airflow.apache.org/docs/apache-airflow/stable/core-concepts/tasks.html)) adalah unit pemrosesan dasar dari alur kerja.
  - **AWS Data Pipeline:** Prasyarat berisi pernyataan kondisional yang harus benar sebelum suatu aktivitas dapat dijalankan. / **Amazon MWAA:** [Sensor](https://airflow.apache.org/docs/apache-airflow/stable/core-concepts/sensors.html) ([Tugas](https://airflow.apache.org/docs/apache-airflow/stable/core-concepts/tasks.html)) mewakili pernyataan bersyarat yang dapat menunggu sumber daya atau tugas diselesaikan sebelum dijalankan.
  - **AWS Data Pipeline:** Sumber daya AWS Data Pipeline mengacu pada sumber daya AWS komputasi yang melakukan pekerjaan yang ditentukan oleh aktivitas pipeline. Amazon EC2 dan Amazon EMR adalah dua sumber daya yang tersedia. / **Amazon MWAA:** Menggunakan tugas dalam DAG, Anda dapat menentukan berbagai sumber daya komputasi, termasuk Amazon ECS, Amazon EMR, dan Amazon EKS. Amazon MWAA menjalankan operasi Python pada pekerja yang berjalan di Amazon ECS.

- **Eksekusi alur**
  - **AWS Data Pipeline:** AWS Data Pipeline mendukung penjadwalan berjalan dengan pola berbasis tarif reguler, dan berbasis cron. / **Amazon MWAA:** [Amazon MWAA mendukung penjadwalan dengan ekspresi [cron](https://airflow.apache.org/docs/apache-airflow/stable/core-concepts/dag-run.html#cron-presets) dan preset, serta jadwal khusus.](https://airflow.apache.org/docs/apache-airflow/stable/authoring-and-scheduling/timetable.html)
  - **AWS Data Pipeline:** Sebuah instance mengacu pada setiap proses pipa. / **Amazon MWAA:** [DAG run](https://airflow.apache.org/docs/apache-airflow/stable/core-concepts/dag-run.html) mengacu pada setiap proses alur kerja Apache Airflow.
  - **AWS Data Pipeline:** Upaya mengacu pada percobaan ulang operasi yang gagal. / **Amazon MWAA:** Amazon MWAA mendukung percobaan ulang yang Anda tentukan baik di level DAG, atau di tingkat tugas.



## Contoh implementasi
<a name="migrating-pipeline-workloads-examples"></a>

 Dalam banyak kasus, Anda akan dapat menggunakan kembali sumber daya yang saat ini Anda atur setelah AWS Data Pipeline bermigrasi ke Amazon MWAA. Daftar berikut berisi contoh implementasi menggunakan Amazon MWAA untuk kasus penggunaan yang paling umum AWS Data Pipeline .
+ [Menjalankan pekerjaan EMR Amazon](https://catalog.us-east-1.prod.workshops.aws/workshops/795e88bb-17e2-498f-82d1-2104f4824168/en-US/workshop-2-2-2/m1-processing/emr) (lokakarya)AWS 
+ [Membuat plugin khusus untuk Apache Hive dan Hadoop](https://docs.aws.amazon.com/mwaa/latest/userguide/samples-hive.html) (Panduan Pengguna *Amazon* MWAA)
+ [Menyalin data dari S3 ke Redshift](https://catalog.us-east-1.prod.workshops.aws/workshops/795e88bb-17e2-498f-82d1-2104f4824168/en-US/workshop-2-2-2/m1-processing/redshift) (bengkel)AWS 
+ [Menjalankan skrip shell pada instance Amazon ECS jarak jauh (Panduan Pengguna](https://docs.aws.amazon.com/mwaa/latest/userguide/samples-ssh.html) *Amazon MWAA*)
+ [Mengatur alur kerja hybrid (on-prem) (Posting blog)](https://dev.to/aws/orchestrating-hybrid-workflows-using-amazon-managed-workflows-for-apache-airflow-mwaa-2boc)

 Untuk tutorial dan contoh tambahan, lihat yang berikut ini: 
+ [Tutorial Amazon MWAA](https://docs.aws.amazon.com/mwaa/latest/userguide/tutorials.html)
+ [Contoh kode Amazon MWAA](https://docs.aws.amazon.com/mwaa/latest/userguide/sample-code.html)

## Perbandingan harga
<a name="migrating-pipeline-workloads-price-comparison"></a>

 Harga untuk AWS Data Pipeline didasarkan pada jumlah pipa, serta seberapa banyak Anda menggunakan setiap pipa. Aktivitas yang Anda jalankan lebih dari sekali sehari (frekuensi tinggi) berharga $1 per bulan per aktivitas. Aktivitas yang Anda jalankan sekali sehari atau kurang (frekuensi rendah) berharga $0,60 per bulan per aktivitas. Pipa Tidak Aktif dihargai $1 per pipa. Untuk informasi lebih lanjut, lihat halaman [AWS Data Pipeline harga](https://aws.amazon.com/datapipeline/pricing/). 

Harga untuk Amazon MWAA didasarkan pada durasi waktu lingkungan Apache Airflow terkelola Anda, dan penskalaan otomatis tambahan apa pun yang diperlukan untuk menyediakan lebih banyak pekerja, atau kapasitas penjadwal. Anda membayar untuk penggunaan lingkungan Amazon MWAA Anda setiap jam (ditagih pada resolusi satu detik), dengan biaya yang bervariasi tergantung pada ukuran lingkungan. Amazon MWAA secara otomatis menskalakan jumlah pekerja berdasarkan konfigurasi lingkungan Anda. AWS menghitung biaya pekerja tambahan secara terpisah. Untuk informasi lebih lanjut tentang biaya per jam menggunakan berbagai ukuran lingkungan Amazon MWAA, lihat halaman harga [Amazon MWAA](https://aws.amazon.com/managed-workflows-for-apache-airflow/pricing/). 

## Sumber daya terkait
<a name="migrating-pipeline-workloads-resources"></a>

 Untuk informasi selengkapnya dan praktik terbaik untuk menggunakan Amazon MWAA, lihat sumber daya berikut: 
+ [Referensi API Amazon MWAA](https://docs.aws.amazon.com/mwaa/latest/API/Welcome.html)
+ [Memantau dasbor dan alarm di Amazon MWAA](https://docs.aws.amazon.com/mwaa/latest/userguide/monitoring-dashboard.html)
+ [Penyetelan kinerja untuk Apache Airflow di Amazon MWAA](https://docs.aws.amazon.com/mwaa/latest/userguide/best-practices-tuning.html)