Memproses peristiwa secara asinkron dengan Amazon API Gateway, Amazon SQS, dan AWS Fargate - AWS Prescriptive Guidance
RingkasanPrasyarat dan batasanArsitekturAlatPraktik terbaikEpikPemecahan MasalahSumber daya terkait

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Memproses peristiwa secara asinkron dengan Amazon API Gateway, Amazon SQS, dan AWS Fargate

Andrea Meroni, Mariem Kthiri, Nadim Majed, Alessandro Trisolini, dan Michael Wallner, Amazon Web Services

Ringkasan

Amazon API Gateway adalah layanan terkelola penuh yang dapat digunakan pengembang untuk membuat, menerbitkan, memelihara, memantau, dan mengamankan APIs pada skala apa pun. Ini menangani tugas-tugas yang terlibat dalam menerima dan memproses hingga ratusan ribu panggilan API bersamaan.

Kuota layanan penting API Gateway adalah batas waktu integrasi. Batas waktu adalah waktu maksimum di mana layanan backend harus mengembalikan respons sebelum REST API mengembalikan kesalahan. Batas keras 29 detik umumnya dapat diterima untuk beban kerja sinkron. Namun, batas itu merupakan tantangan bagi pengembang yang ingin menggunakan API Gateway dengan beban kerja asinkron.

Pola ini menunjukkan contoh arsitektur untuk memproses peristiwa secara asinkron menggunakan API Gateway, Amazon Simple Queue Service (Amazon SQS) dan. AWS Fargate Arsitektur mendukung menjalankan pekerjaan pemrosesan tanpa batasan durasi, dan menggunakan REST API dasar sebagai antarmuka.

Projen digunakan untuk mengatur lingkungan pengembangan lokal dan untuk menyebarkan arsitektur contoh ke target Akun AWS, dalam kombinasi dengan, Docker AWS Cloud Development Kit (AWS CDK), dan Node.js. Projen secara otomatis menyiapkan lingkungan virtual Python dengan pra-komit dan alat yang digunakan untuk jaminan kualitas kode, pemindaian keamanan, dan pengujian unit. Untuk informasi selengkapnya, lihat bagian Alat.

Prasyarat dan batasan

Prasyarat

Batasan

  • Pekerjaan bersamaan dibatasi hingga 500 tugas per menit, yang merupakan jumlah maksimum tugas yang dapat disediakan Fargate.

Arsitektur

Diagram berikut menunjukkan interaksi API jobs dengan tabel jobs Amazon DynamoDB, layanan Fargate pemrosesan peristiwa, dan fungsi penanganan kesalahan. AWS Lambda Acara disimpan dalam arsip EventBridge acara Amazon.

Diagram arsitektur dengan deskripsi mengikuti diagram.

Alur kerja tipikal mencakup langkah-langkah berikut:

  1. Anda mengautentikasi terhadap AWS Identity and Access Management (IAM) dan mendapatkan kredensyal keamanan.

  2. Anda mengirim POST permintaan HTTP ke titik akhir API /jobs lowongan, yang menentukan parameter pekerjaan di badan permintaan.

  3. API jobs, yang merupakan API API Gateway REST API, mengembalikan respons HTTP yang berisi pengenal pekerjaan kepada Anda.

  4. API pekerjaan mengirimkan pesan ke antrean SQS.

  5. Fargate menarik pesan dari antrian SQS, memproses acara, dan kemudian menempatkan hasil pekerjaan di tabel DynamoDB. jobs

  6. Anda mengirim GET permintaan HTTP ke titik akhir API /jobs/{jobId} pekerjaan, dengan pengenal pekerjaan dari langkah 3 sebagai. {jobId}

  7. API pekerjaan menanyakan tabel jobs DynamoDB untuk mengambil hasil pekerjaan.

  8. API pekerjaan mengembalikan respons HTTP yang berisi hasil pekerjaan.

  9. Jika pemrosesan acara gagal, antrian SQS mengirimkan acara ke antrian huruf mati (DLQ).

  10. Sebuah EventBridge peristiwa memulai fungsi penanganan kesalahan.

  11. Fungsi penanganan kesalahan menempatkan parameter pekerjaan dalam tabel jobs DynamoDB.

  12. Anda dapat mengambil parameter pekerjaan dengan mengirimkan GET permintaan HTTP ke titik akhir API /jobs/{jobId} lowongan.

  13. Jika penanganan kesalahan gagal, fungsi penanganan kesalahan akan mengirimkan acara ke arsip. EventBridge

    Anda dapat memutar ulang acara yang diarsipkan dengan menggunakan. EventBridge

Alat

Layanan AWS

  • AWS Cloud Development Kit (AWS CDK)adalah kerangka pengembangan perangkat lunak yang membantu Anda menentukan dan menyediakan AWS Cloud infrastruktur dalam kode.

  • Amazon DynamoDB adalah layanan database NoSQL yang dikelola sepenuhnya yang menyediakan kinerja yang cepat, dapat diprediksi, dan terukur.

  • AWS Fargatemembantu Anda menjalankan container tanpa perlu mengelola server atau instans Amazon Elastic Compute Cloud EC2 (Amazon). Ini digunakan bersama dengan Amazon Elastic Container Service (Amazon ECS).

  • Amazon EventBridge adalah layanan bus acara tanpa server yang membantu Anda menghubungkan aplikasi Anda dengan data waktu nyata dari berbagai sumber. Misalnya, fungsi Lambda, titik akhir pemanggilan HTTP menggunakan tujuan API, atau bus acara di tempat lain. Akun AWS

  • AWS Lambdaadalah layanan komputasi yang membantu Anda menjalankan kode tanpa perlu menyediakan atau mengelola server. Ini menjalankan kode Anda hanya bila diperlukan dan skala secara otomatis, jadi Anda hanya membayar untuk waktu komputasi yang Anda gunakan.

  • Amazon Simple Queue Service (Amazon Simple Queue Service) menyediakan antrian host yang aman, tahan lama, dan tersedia yang membantu Anda mengintegrasikan dan memisahkan sistem dan komponen perangkat lunak terdistribusi.

Alat-alat lainnya

  • autopep8 secara otomatis memformat kode Python berdasarkan panduan gaya Proposal Peningkatan Python (PEP) 8.

  • Bandit memindai kode Python untuk menemukan masalah keamanan umum.

  • Commitizen adalah pemeriksa dan generator komit Git. CHANGELOG

  • cfn-lint adalah linter AWS CloudFormation

  • Checkov adalah alat analisis kode statis yang memeriksa infrastruktur sebagai kode (IAc) untuk kesalahan konfigurasi keamanan dan kepatuhan.

  • jq adalah alat baris perintah untuk mengurai JSON.

  • Postman adalah platform API.

  • pre-commit adalah manajer Git Hooks.

  • Projen adalah generator proyek.

  • pytest adalah kerangka kerja Python untuk menulis tes kecil yang dapat dibaca.

Repositori kode

Contoh kode arsitektur ini dapat ditemukan di GitHub Asynchronous Processing dengan API Gateway dan SQS repositori.

Praktik terbaik

  • Contoh arsitektur ini tidak termasuk pemantauan infrastruktur yang diterapkan. Jika kasus penggunaan Anda memerlukan pemantauan, evaluasi penambahan Konstruksi Pemantauan CDK atau solusi pemantauan lainnya.

  • Contoh arsitektur ini menggunakan izin IAM untuk mengontrol akses ke API pekerjaan. Siapa pun yang berwenang untuk berasumsi JobsAPIInvokeRole akan dapat memanggil API pekerjaan. Dengan demikian, mekanisme kontrol akses adalah biner. Jika kasus penggunaan Anda memerlukan model otorisasi yang lebih kompleks, evaluasi menggunakan mekanisme kontrol akses yang berbeda.

  • Saat pengguna mengirim POST permintaan HTTP ke titik akhir API /jobs jobs, data input divalidasi pada dua tingkatan yang berbeda:

    • API Gateway bertanggung jawab atas validasi permintaan pertama.

    • Fungsi pemrosesan acara melakukan permintaan kedua.

      Tidak ada validasi yang dilakukan saat pengguna melakukan GET permintaan HTTP ke titik akhir API /jobs/{jobId} lowongan. Jika kasus penggunaan Anda memerlukan validasi input tambahan dan tingkat keamanan yang lebih tinggi, evaluasi penggunaan AWS WAF untuk melindungi API Anda.

Epik

TugasDeskripsiKeterampilan yang dibutuhkan

Kloning repositori.

Untuk mengkloning repositori secara lokal, jalankan perintah berikut:

git clone https://github.com/aws-samples/asynchronous-event-processing-api-gateway-sqs-cdk.git
DevOps insinyur

Siapkan proyek.

Ubah direktori ke root repositori, dan atur lingkungan virtual Python dan semua alat dengan menggunakan Projen:

cd asynchronous-event-processing-api-gateway-api-gateway-sqs-cdk
npx projen
DevOps insinyur

Instal kait pra-komit.

Untuk memasang kait pra-komit, lakukan hal berikut:

  1. Aktifkan lingkungan virtual Python:

    source .env/bin/activate

  2. Pasang kait pra-komit:

    pre-commit install
pre-commit install --hook-type commit-msg
DevOps insinyur
TugasDeskripsiKeterampilan yang dibutuhkan

Bootstrap AWS CDK.

Untuk bootstrap AWS CDKdi Anda Akun AWS, jalankan perintah berikut:

AWS_PROFILE=$YOUR_AWS_PROFILE npx projen bootstrap
AWS DevOps

Menyebarkan contoh arsitektur.

Untuk menerapkan arsitektur contoh di Anda Akun AWS, jalankan perintah berikut:

AWS_PROFILE=$YOUR_AWS_PROFILE npx projen deploy
AWS DevOps
TugasDeskripsiKeterampilan yang dibutuhkan

Instal prasyarat tes.

Instal di workstation Anda AWS Command Line Interface (AWS CLI), Postman, dan jq.

Menggunakan Postman untuk menguji arsitektur contoh ini disarankan tetapi tidak wajib. Jika Anda memilih alat pengujian API alternatif, pastikan alat tersebut mendukung otentikasi AWS Signature Version 4, dan lihat titik akhir API terbuka yang dapat diperiksa dengan mengekspor REST API.

DevOps insinyur

AsumsikanJobsAPIInvokeRole.

Asumsikan JobsAPIInvokeRole yang dicetak sebagai output dari deploy perintah:

CREDENTIALS=$(AWS_PROFILE=$<YOUR_AWS_PROFILE> aws sts assume-role \
--no-cli-pager \
--role-arn $<JOBS_API_INVOKE_ROLE_ARN> \
--role-session-name JobsAPIInvoke)
export AWS_ACCESS_KEY_ID=$(cat $CREDENTIALS | jq ‘.Credentials’’.AccessKeyId’)
export AWS_SECRET_ACCESS_KEY=$(cat $CREDENTIALS | jq ‘.Credentials’’.SecretAccessKey’)
export AWS_SESSION_TOKEN==$(cat $CREDENTIALS | jq ‘.Credentials’’.SessionToken’)
AWS DevOps

Konfigurasikan Tukang Pos.

  • Untuk mengimpor koleksi Postman yang disertakan dalam repositori, ikuti petunjuk dalam dokumentasi Tukang Pos.

  • Atur JobsAPI variabel dengan nilai-nilai berikut:

    • accessKey- Nilai Credentials.AccessKeyId atribut dari assume-role perintah.

    • baseUrl- Nilai JobsApiJobsAPIEndpoint output dari deploy perintah, tanpa garis miring.

    • regionNilai di Wilayah AWS mana Anda menggunakan arsitektur contoh.

    • seconds- Nilai parameter input untuk pekerjaan contoh. Itu harus bilangan bulat positif.

    • secretKey- Nilai Credentials.SecretAccessKey atribut dari assume-role perintah.

    • sessionToken- Nilai Credentials.SessionToken atribut dari assume-role perintah.

AWS DevOps

Uji contoh arsitektur.

Untuk menguji arsitektur contoh, kirim permintaan ke API pekerjaan. Untuk informasi lebih lanjut, lihat dokumentasi Tukang Pos.

DevOps insinyur

Pemecahan Masalah

IsuSolusi

Penghancuran dan pemindahan arsitektur contoh berikutnya gagal karena grup CloudWatch log Amazon Logs /aws/apigateway/JobsAPIAccessLogs sudah ada.

  1. Jika perlu, ekspor data log Anda ke Amazon Simple Storage Service (Amazon S3).

  2. Hapus grup CloudWatch log Log/aws/apigateway/JobsAPIAccessLogs.

  3. Menerapkan ulang contoh arsitektur.

Penghancuran dan pemindahan arsitektur contoh berikutnya gagal karena grup CloudWatch log Log /aws/ecs/EventProcessingServiceLogs sudah ada.

  1. Jika perlu, ekspor data log Anda ke Amazon S3.

  2. Hapus grup CloudWatch log Log /aws/ecs/EventProcessingServiceLogs.

  3. Menerapkan ulang contoh arsitektur.

Sumber daya terkait