Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Pemrosesan latensi rendah untuk sumber acara Kafka
AWS Lambda secara native mendukung pemrosesan peristiwa latensi rendah untuk aplikasi yang membutuhkan end-to-end latensi konsisten kurang dari 100 milidetik. Halaman ini menyediakan detail konfigurasi dan rekomendasi untuk mengaktifkan alur kerja latensi rendah.
Aktifkan pemrosesan latensi rendah
Untuk mengaktifkan pemrosesan latensi rendah pada pemetaan sumber peristiwa Kafka, konfigurasi dasar berikut diperlukan:
-
Aktifkan mode yang disediakan. Untuk informasi selengkapnya, lihat Mengkonfigurasi mode yang disediakan.
-
Setel
MaximumBatchingWindowInSecondsparameter pemetaan sumber peristiwa ke 0. Untuk informasi selengkapnya, lihat Perilaku batching.
Menyetel dengan latensi rendah Kafka ESM Anda
Pertimbangkan rekomendasi berikut untuk mengoptimalkan pemetaan sumber acara Kafka Anda untuk latensi rendah:
Konfigurasi mode yang disediakan
Dalam mode yang disediakan untuk pemetaan sumber peristiwa Kafka, Lambda memungkinkan Anda untuk menyempurnakan throughput pemetaan sumber peristiwa Anda dengan mengonfigurasi jumlah sumber daya minimum dan maksimum yang disebut poller peristiwa. Poller peristiwa (atau poller) mewakili sumber daya komputasi yang mendukung pemetaan sumber peristiwa dalam mode yang disediakan, dan mengalokasikan hingga 5 throughput. MB/s Setiap poller acara mendukung hingga 5 pemanggilan Lambda bersamaan.
Untuk menentukan konfigurasi poller yang optimal untuk aplikasi Anda, pertimbangkan tingkat konsumsi puncak dan persyaratan pemrosesan Anda. Mari kita lihat contoh yang disederhanakan:
Dengan ukuran batch 20 catatan dan durasi fungsi target rata-rata 50ms, setiap poller dapat menangani 2.000 catatan per detik dengan batas 5 MB/s . Ini dihitung sebagai: (20 catatan × 1000ms/50ms) × 5 pemanggilan Lambda bersamaan. Oleh karena itu, jika tingkat konsumsi puncak yang Anda inginkan adalah 20.000 catatan per detik, Anda memerlukan setidaknya 10 poller acara.
catatan
Kami merekomendasikan untuk menyediakan poller acara tambahan sebagai penyangga agar tidak beroperasi secara konsisten pada kapasitas maksimum.
Mode yang disediakan secara otomatis menskalakan poller acara Anda berdasarkan pola lalu lintas dalam poller peristiwa minimum dan maksimum yang dikonfigurasi yang dapat memicu penyeimbangan ulang, dan karenanya, memperkenalkan latensi tambahan. Anda dapat menonaktifkan auto-scaling dengan mengonfigurasi nilai yang sama untuk poller peristiwa minimum dan maksimum.
Pertimbangan tambahan
Beberapa pertimbangan tambahan meliputi:
Dingin dimulai dari pemanggilan fungsi target Lambda Anda berpotensi meningkatkan latensi. end-to-end Untuk mengurangi risiko ini, pertimbangkan untuk mengaktifkan konkurensi yang disediakan atau SnapStartpada fungsi target pemetaan sumber peristiwa Anda. Selain itu, optimalkan alokasi memori fungsi Anda untuk memastikan eksekusi yang konsisten dan optimal.
-
Ketika
MaximumBatchingWindowInSecondsdiatur ke 0, Lambda akan segera memproses catatan yang tersedia tanpa menunggu untuk mengisi ukuran batch lengkap. Misalnya, jika ukuran batch Anda disetel ke 1.000 catatan tetapi hanya 100 catatan yang tersedia, Lambda akan segera memproses 100 catatan tersebut daripada menunggu 1.000 catatan penuh terakumulasi.
penting
Konfigurasi optimal untuk pemrosesan latensi rendah bervariasi secara signifikan berdasarkan beban kerja spesifik Anda. Kami sangat menyarankan untuk menguji konfigurasi yang berbeda dengan beban kerja Anda yang sebenarnya untuk menentukan pengaturan terbaik untuk kasus penggunaan Anda.
