Menggunakan adaptor DynamoDB Streams Kinesis untuk memproses catatan aliran

Menggunakan Adaptor Amazon Kinesis adalah cara yang disarankan untuk menggunakan aliran dari Amazon DynamoDB. DynamoDB Streams API sengaja mirip dengan Kinesis Data Streams. Di kedua layanan, aliran data terdiri dari pecahan, yang merupakan wadah untuk rekaman aliran. API kedua layanan berisi operasi ListStreams, DescribeStream, GetShards, dan GetShardIterator. (Meskipun tindakan DynamoDB Streams ini serupa dengan tindakan serupa di Kinesis Data Streams, tindakan tersebut tidak 100 persen identik.)

Sebagai pengguna DynamoDB Streams, Anda dapat menggunakan pola desain yang ditemukan dalam KCL untuk memproses serpihan dan rekaman aliran DynamoDB Streams. Untuk melakukan ini, Anda menggunakan Adaptor DynamoDB Streams Kinesis. Adaptor Kinesis mengimplementasikan antarmuka Kinesis Data Streams sehingga KCL dapat digunakan untuk menggunakan dan memproses catatan dari DynamoDB Streams. Untuk petunjuk tentang cara mengatur dan menginstal DynamoDB Streams Kinesis Adapter, lihat repositori. GitHub

Anda dapat menulis aplikasi untuk Kinesis Data Streams menggunakan Kinesis Client Library (KCL). KCL menyederhanakan pengodean dengan menyediakan abstraksi yang berguna di atas Kinesis Data Streams API tingkat rendah. Untuk informasi selengkapnya tentang KCL, lihat Mengembangkan konsumen menggunakan Kinesis client library dalam Panduan Developer Amazon Kinesis Data Streams.

DynamoDB merekomendasikan penggunaan KCL versi 3.5.x+dengan SDK untuk Java v2.x. AWS DynamoDB Streams Kinesis Adapter versi 1.x saat ini dengan AWS SDK untuk Java v1.x akan terus didukung sepenuhnya sepanjang siklus hidupnya seperti yang dimaksudkan selama periode transisi selaras dengan kebijakan pemeliharaan AWS SDK dan Alat.

Diagram berikut menunjukkan bagaimana perpustakaan ini berinteraksi satu sama lain.

Dengan Adaptor Kinesis DynamoDB Streams, Anda dapat mulai mengembangkan antarmuka KCL, dengan panggilan API diarahkan secara mulus ke titik akhir DynamoDB Streams.

Saat aplikasi Anda dimulai, aplikasi akan memanggil KCL untuk membuat instance pekerja. Anda harus menyediakan pekerja dengan informasi konfigurasi untuk aplikasi, seperti deskriptor aliran dan AWS kredenSIAL, dan nama kelas pengolah rekaman yang Anda berikan. Saat menjalankan kode di pemroses rekaman, pekerja melakukan tugas-tugas berikut:

Adaptor KCL mendukung mode catch-up, fitur penyesuaian laju panggilan otomatis untuk menangani peningkatan throughput sementara. Ketika jeda pemrosesan aliran melebihi ambang batas yang dapat dikonfigurasi (default satu menit), mode catch-up menskalakan frekuensi panggilan GetRecords API dengan nilai yang dapat dikonfigurasi (default 3x) untuk mengambil catatan lebih cepat, kemudian kembali normal setelah jeda turun. Ini sangat berharga selama periode throughput tinggi di mana aktivitas penulisan DynamoDB dapat membanjiri konsumen menggunakan tingkat polling default. Catch-up mode dapat diaktifkan melalui parameter catchupEnabled konfigurasi (default false).