Flink 1.15 Kebuntuan Wastafel Async - Layanan Terkelola untuk Apache Flink

Amazon Managed Service untuk Apache Flink (Amazon MSF) sebelumnya dikenal sebagai Amazon Kinesis Data Analytics untuk Apache Flink.

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Flink 1.15 Kebuntuan Wastafel Async

Ada masalah yang diketahui dengan AWS konektor untuk antarmuka implementasi AsyncSink Apache Flink. Ini memengaruhi aplikasi yang menggunakan Flink 1.15 dengan konektor berikut:

  • Untuk aplikasi Java:

    • KinesisStreamsSink – org.apache.flink:flink-connector-kinesis

    • KinesisStreamsSink – org.apache.flink:flink-connector-aws-kinesis-streams

    • KinesisFirehoseSink – org.apache.flink:flink-connector-aws-kinesis-firehose

    • DynamoDbSink – org.apache.flink:flink-connector-dynamodb

  • SQL/TableAPI/PythonAplikasi Flink:

    • kinesis — org.apache.flink:flink-sql-connector-kinesis

    • kinesis — org.apache.flink:flink-sql-connector-aws-kinesis-streams

    • selang api — org.apache.flink:flink-sql-connector-aws-kinesis-firehose

    • dinamodb — org.apache.flink:flink-sql-connector-dynamodb

Aplikasi yang terpengaruh akan mengalami gejala berikut:

  • Pekerjaan Flink dalam RUNNING keadaan, tetapi tidak memproses data;

  • Tidak ada pekerjaan restart;

  • Pos pemeriksaan sudah habis waktu.

Masalah ini disebabkan oleh bug di AWS SDK sehingga tidak memunculkan kesalahan tertentu ke pemanggil saat menggunakan klien HTTP async. Hal ini mengakibatkan wastafel menunggu tanpa batas waktu untuk “permintaan dalam penerbangan” selesai selama operasi flush pos pemeriksaan.

Masalah ini telah diperbaiki di AWS SDK mulai dari versi 2.20.144.

Berikut adalah petunjuk tentang cara memperbarui konektor yang terpengaruh untuk menggunakan versi baru AWS SDK di aplikasi Anda:

Topik