Layanan Terkelola Amazon untuk Apache Flink 2.2

MSF Flink 2.2 sekarang melaporkan pengecualian ketika pelanggan mencoba memodifikasi konfigurasi yang tidak didukung oleh MSF melalui env.getConfig().set() atau API serupa. Lihat Properti konfigurasi Flink terprogram.

Pelanggan masih dapat meminta untuk mengubah konfigurasi tertentu melalui tiket dukungan (lihat Pengaturan yang Dapat Dimodifikasi)

Met fullRestarts rik telah dihapus di Flink 2.2. Gunakan numRestarts metrik sebagai gantinya.

bytesRequestedPerFetchMetrik untuk konektor KDS telah dihapus di konektor Flink versi 6.0.0 (hanya versi AWS konektor yang kompatibel dengan Flink 2.2).

downtimeMetrik uptime dan keduanya ditandai sebagai usang di Flink 2.2 dan akan segera dihapus. Ganti uptime dengan metrik barurunningTime. Ganti downtime dengan satu atau lebihrestartingTime,cancellingTime, danfailingTime.

Lihat halaman Metrik dan Dim ensi untuk daftar lengkap metrik yang didukung.

Titik akhir yang diizinkan ini digunakan oleh AWS SDK DefaultCredentialsProvider (/latest/meta-data/iam/security-credentials/) dan DefaultAwsRegionProviderChain (/latest/dynamic/instance-identity/document) untuk secara otomatis mengonfigurasi kredenSIAL dan wilayah untuk aplikasi Anda.

Aplikasi yang menggunakan fungsi AWS SDK yang mengandalkan panggilan IMDS non-kredensional (sepertiEC2MetadataUtils.getInstanceId(),, EC2MetadataUtils.getInstanceType()EC2MetadataUtils.getLocalHostName(), atauEC2MetadataUtils.getAvailabilityZone()) akan menerima kesalahan HTTP 4xx saat mencoba panggilan ini.

Jika aplikasi Anda menggunakan IMDS misalnya metadata atau informasi lain di luar jalur yang diizinkan, buat ulang kode Anda untuk menggunakan variabel lingkungan atau konfigurasi aplikasi sebagai gantinya.

Untuk meningkatkan keamanan, ketergantungan apa pun di luar direktori kerja flink default akan menghasilkan:java.io.FileNotFoundException: /{path}/{filename} (Read-only file system). /tmp

Dependensi sistem file dapat berasal langsung dari kode Anda atau secara tidak langsung dari pustaka yang termasuk dalam dependensi Anda. Ganti dependensi sistem file langsung ke /tmp/ dalam kode Anda. Untuk dependensi sistem file tidak langsung dari pustaka, gunakan penggantian konfigurasi pustaka untuk mengarahkan operasi sistem file ke. /tmp/

DataSet API lama untuk pemrosesan batch telah dihapus sepenuhnya di Flink 2.0+. Semua pemrosesan batch sekarang harus menggunakan DataStream API terpadu.

Aplikasi yang menggunakan DataSet API harus dimigrasikan ke DataStream API sebelum memutakhirkan. Lihat panduan migrasi Apache Flink DataSet untuk konversi DataStream

Dukungan Java 11 sepenuhnya dihapus; Java 17 adalah runtime default dan direkomendasikan.

Dukungan Python 3.8 dihapus; Python 3.12 sekarang menjadi default.

Warisan SourceFunction dan SinkFunction antarmuka telah digantikan oleh API Source (FLIP-27) dan Sink () terpadu yang baru, yang memberikan dukungan yang lebih baik untuk bounded/unbounded dualitas, peningkatan koordinasi pos pemeriksaan, dan model pemrograman yang lebih bersih. FLIP-143

Untuk Aliran Data Kinesis, gunakan KinesisStreamsSource dan KinesisStreamsSink dariflink-connector-aws-kinesis-streams:6.0.0-2.0.

API Flink Scala telah dihapus. API Java Flink sekarang menjadi API tunggal yang didukung untuk JVM-based aplikasi.

Jika aplikasi Anda ditulis dalam Scala, Anda masih dapat menggunakan API Java Flink dari kode Scala — perubahan utamanya adalah Scala-specific pembungkus dan konversi implisit tidak lagi tersedia. Lihat Upgrade Aplikasi dan Versi Flink untuk detail tentang memperbarui aplikasi Scala Anda.

Kryo serializer yang ditingkatkan dari versi 2.24 ke 5.6 dapat menyebabkan masalah kompatibilitas status.

POJO dengan koleksi (HashMap,ArrayList,HashSet) mungkin memiliki masalah kompatibilitas status.

Serialisasi Avro dan Protobuf tidak terpengaruh.

Lihat penilaian terperinci Panduan kompatibilitas status untuk peningkatan Flink 2.2 untuk menentukan tingkat risiko aplikasi Anda.

Jika aplikasi Anda bergantung pada konektor yang belum memiliki rilis Flink 2.x, Anda memiliki dua opsi: tunggu konektor merilis versi yang kompatibel, atau evaluasi apakah Anda dapat menggantinya dengan alternatif (misalnya, menggunakan katalog JDBC atau wastafel khusus).

Saat memperbarui versi konektor, perhatikan perubahan nama artefak - beberapa konektor diganti namanya di antara versi utama (misalnya, konektor Firehose berubah dari flink-connector-aws-kinesis-firehose ke flink-connector-aws-firehose dalam beberapa versi perantara).

Selalu periksa dokumentasi konektor Amazon Managed Service for Apache Flink untuk mengetahui nama dan versi artefak yang tepat yang didukung dalam runtime target Anda.

Tabel Terwujud: Snapshot tabel yang dipelihara secara terus menerus dan dapat dikueri.

Perubahan Telemetri Kustom: Reporter metrik khusus dan konfigurasi telemetri.

ForSt Status Backend: Penyimpanan status terpilah (eksperimental dalam sumber terbuka).

Java 21: Dukungan eksperimental dalam open source, tidak didukung dalam Layanan Terkelola untuk Apache Flink.

Aplikasi yang menggunakan jalur KinesisStreamsSource dengan EFO (Enhanced Fan-Out / SubscribeToShard) yang diperkenalkan di konektor v5.0.0 dan v6.0.0 mungkin gagal saat aliran Kinesis mengalami resharding. Ini adalah masalah yang diketahui di masyarakat. Untuk informasi selengkapnya, lihat FLINK-37648.

Aplikasi yang menggunakan jalur KinesisStreamsSource dengan EFO (Enhanced Fan-Out / SubscribeToShard) yang diperkenalkan di konektor v5.0.0 dan v6.0.0 bersama-sama dengan KinesisStreamsSink mungkin mengalami kebuntuan jika aplikasi Flink berada di bawah tekanan balik, menghasilkan penghentian total pemrosesan data dalam satu atau lebih. TaskManagers Operasi penghentian paksa dan operasi aplikasi mulai diperlukan untuk memulihkan aplikasi. Ini adalah sub-kasus dari masalah yang diketahui di komunitas. Untuk informasi selengkapnya, lihat FLINK-34071.

Baru mengenal Flink 2.2? Untuk dokumentasi Apache Flink 2.2 terperinci, lihat Dokumentasi Apache Flink 2.2.

Merencanakan peningkatan? Lihat Memutakhirkan ke Flink 2.2: Panduan lengkap

Masalah kompatibilitas negara? Lihat Panduan kompatibilitas status untuk peningkatan Flink 2.2