Amazon Managed Service for Apache Flink 2.2

MSF Flink 2.2 では、 env.getConfig().set()または同様の APIsようになりました。「プログラムによる Flink 設定プロパティ」を参照してください。

お客様は、サポートチケットを通じて特定の設定の変更をリクエストできます (「変更可能な設定」を参照)

fullRestarts メトリクスは Flink 2.2 で削除されました。代わりに numRestartsメトリクスを使用します。

KDS コネクタの bytesRequestedPerFetchメトリクスは、Flink AWS コネクタバージョン 6.0.0 (Flink 2.2 と互換性のあるコネクタバージョンのみ) で削除されました。

uptime および downtimeメトリクスはどちらも Flink 2.2 で非推奨としてマークされ、間もなく削除されます。を新しいメトリクス uptimeに置き換えますrunningTime。downtime を restartingTime、、cancellingTimeおよび の 1 つ以上に置き換えますfailingTime。

サポートされているメトリクスの完全なリストについては、「メトリクスとディメンション」ページを参照してください。

これらの許可されたエンドポイントは、 AWS SDK の DefaultCredentialsProvider (/latest/meta-data/iam/security-credentials/) と DefaultAwsRegionProviderChain (/latest/dynamic/instance-identity/document) によって使用され、アプリケーションの認証情報とリージョンを自動的に設定します。

非認証情報 IMDS 呼び出し (EC2MetadataUtils.getInstanceId()、、EC2MetadataUtils.getInstanceType()、 などEC2MetadataUtils.getAvailabilityZone()) に依存する AWS SDK 関数を使用するアプリケーションはEC2MetadataUtils.getLocalHostName()、これらの呼び出しを試行するときに HTTP 4xx エラーを受け取ります。

アプリケーションがインスタンスメタデータまたは許可されたパス外のその他の情報に IMDS を使用する場合は、代わりに環境変数またはアプリケーション設定を使用するようにコードをリファクタリングします。

セキュリティを向上させるために、 以外の依存関係/tmpはデフォルトの flink 作業ディレクトリになります。 java.io.FileNotFoundException: /{path}/{filename} (Read-only file system)

ファイルシステムの依存関係は、コードから直接生成することも、依存関係に含まれるライブラリから間接的に生成することもできます。ファイルシステムの直接的な依存関係をコード/tmp/の に上書きします。ライブラリからの間接的なファイルシステムの依存関係については、ライブラリ設定の上書きを使用してファイルシステムのオペレーションを にリダイレクトします/tmp/。

Flink 2.0 以降では、バッチ処理用のレガシー DataSet API が完全に削除されました。すべてのバッチ処理で、統合 DataStream API を使用する必要があります。

DataSet API を使用するアプリケーションは、アップグレードする前に DataStream API に移行する必要があります。DataSet から DataStream への変換については、「Apache Flink 移行ガイド」を参照してください。

Java 11 のサポートは完全に削除されました。Java 17 はデフォルトの推奨ランタイムです。

Python 3.8 のサポートが削除されました。Python 3.12 がデフォルトになりました。

レガシー SourceFunction および SinkFunctionインターフェイスは、新しい統合ソース (FLIP-27) およびシンク (FLIP-143) APIs に置き換えられました。これにより、境界付き/無制限の二元性、チェックポイントの調整の改善、よりクリーンなプログラミングモデルのサポートが向上します。

Kinesis Data Streams の場合は、 から KinesisStreamsSourceと KinesisStreamsSink を使用しますflink-connector-aws-kinesis-streams:6.0.0-2.0。

Flink Scala API が削除されました。Flink の Java API は、JVM ベースのアプリケーション用にサポートされている単一の API になりました。

アプリケーションが Scala で記述されている場合でも、Scala コードから Flink の Java API を使用できます。主な変更点は、Scala 固有のラッパーと暗黙的な変換が利用できなくなることです。Scala アプリケーションの更新の詳細については、「アプリケーションと Flink バージョンのアップグレード」を参照してください。

バージョン 2.24 から 5.6 にアップグレードした Kryo シリアライザーは、状態互換性の問題を引き起こす可能性があります。

コレクション (HashMap、、HashSet) を持つ POJOs にはArrayList、状態互換性の問題がある可能性があります。

Avro と Protobuf のシリアル化は影響を受けません。

アプリケーションのリスクレベルをトリアージするための詳細な評価Flink 2.2 アップグレードのステート互換性ガイドについては、「」を参照してください。

アプリケーションが Flink 2.x リリースをまだ持っていないコネクタに依存している場合は、コネクタが互換性のあるバージョンをリリースするのを待つか、代替バージョンに置き換えることができるかどうかを評価する (JDBC カタログやカスタムシンクを使用するなど) という 2 つのオプションがあります。

コネクタバージョンを更新するときは、アーティファクト名の変更に注意してください。一部のコネクタはメジャーバージョン間で名前が変更されました (たとえば、一部の中間バージョンflink-connector-aws-firehoseでは Firehose コネクタが から flink-connector-aws-kinesis-firehose に変更されました）。

ターゲットランタイムでサポートされている正確なアーティファクト名とバージョンについては、Amazon Managed Service for Apache Flink コネクタのドキュメントを必ず確認してください。

マテリアライズドテーブル: 継続的に維持され、クエリ可能なテーブルスナップショット。

カスタムテレメトリの変更: カスタムメトリクスレポーターとテレメトリ設定。

ForSt State Backend: Disaggregated State Storage (オープンソースで実験的）。

Java 21: オープンソースでの実験サポート。 Managed Service for Apache Flink ではサポートされていません。

コネクタ v5.0.0 および v6.0.0 で導入された EFO (拡張ファンアウト/SubscribeToShard) パスKinesisStreamsSourceで を使用するアプリケーションは、Kinesis ストリームがリシャーディングされると失敗することがあります。これはコミュニティの既知の問題です。詳細については、「FLINK-37648」を参照してください。

コネクタ v5.0.0 および v6.0.0 で導入された EFO (拡張ファンアウト/SubscribeToShard) パスKinesisStreamsSourceで を使用するアプリケーションは、Flink アプリケーションにバックプレッシャーがかかっている場合にデッドロックが発生し、1 つ以上の TaskManagers でのデータ処理が完全に停止KinesisStreamsSinkする可能性があります。アプリケーションを復旧するには、強制停止オペレーションとアプリケーション開始オペレーションが必要です。これは、コミュニティ内の既知の問題のサブケースです。詳細については、「FLINK-34071」を参照してください。

Flink 2.2 を初めて使用する場合 Apache Flink 2.2 の詳細なドキュメントについては、「Apache Flink 2.2 のドキュメント」を参照してください。

アップグレードを計画していますか? 「Flink 2.2 へのアップグレード: 完全なガイド」を参照してください。

状態の互換性に関する懸念はありますか? 「Flink 2.2 アップグレードのステート互換性ガイド」を参照してください。