Amazon Managed Service for Apache Flink (Amazon MSF) は、以前は Amazon Kinesis Data Analytics for Apache Flink と呼ばれていました。
Amazon Managed Service for Apache Flink 1.20
Managed Service for Apache Flink は、Apache Flink バージョン 1.20.0 をサポートするようになりました。このセクションでは、Apache Flink 1.20.0 の Managed Service for Apache Flink サポートで導入された主な新機能と変更点について説明します。Apache Flink 1.20 は、1.x 系の最後のリリースであり、Flink の長期サポート (LTS) バージョンとなる予定です。詳細については、「FLIP-458: Long-Term Support for the Final Release of Apache Flink 1.x Line
注記
過去にサポートされていたバージョンの Apache Flink を使用していて、既存のアプリケーションを Apache Flink 1.20.0 にアップグレードする場合は、インプレースの Apache Flink バージョンアップグレードを使用してアップグレードできます。詳細については、「Apache Flink のインプレースバージョンアップグレードを使用する」を参照してください。インプレースのバージョンアップグレードでは、スナップショット、ログ、メトリクス、タグ、Flink 設定など、Apache Flink バージョン全体で、単一の ARN に対するアプリケーションのトレーサビリティを保持します。
サポートされている機能
Apache Flink 1.20.0 では、SQL API、DataStream API、Flink ダッシュボードに強化機能が導入されています。
| サポートされている機能 | 説明 | Apache Flink ドキュメントリファレンス |
|---|---|---|
| DISTRIBUTED BY 句を追加する | 多くの SQL エンジンは、Partitioning、Bucketing、または Clustering の概念を公開しています。Flink 1.20 では、Flink に Bucketing の概念が導入されています。 |
FLIP-376: Add DISTRIBUTED BY clause |
| DataStream API: フルパーティション処理のサポート | Flink 1.20 では、キーなしストリームに対する集約処理を FullPartitionWindow API を介して組み込みでサポートしています。 |
FLIP-380: Support Full Partition Processing on Non-keyed DataStream |
| Flink Dashboard でデータスキュースコアを表示する | Flink 1.20 ダッシュボードにデータスキュー情報が表示されるようになりました。Flink ジョブグラフ UI の各演算子には、追加のデータスキュースコアが表示されます。 | FLIP-418: Show data skew score on Flink Dashboard |
Apache Flink 1.20.0 リリースドキュメントについては、「Apache Flink Documentation v1.20.0
コンポーネント
| コンポーネント | バージョン |
|---|---|
| Java | 11 (推奨) |
| Python (パイソン) |
3.11 |
| Kinesis Data Analytics Flink ランタイム (aws-kinesisanalytics-runtime) | 1.2.0 |
| Connector | 使用可能なコネクタの詳細については、「Apache Flink connectors」を参照してください。 |
| 「Apache Beam （Beamアプリケーションのみ） |
Flink 1.20 と互換性のある Apache Flink Runner はありません。詳細については、「Flink Version Compatibility |
既知の問題
Apache Beam
現在、Apache Beam には Flink 1.20 と互換性のある Apache Flink Runner はありません。詳細については、「Flink Version Compatibility
Amazon Managed Service for Apache Flink Studio
Amazon Managed Service for Apache Flink Studio は、Apache Zeppelin ノートブックを利用して、Apache Flink ストリーム処理アプリケーションの開発、コード・デバッグ、実行のための単一インターフェースの開発体験を提供します。Flink 1.20 のサポートを有効にするには、Zeppelin の Flink インタプリタのアップグレードが必要です。この作業は Zeppelin コミュニティでスケジュールされています。これらのメモは、その作業が完了すると更新されます。Amazon Managed Service for Apache Flink Studio で Flink 1.15 を引き続き使用できます。詳細については、「Creating a Studio notebook」を参照してください。
バックポートされたバグ修正
Amazon Managed Service for Apache Flink のバックポートは、Flink コミュニティからの重大な問題を修正します。以下は、バックポートしたバグ修正のリストです。
| Apache Flink JIRA リンク | 説明 |
|---|---|
| FLINK-35886 |
この修正は、サブタスクがバックプレッシャー/ブロックされたときに、ウォーターマークのアイドルタイムアウトが誤って計上される問題に対処します。 |
