Amazon Managed Service for Apache Flink (Amazon MSF) は、以前は Amazon Kinesis Data Analytics for Apache Flink と呼ばれていました。
Amazon Managed Service for Apache Flink 1.15
Managed Service for Apache Flink は、Apache 1.15.2 の以下の新機能をサポートしています。
| 機能 | 説明 | Apache Flip リファレンス |
|---|---|---|
| Async Sink | 開発者が以前の半分以下の労力でカスタム AWS コネクタを構築できるようにする、非同期デスティネーションを構築するための AWS 貢献型フレームワークです。詳細については、「汎用非同期ベースシンク |
「FLIP-171: 非同期シンク |
| Kinesis Data Firehose Sink | AWS は、非同期フレームワークを使用して新しい Amazon Kinesis Firehose Sink を提供しました。 | Amazon Kinesis Data Firehose Sink |
| セーブポイントでの停止 | セーブポイントでの停止によりクリーンな停止操作が保証され、さらに最も重要な利点としてセーブポイントに依存している顧客のために、1 回限りのセマンティクスをサポートします。 | 「FLIP-34: セーブポイントでのJob 終了/サスペンド |
| Scala デカップリング | ユーザーは Scala 3 を含む、すべての Scala バージョンから Java API を利用できるようになりました。顧客は、選択した Scala 標準ライブラリーを Scala アプリケーションにバンドルする必要があります。 | 「FLIP-28: フリンクテーブルを Scala フリーにするという長期的な目標 |
| Scala | 上記の Scala デカップリングを参照してください。 | 「FLIP-28: フリンクテーブルを Scala フリーにするという長期的な目標 |
| Unified Connector Metrics | Flink はジョブ、タスク、オペレータの「スタンダードメトリクスfullRestarts と並行して numRestarts を導入します。 |
「FLIP-33: Standardize Connector Metrics |
| 完了したタスクのチェックポイント機能 | この機能は Flink 1.15 ではデフォルトで有効になっており、ジョブグラフの一部がすべてのデータの処理を終了してもチェックポイントの実行を継続できるようになっています。それにバインドされた（バッチ）ソースが含まれている場合に発生する可能性があります。 | 「FLIP-147: タスク終了後のチェックポイントのサポート |
Apache Flink 1.15 における Amazon Managed Service for Apache Flink の変更点
Studio のノートブック
Managed Service for Apache Flink Studio は、Apache Flink 1.15 をサポートするようになりました。Managed Service for Apache Flink Studio は、Apache Zeppelin ノートブックを利用して、Apache Flink ストリーム処理アプリケーションの開発、コード・デバッグ、実行のための単一インターフェースの開発体験を提供します。Managed Service for Apache Flink Studio の詳細と入門については、「Managed Service for Apache Flink で Studio ノートブックを使用します」を参照してください。
EFO コネクター
Managed Service for Apache Flink バージョン 1.15 にアップグレードする際は、必ず最新の EFO コネクタ (バージョン 1.15.3 以降) を使用してください。理由の詳細については、「FLINK-29324
「Scala デカップリング」
Flink 1.15.2 以降では、任意の Scala スタンダードライブラリを Scala アプリケーションにバンドルする必要が出てきます。
Kinesis Data Firehose Sink
Managed Service for Apache Flink バージョン 1.15 にアップグレードする場合は、最新の Amazon Kinesis Data Firehose Sink
Kafka Connectors
Apache Flink バージョン 1.15 の Amazon Managed Service for Apache Flink にアップグレードする場合は、最新の Kafka コネクタ API を使用していることを確認してください。Apache Flink は「FlinkKafkaConsumer
コンポーネント
| コンポーネント | バージョン |
|---|---|
| Java | 11 (推奨) |
| Scala | 2.12 |
| Apache Flink Flink ランタイム用 Managed Service(aws-kinesis-analytics-Runtime) | 1.2.0 |
| AWS「Kinesis Connector (flink-コネクタ-kinesis) |
1.15.4 |
| 「Apache Beam （Beamアプリケーションのみ） |
Jackson バージョン 2.12.2 を搭載した 2.33.0 |
既知の問題
ブローカーの再起動後にチェックポイント処理時の Kafka コミットが繰り返し失敗する
Apache Flink 1.15 の Apache Kafka コネクタには既知のオープンソースの問題があり、これは Kafka Client 2.8.1 のオープンソース Kafka Client に存在する重大なバグが原因です。詳細については、「Kafka Commit on checkpointing fails repeatedly after a broker restart
この問題を回避するには、Amazon Managed Service for Apache Flink で Apache Flink 1.18 以降を使用することをお勧めします。
