Managed Service for Apache Flink アプリケーションに Apache Beam を使用する - Managed Service for Apache Flink

Amazon Managed Service for Apache Flink (Amazon MSF) は、以前は Amazon Kinesis Data Analytics for Apache Flink と呼ばれていました。

Managed Service for Apache Flink アプリケーションに Apache Beam を使用する

注記

Flink 1.20 と互換性のある Apache Flink Runner はありません。詳細については、「Apache Beam ドキュメント」の「Flink Version Compatibility」を参照してください。>

Apache Beam」フレームワークを Apache Flink アプリケーション用 Managed Serviceで使用して、ストリーミングデータを処理できます。Apache Beam を使用する Apache Flink アプリケーション用 Managed Serviceでは、「Apache Flink ランナー」を使用して Beam パイプラインを実行します。

Apache Flink アプリケーション用 Managed Serviceで Apache Beam を使用する方法に関するチュートリアルについては、 CloudFormation を使用する を参照してください。

Managed Service for Apache Flink を使用した Apache Flink ランナーの制限事項

Apache Flink 用 Managed Serviceで Apache Flink ランナーを使用する際には、次の点に注意してください。

  • Apache Beam メトリクスは Apache Flink 用 Managed Serviceコンソールでは表示できません。

  • 「Apache Beam は Apache Flink バージョン 1.8 以降を使用する Apache Flink アプリケーション用 Managed Serviceでのみサポートされています。」 「Apache Beam は、Apache Flink バージョン 1.6 を使用する Apache Flink アプリケーション用 Managed Serviceではサポートされていません。」

Managed Service for Apache Flink での Apache Beam 機能

Apache Flink のマネージドサービスは、Apache Flink ランナーと同じ Apache Beam 能力をサポートしています。Apache Flink ランナーでサポートされている機能については、「ビーム互換性マトリックス」を参照してください。

Apache Flink 用 Managed Serviceで Apache Flink アプリケーションをテストして、アプリケーションに必要なすべての機能がサポートされていることを確認することをお勧めします。