Amazon Managed Service for Apache Flink (Amazon MSF) は、以前は Amazon Kinesis Data Analytics for Apache Flink と呼ばれていました。
コネクタと DataStream API を使用して、Managed Service for Apache Flink でデータを移動する
Amazon Managed Service for Apache Flink DataStream API では、「コネクタ」とはApache Flink 用 Managed Serviceアプリケーションとの間でデータをやり取りするソフトウェアコンポーネントです。コネクタは、ファイルやディレクトリからの読み取りが可能になる柔軟な統合です。コネクタは、Amazon のサービスやサードパーティのシステムとやり取りするための完全なモジュールで構成されています。
コネクターの種類には、次のものがあります。
ストリーミングデータソースを追加する: Kinesis データストリーム、ファイル、またはその他のデータソースからアプリケーションにデータを提供します。
シンクを使用してデータを書き込む: アプリケーションから、Kinesis データストリーム、Firehose ストリーム、またはその他のデータ送信先にデータを送信します。
非同期 I/O を使用する: データソース (データベースなど) への非同期アクセスを提供し、ストリームイベントを充実させます。
使用可能なコネクタ
Apache Flink フレームワークには、さまざまなソースのデータにアクセスするためのコネクターが含まれています。Apache Flink フレームワークで使用できるコネクタについては、「Apache Flink ドキュメント
警告
Flink 1.6、1.8、1.11、または 1.13 で実行中のアプリケーションがあり、中東 (UAE)、アジアパシフィック (ハイデラバード)、イスラエル (テルアビブ)、欧州 (チューリッヒ)、アジアパシフィック (メルボルン)、またはアジアパシフィック (ジャカルタ) リージョンで実行したい場合は、更新されたコネクタを使用してアプリケーションアーカイブを再構築するか、Flink 1.18 にアップグレードすることが必要になる可能性があります。
Apache Flink コネクタは、独自のオープンソースリポジトリに保存されます。バージョン 1.18 以降にアップグレードする場合は、依存関係を更新する必要があります。Apache Flink AWS コネクタのリポジトリにアクセスするには、「flink-connector-aws
以前の Kinesis ソース org.apache.flink.streaming.connectors.kinesis.FlinkKinesisConsumer は廃止されており、Flink の今後のリリースでは削除される可能性があります。代わりに Kinesis ソース
FlinkKinesisConsumer と KinesisStreamsSource の間に状態の互換性はありません。詳細については、Apache Flink ドキュメントの「Migrating existing jobs to new Kinesis Streams Source
以下は推奨されるガイドラインです。
| Flink バージョン | 使用されるコネクタ | 解決方法 |
|---|---|---|
| 1.19、1.20 | Kinesis ソース |
Managed Service for Apache Flink バージョン 1.19 および 1.20 にアップグレードする場合は、最新の Kinesis Data Streams ソースコネクタを使用していることを確認してください。5.0.0 以降のバージョンである必要があります。詳細については、「Amazon Kinesis Data Streams Connector |
| 1.19、1.20 | Kinesis シンク |
Managed Service for Apache Flink バージョン 1.19 および 1.20 にアップグレードする場合は、最新の Kinesis Data Streams シンクコネクタを使用していることを確認してください。5.0.0 以降のバージョンである必要があります。詳細については、「Kinesis Streams Sink |
| 1.19、1.20 | DynamoDB Streams ソース |
Managed Service for Apache Flink バージョン 1.19 および 1.20 にアップグレードする場合は、最新の DynamoDB Streams ソースコネクタを使用していることを確認してください。5.0.0 以降のバージョンである必要があります。詳細については、「Amazon DynamoDB Connector |
| 1.19、1.20 | DynamoDB シンク | Managed Service for Apache Flink バージョン 1.19 および 1.20 にアップグレードする場合は、最新の DynamoDB シンクコネクタを使用していることを確認してください。5.0.0 以降のバージョンである必要があります。詳細については、「Amazon DynamoDB Connector |
| 1.19、1.20 | Amazon SQS シンク |
Managed Service for Apache Flink バージョン 1.19 および 1.20 にアップグレードする場合は、最新の Amazon SQS シンクコネクタを使用していることを確認してください。5.0.0 以降のバージョンである必要があります。詳細については、「Amazon SQS Sink |
| 1.19、1.20 | Amazon Managed Service for Prometheus シンク |
Managed Service for Apache Flink バージョン 1.19 および 1.20 にアップグレードする場合は、最新の Amazon Managed Service for Prometheus シンクコネクタを使用していることを確認してください。1.0.0 以降のバージョンである必要があります。詳細については、「Prometheus Sink |
