Amazon Managed Service for Apache Flink (Amazon MSF) は、以前は Amazon Kinesis Data Analytics for Apache Flink と呼ばれていました。
翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。
Managed Service for Apache Flink で Apache Flink コネクタを使用する
Apache Flink コネクタとは、Amazon Managed Service for Apache Flink アプリケーションとの間でデータを移動するソフトウェアコンポーネントです。コネクタは、ファイルやディレクトリからの読み取りが可能になる柔軟な統合です。コネクタは、Amazon のサービスやサードパーティのシステムとやり取りするための完全なモジュールで構成されています。
コネクターの種類には、次のものがあります。
ソース: Kinesis データストリーム、ファイル、Apache Kafka トピック、ファイル、またはその他のデータソースからアプリケーションにデータを提供します。
-
シンク: アプリケーションから、Kinesis データストリーム、Firehose ストリーム、Apache Kafka トピック、またはその他のデータ送信先にデータを送信します。
-
非同期 I/O: データソース (データベースなど) への非同期アクセスを提供し、ストリームをエンリッチ化します。
Apache Flink コネクタは、独自のソースリポジトリに保存されます。Apache Flink コネクタのバージョンとアーティファクトは、使用している Apache Flink のバージョンと、DataStream API、Table API、SQL API のどれを使用しているかによって異なります。
Amazon Managed Service for Apache Flink は、40 を超える構築済みの Apache Flink ソースコネクタとシンクコネクタをサポートしています。次の表は、最も一般的なコネクタとその関連バージョンの概要を示します。非同期シンクフレームワークを使用してカスタムシンクを構築することもできます。詳細については、Apache Flink ドキュメントの「The Generic Asynchronous Base Sink
Apache Flink AWS コネクタのリポジトリにアクセスするには、「flink-connector-aws
| コネクタ | Flink バージョン 1.15 | Flink バージョン 1.18 | Flink バージョン 1.19 | Flink バージョン 1.20 |
|---|---|---|---|---|
| Kinesis Data Stream - ソース - DataStream API と Table API | flink-connector-kinesis、1.15.4 | flink-connector-kinesis、4.3.0-1.18 | flink-connector-kinesis、5.0.0-1.19 | flink-connector-kinesis、5.0.0-1.20 |
| Kinesis Data Stream - シンク - DataStream API と Table API | flink-connector-aws-kinesis-streams、1.15.4 | flink-connector-aws-kinesis-streams、4.3.0-1.18 | flink-connector-aws-kinesis-streams、5.0.0-1.19 | flink-connector-aws-kinesis-streams、5.0.0-1.20 |
| Kinesis Data Streams - ソース/シンク - SQL | flink-sql-connector-kinesis、1.15.4 | flink-sql-connector-kinesis、4.3.0-1.18 | flink-sql-connector-kinesis、5.0.0-1.19 | flink-sql-connector-kinesis-streams、5.0.0-1.20 |
| Kafka - DataStream API と Table API | flink-connector-kafka、1.15.4 | flink-connector-kafka、3.2.0-1.18 | flink-connector-kafka、3.3.0-1.19 | flink-connector-kafka、3.3.0-1.20 |
| Kafka - SQL | flink-sql-connector-kafka、1.15.4 | flink-sql-connector-kafka、3.2.0-1.18 | flink-sql-connector-kafka、3.3.0-1.19 | flink-sql-connector-kafka、3.3.0-1.20 |
| Firehose - DataStream API と Table API | flink-connector-aws-kinesis-firehose、1.15.4 | flink-connector-aws-firehose、4.3.0-1.18 | flink-connector-aws-firehose、5.0.0-1.19 | flink-connector-aws-firehose、5.0.0-1.20 |
| Firehose - SQL | flink-sql-connector-aws-kinesis-firehose、1.15.4 | flink-sql-connector-aws-firehose、4.3.0-1.18 | flink-sql-connector-aws-firehose、5.0.0-1.19 | flink-sql-connector-aws-firehose、5.0.0-1.20 |
| DynamoDB - DataStream API と Table API | flink-connector-dynamodb、3.0.0-1.15 | flink-connector-dynamodb、4.3.0-1.18 | flink-connector-dynamodb、5.0.0-1.19 | flink-connector-dynamodb、5.0.0-1.20 |
| DynamoDB - SQL | flink-sql-connector-dynamodb、3.0.0-1.15 | flink-sql-connector-dynamodb、4.3.0-1.18 | flink-sql-connector-dynamodb、5.0.0-1.19 | flink-sql-connector-dynamodb、5.0.0-1.20 |
| OpenSearch - DataStream API と Table API | - | flink-connector-opensearch、1.2.0-1.18 | flink-connector-opensearch、1.2.0-1.19 | flink-connector-opensearch、1.2.0-1.19 |
| OpenSearch - SQL | - | flink-sql-connector-opensearch、1.2.0-1.18 | flink-sql-connector-opensearch、1.2.0-1.19 | flink-sql-connector-opensearch、1.2.0-1.19 |
| Amazon Managed Service for Prometheus DataStream | - | flink-sql-connector-opensearch、1.2.0-1.18 | flink-connector-prometheus、1.0.0-1.19 | flink-connector-prometheus、1.0.0-1.20 |
| Amazon SQS DataStream API と Table API | - | flink-sql-connector-opensearch、1.2.0-1.18 | flink-connector-sqs、5.0.0-1.19 | flink-connector-sqs、5.0.0-1.20 |
Amazon Managed Service for Apache Flink のコネクタの詳細については、以下を参照してください。
既知の問題
Apache Flink 1.15 の Apache Kafka コネクタには、オープンソース Apache Flink の既知の問題があります。この問題は、それ以降のバージョンの Apache Flink で解決されています。
詳細については、「既知の問題」を参照してください。
