将 Apache Flink 连接器与 Managed Service for Apache Flink 一起使用 - Managed Service for Apache Flink

Amazon Managed Service for Apache Flink(Amazon MSF)之前称为 Amazon Kinesis Data Analytics for Apache Flink。

将 Apache Flink 连接器与 Managed Service for Apache Flink 一起使用

Apache Flink 连接器是将数据移入和移出 Amazon Managed Service for Apache Flink 应用程序的软件组件。连接器是灵活集成的组件,可让您读取文件和目录。连接器包含用于与 Amazon 服务和第三方系统交互的完整模块。

连接器类型包括:

  • 源:从 Kinesis 数据流、文件、Apache Kafka 主题或其他数据源中向应用程序提供数据。

  • 接收器: 将数据从应用程序发送到 Kinesis 数据流、Firehose 流、Apache Kafka 主题或其他数据目标。

  • 异步 I/O:提供对数据源(例如数据库)的异步访问以丰富流。

Apache Flink 连接器存储在它们自己的源存储库中。Apache Flink 连接器的版本和构件会根据使用的 Apache Flink 版本以及是否使用 DataStream、Table 还是 SQL API 而更改。

Amazon Managed Service for Apache Flink 支持 40 多个预先构建的 Apache Flink 源和接收器连接器。下表提供了最流行连接器及其关联版本的摘要。您也可以使用异步接收器框架构建自定义接收器。有关更多信息,请参阅 Apache Flink 文档中的通用异步基础接收器

要访问 Apache Flink AWS 连接器的存储库,请参阅 flink-connector-aws

适用于 Flink 版本的连接器
Connector Flink 1.15 Flink 1.18 Flink 1.19 Flink 1.20
Kinesis Data Stream - 源 - DataStream 和 Table API flink-connector-kinesis,1.15.4 flink-connector-kinesis,4.3.0-1.18 flink-connector-kinesis,5.0.0-1.19 flink-connector-kinesis,5.0.0-1.20
Kinesis Data Stream - 接收器 - DataStream 和 Table API flink-connector-aws-kinesis-streams,1.15.4 flink-connector-aws-kinesis-streams,4.3.0-1.18 flink-connector-aws-kinesis-streams,5.0.0-1.19 flink-connector-aws-kinesis-streams,5.0.0-1.20
Kinesis Data Streams - 源/连接器 - SQL flink-sql-connector-kinesis,1.15.4 flink-sql-connector-kinesis,4.3.0-1.18 flink-sql-connector-kinesis,5.0.0-1.19 flink-sql-connector-kinesis-streams,5.00-1.20
Kafka - DataStream 和 Table API flink-connector-kafka,1.15.4 flink-connector-kafka,3.2.0-1.18 flink-connector-kafka,3.3.0-1.19 flink-connector-kafka,3.3.0-1.20
Kafka - SQL flink-sql-connector-kafka,1.15.4 flink-sql-connector-kafka,3.2.0-1.18 flink-sql-connector-kafka,3.3.0-1.19 flink-sql-connector-kafka,3.3.0-1.20
Firehose - DataStream 和 Table API flink-connector-aws-kinesis-firehose,1.15.4 flink-connector-aws-firehose,4.3.0-1.18 flink-connector-aws-firehose,5.0.0-1.19 flink-connector-aws-firehose,5.0.0-1.20
Firehose - SQL flink-sql-connector-aws-kinesis-firehose,1.15.4 flink-sql-connector-aws-firehose,4.3.0-1.18 flink-sql-connector-aws-firehose,5.0.0-1.19 flink-sql-connector-aws-firehose,5.0.0-1.20
DynamoDB - DataStream 和 Table API flink-connector-dynamodb,3.0.0-1.15 flink-connector-dynamodb,4.3.0-1.18 flink-connector-dynamodb,5.0.0-1.19 flink-connector-dynamodb,5.0.0-1.20
DynamoDB - SQL flink-sql-connector-dynamodb,3.00-1.15 flink-sql-connector-dynamodb,4.3.0-1.18 flink-sql-connector-dynamodb,5.0.0-1.19 flink-sql-connector-dynamodb,5.0.0-1.20
OpenSearch - DataStream 和 Table API - flink-connector-opensearch,1.2.0-1.18 flink-connector-opensearch,1.2.0-1.19 flink-connector-opensearch,1.2.0-1.19
OpenSearch - SQL - flink-sql-connector-opensearch,1.2.0-1.18 flink-sql-connector-opensearch,1.2.0-1.19 flink-sql-connector-opensearch,1.2.0-1.19
Amazon Managed Service for Prometheus DataStream - flink-sql-connector-opensearch,1.2.0-1.18 flink-connector-prometheus,1.0.0-1.19 flink-connector-prometheus,1.0.0-1.20
Amazon SQS DataStream 和 Table API - flink-sql-connector-opensearch,1.2.0-1.18 flink-connector-sqs,5.0.0-1.19 flink-connector-sqs,5.0.0-1.20

要了解有关 Amazon Managed Service for Apache Flink 中连接器的更多信息,请参阅:

已知问题

Apache Flink 1.15 中的 Apache Kafka 连接器存在已知的开源 Apache Flink 问题。此问题已在更高版本的 Apache Flink 中得到解决。

有关更多信息,请参阅 已知问题