借助 DataStream API 在 Managed Service for Apache Flink 中使用连接器移动数据 - Managed Service for Apache Flink

Amazon Managed Service for Apache Flink(Amazon MSF)之前称为 Amazon Kinesis Data Analytics for Apache Flink。

借助 DataStream API 在 Managed Service for Apache Flink 中使用连接器移动数据

在 Amazon Managed Service for Apache Flink DataStream API 中,连接器是将数据移入和移出 Managed Service for Apache Flink 应用程序的软件组件。连接器是灵活集成的组件,可让您读取文件和目录。连接器包含用于与 Amazon 服务和第三方系统交互的完整模块。

连接器类型包括:

  • 添加流数据源:从 Kinesis 数据流、文件或其他数据源中向应用程序提供数据。

  • 使用接收器写入数据:将数据从应用程序发送到 Kinesis 数据流、Firehose 流或其他数据目标。

  • 使用异步 I/O:提供对数据源(例如数据库)的异步访问以丰富流事件。

可用的连接器

Apache Flink 框架包含用于从各种源中访问数据的连接器。有关 Apache Flink 框架中可用的连接器的信息,请参阅 Apache Flink 文档中的连接器

警告

如果您的应用程序在 Flink 1.6、1.8、1.11 或 1.13 上运行,并且想要在中东(阿联酋)、亚太地区(海得拉巴)、以色列(特拉维夫)、欧洲(苏黎世)、亚太地区(墨尔本)或亚太地区(雅加达)区域运行,则可能需要使用更新的连接器重建应用程序存档或升级到 Flink 1.18。

Apache Flink 连接器存储在它们自己的开源存储库中。如果您要升级到 1.18 或更高版本,则必须更新依赖项。要访问 Apache Flink AWS 连接器的存储库,请参阅 flink-connector-aws

以前的 Kinesis 源代码 org.apache.flink.streaming.connectors.kinesis.FlinkKinesisConsumer 已停用,并可能在 Flink 的未来版本中移除。改为使用 Kinesis 源

FlinkKinesisConsumerKinesisStreamsSource 之间不存在状态兼容性。有关详细信息,请参阅 Apache Flink 文档中的将现有作业迁移到新的 Kinesis Streams 源

以下是推荐的指导方针:

连接器升级
Flink 版本 使用的连接器 解决方案
1.19、1.20 Kinesis 源

升级到 Managed Service for Apache Flink 1.19 和 1.20 版时,请确保使用的是最新的 Kinesis Data Streams 源连接器。版本必须为 5.0.0 或更高版本。有关更多信息,请参阅 Amazon Kinesis Data Streams 连接器

1.19、1.20 Kinesis 接收器

升级到 Managed Service for Apache Flink 1.19 和 1.20 版时,请确保使用的是最新的 Kinesis Data Streams 接收器连接器。版本必须为 5.0.0 或更高版本。有关更多信息,请参阅 Kinesis Streams 接收器

1.19、1.20 DynamoDB Streams 源

升级到 Managed Service for Apache Flink 1.19 和 1.20 版时,请确保使用的是最新的 DynamoDB Streams 源连接器。版本必须为 5.0.0 或更高版本。有关更多信息,请参阅 Amazon DynamoDB 连接器

1.19、1.20 DynamoDB 接收器 升级到 Managed Service for Apache Flink 1.19 和 1.20 版时,请确保使用的是最新的 DynamoDB 接收器连接器。版本必须为 5.0.0 或更高版本。有关更多信息,请参阅 Amazon DynamoDB 连接器
1.19、1.20 Amazon SQS 接收器

升级到 Managed Service for Apache Flink 1.19 和 1.20 版时,请确保使用的是最新的 Amazon SQS 接收器连接器。版本必须为 5.0.0 或更高版本。有关更多信息,请参阅 Amazon SQS 接收器

1.19、1.20 Amazon Managed Service for Prometheus 接收器

升级到 Managed Service for Apache Flink 1.19 和 1.20 版时,请确保使用的是最新的 Amazon Managed Service for Prometheus 接收器连接器。版本必须为 1.0.0 或更高版本。有关更多信息,请参阅 Prometheus 接收器