创建 连接器 - Amazon Managed Streaming for Apache Kafka

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

创建 连接器

此过程介绍了如何使用 AWS 管理控制台 创建连接器。

使用创建连接器 AWS 管理控制台
  1. https://console.aws.amazon.com/msk/ 打开 Amazon MSK 控制台。

  2. 在左侧窗格的 MSK Connect 下,选择连接器

  3. 选择 Create connector (创建连接器)

  4. 您可以选择使用现有的自定义插件来创建连接器,也可以先创建新的自定义插件。有关自定义插件以及如何创建这些插件的信息,请参阅创建自定义插件。在此过程中,假设您有一个要使用的自定义插件。在自定义插件列表中,找到要使用的插件,选中其左侧的复选框,然后选择下一步

  5. 输入名称和描述(可选)。

  6. 选择您想要连接到的集群。

  7. 连接器网络设置部分,为网络类型选择以下选项之一:

    • IPv4(默认)- IPv4 仅用于通过连接目的地

    • 双栈-用于通过 IPv4 和连接到目的地 IPv6 (仅当您的子网具有 IPv4 IPv6 CIDR 块关联时才可用)

  8. 指定连接器配置。您需要指定的配置参数取决于要创建的连接器类型。但是,部分参数是所有连接器通用的参数,例如 connector.classtasks.max 参数。以下是 Confluent Amazon S3 Sink Connector 的配置示例。

    connector.class=io.confluent.connect.s3.S3SinkConnector tasks.max=2 topics=my-example-topic s3.region=us-east-1 s3.bucket.name=amzn-s3-demo-bucketflush.size=1 storage.class=io.confluent.connect.s3.storage.S3Storage format.class=io.confluent.connect.s3.format.json.JsonFormat partitioner.class=io.confluent.connect.storage.partitioner.DefaultPartitioner key.converter=org.apache.kafka.connect.storage.StringConverter value.converter=org.apache.kafka.connect.storage.StringConverter schema.compatibility=NONE
  9. 接下来,配置您的连接器容量。您可以在两种容量模式之间选择:已预置和自动扩缩。有关这两个选项的信息,请参阅了解连接器容量

  10. 选择默认工作程序配置或自定义工作程序配置。有关创建自定义工作程序配置的信息,请参阅了解 MSK Connect 工作程序

  11. 接下来,指定服务执行角色。这必须是 MSK Connect 可以担任的 IAM 角色,该角色向连接器授予访问必要AWS资源所需的所有权限。这些权限取决于连接器的逻辑。有关如何创建此角色的信息,请参阅了解服务执行角色

  12. 选择下一步,查看安全信息,然后再次选择下一步

  13. 指定所需的日志记录选项,然后选择下一步。有关日志记录的信息,请参阅为 MSK Connect 进行日志记录

  14. 查看并创建页面上,查看您的连接器配置,然后选择创建连接器

要使用 MSK Connect API 创建连接器,请参阅CreateConnector

可使用 UpdateConnector API 修改连接器配置。有关更多信息,请参阅 更新连接器