O Amazon Managed Service para Apache Flink (Amazon MSF) era conhecido anteriormente como Amazon Kinesis Data Analytics for Apache Flink.
As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Use conectores Apache Flink com o Managed Service para Apache Flink
Os conectores Apache Flink são componentes de software que movem dados para dentro e para fora de um aplicativo Amazon Managed Service para Apache Flink. Os conectores são integrações flexíveis que permitem a leitura de arquivos e diretórios. Os conectores consistem em módulos completos para interagir com os serviços da Amazon e sistemas de terceiros.
Os tipos de conectores incluem o seguinte:
Fontes: forneça dados para seu aplicativo a partir de um stream de dados, arquivo, tópico do Apache Kafka, arquivo ou outras fontes de dados do Kinesis.
-
Coletores: envie dados do seu aplicativo para um stream de dados do Kinesis, stream Firehose, tópico do Apache Kafka ou outros destinos de dados.
-
E/S assíncrona: fornece acesso assíncrono a uma fonte de dados, como um banco de dados, para enriquecer os fluxos.
Os conectores Apache Flink são armazenados em seus próprios repositórios de origem. A versão e o artefato dos conectores Apache Flink mudam dependendo da versão do Apache Flink que você está usando e se você está usando a API DataStream, Tabela ou SQL.
O Amazon Managed Service para Apache Flink oferece suporte a mais de 40 conectores de origem e coletor pré-construídos do Apache Flink. A tabela a seguir fornece um resumo dos conectores mais populares e suas versões associadas. Você também pode criar coletores personalizados usando a estrutura Async-sink. Para obter mais informações, consulte The Generic Asynchronous Base Sink
Para acessar o repositório dos AWS conectores Apache Flink, consulte. flink-connector-aws
| Conector | Flink versão 1.15 | Flink versão 1.18 | Versões 1.19 do Flink | Versões 1.20 do Flink |
|---|---|---|---|---|
| Kinesis Data Stream — API de origem DataStream e tabela | flink-connector-kinesis, 1.15.4 | flink-connector-kinesis, 4.3.0-1.18 | flink-connector-kinesis, 5.0.0-1.19 | flink-connector-kinesis, 5.0.0-1.20 |
| Kinesis Data Stream — Sink — DataStream e API de tabelas | flink-connector-aws-kinesis-streams, 1.15.4 | flink-connector-aws-kinesis-streams, 4.3.0-1.18 | flink-connector-aws-kinesis-streams, 5.0.0-1.19 | flink-connector-aws-kinesis-streams, 5.0.0-1.20 |
| Kinesis Data Streams — Fonte/coletor — SQL | flink-sql-connector-kinesis, 1.15.4 | flink-sql-connector-kinesis, 4.3.0-1.18 | flink-sql-connector-kinesis, 5.0.0-1.19 | flink-sql-connector-kinesis-streams, 5.0.0-1.20 |
| Kafka - DataStream e API de tabela | flink-connector-kafka, 1.15.4 | flink-connector-kafka, 3.2.0-1.18 | flink-connector-kafka, 3.3.0-1.19 | flink-connector-kafka, 3.3.0-1.20 |
| Kafka - SQL | flink-sql-connector-kafka, 1.15.4 | flink-sql-connector-kafka, 3.2.0-1.18 | flink-sql-connector-kafka, 3.3.0-1.19 | flink-sql-connector-kafka, 3.3.0-1.20 |
| Firehose - DataStream e API de tabelas | flink-connector-aws-kinesis- mangueira de incêndio, 1.15.4 | flink-connector-aws-firehose, 4.3.0-1.18 | flink-connector-aws-firehose, 5.0.0-1.19 | flink-connector-aws-firehose, 5.0.0-1.20 |
| Firehose - SQL | flink-sql-connector-aws-kinesis-firemangueira, 1.15.4 | flink-sql-connector-aws-mangueira de incêndio, 4.3.0-1.18 | flink-sql-connector-aws-mangueira de incêndio, 5.0.0-1.19 | flink-sql-connector-aws-mangueira de incêndio, 5.0.0-1.20 |
| DynamoDB DataStream — e API de tabelas | flink-connector-dynamodb, 3.0.0-1.15 | flink-connector-dynamodb, 4.3.0-1.18 | flink-connector-dynamodb, 5.0.0-1.19 | flink-connector-dynamodb, 5.0.0-1.20 |
| DynamoDB - SQL | flink-sql-connector-dynamodb, 3.0.0-1.15 | flink-sql-connector-dynamodb, 4.3.0-1.18 | flink-sql-connector-dynamodb, 5.0.0-1.19 | flink-sql-connector-dynamodb, 5.0.0-1.20 |
| OpenSearch - DataStream e API de tabela | - | flink-connector-opensearch, 1.2.0-1.18 | flink-connector-opensearch, 1.2.0-1.19 | flink-connector-opensearch, 1.2.0-1.19 |
| OpenSearch - SQL | - | flink-sql-connector-opensearch, 1.2.0-1.18 | flink-sql-connector-opensearch, 1.2.0-1.19 | flink-sql-connector-opensearch, 1.2.0-1.19 |
| Amazon Managed Service para Prometheus DataStream | - | flink-sql-connector-opensearch, 1.2.0-1.18 | flink-connector-prometheus, 1.0.0-1.19 | flink-connector-prometheus, 1,0,0-1,20 |
| Amazon SQS DataStream e API de tabelas | - | flink-sql-connector-opensearch, 1.2.0-1.18 | flink-connector-sqs, 5.0.0-1.19 | flink-connector-sqs, 5.0.0-1.20 |
Para saber mais sobre conectores no Amazon Managed Service para Apache Flink, consulte:
Problemas conhecidos
Há um problema conhecido do Apache Flink de código aberto com o conector Apache Kafka no Apache Flink 1.15. Esse problema foi resolvido em versões posteriores do Apache Flink.
Para obter mais informações, consulte Problemas conhecidos.
