Anteriormente, o Amazon Managed Service for Apache Flink (Amazon MSF) era conhecido como Amazon Kinesis Data Analytics for Apache Flink.
Use conectores para mover dados no Managed Service for Apache Flink com a API DataStream
Na API do DataStream do Amazon Managed Service for Apache Flink, os conectores são componentes de software que movem dados para dentro e para fora de um aplicativo do Managed Service for Apache Flink. Os conectores são integrações flexíveis que permitem a leitura de arquivos e diretórios. Os conectores consistem em módulos completos para interagir com os serviços da Amazon e sistemas de terceiros.
Os tipos de conectores incluem o seguinte:
Adicione fontes de dados de transmissão: forneça dados para seu aplicativo a partir de um fluxo de dados do Kinesis, arquivo ou de outra fonte de dados.
Grave dados usando coletores : envie dados do seu aplicativo para um fluxo de dados do Kinesis, fluxo do Firehose ou outro destino de dados.
Use E/S assíncrona: fornece acesso assíncrono a uma fonte de dados (como um banco de dados) para enriquecer os eventos de fluxo.
Conectores disponíveis
A estrutura do Apache Flink contém conectores para acessar dados de várias fontes. Para obter informações sobre conectores disponíveis na estrutura do Apache Flink, consulte Conectores
Atenção
Se você tem aplicativos em execução no Flink 1.6, 1.8, 1.11 ou 1.13 e gostaria de executar nas regiões do Oriente Médio (EAU), Ásia-Pacífico (Hyderabad), Israel (Tel Aviv), Europa (Zurique), Oriente Médio (EAU), Ásia-Pacífico (Melbourne) e Ásia-Pacífico (Jacarta), talvez seja necessário recompilar seu archive de aplicativos com um conector atualizado ou fazer o upgrade para o Flink 1.18.
Os conectores Apache Flink são armazenados em seus próprios repositórios de código aberto. Se você estiver atualizando para a versão 1.18 ou posterior, deverá atualizar suas dependências. Para acessar o repositório dos conectores AWS do Apache Flink, consulte flink-connector-aws
A antiga fonte org.apache.flink.streaming.connectors.kinesis.FlinkKinesisConsumer do Kinesis foi descontinuada e pode ser removida com uma versão futura do Flink. Em vez disso, use o Kinesis Source
Não há compatibilidade de estado entre FlinkKinesisConsumer e KinesisStreamsSource. Para obter detalhes, consulte Migração de trabalhos existentes para a nova fonte do Kinesis Streams
A seguir estão as diretrizes recomendadas:
| Versão do Flink | Conector usado | Resolução |
|---|---|---|
| 1.19, 1.20 | Fonte do Kinesis |
Ao fazer o upgrade para a versão 1.19 e 1.20 do Managed Service for Apache Flink, verifique se você está usando o conector mais recente do Kinesis Data Streams. Ele deve ser da versão 5.0.0 e posteriores. Para obter mais informações, consulte Conector do Amazon Kinesis Data Streams |
| 1.19, 1.20 | Coletor do Kinesis |
Ao fazer o upgrade para a versão 1.19 e 1.20 do Managed Service for Apache Flink, verifique se você está usando o conector de coletor mais recente do Kinesis Data Streams. Ele deve ser da versão 5.0.0 e posteriores. Para obter mais informações, consulte Coletor de fluxos do Kinesis |
| 1.19, 1.20 | Fonte do DynamoDB Streams |
Ao fazer o upgrade para a versão 1.19 e 1.20 do Managed Service for Apache Flink, verifique se você está usando o conector de fonte mais recente do DynamoDB Streams. Ele deve ser da versão 5.0.0 e posteriores. Para ter mais informações, consulte conector do Amazon DynamoDB |
| 1.19, 1.20 | Coletor do DynamoDB | Ao fazer o upgrade para a versão 1.19 e 1.20 do Managed Service for Apache Flink, verifique se você está usando o conector de coletor mais recente do DynamoDB. Ele deve ser da versão 5.0.0 e posteriores. Para ter mais informações, consulte conector do Amazon DynamoDB |
| 1.19, 1.20 | Coletor do Amazon SQS |
Ao fazer o upgrade para a versão 1.19 e 1.20 do Managed Service for Apache Flink, verifique se você está usando o conector de coletor mais recente do Amazon SQS. Ele deve ser da versão 5.0.0 e posteriores. Para obter mais informações, consulte Coletor do Amazon SQS |
| 1.19, 1.20 | Coletor do Amazon Managed Service para Prometheus |
Ao fazer o upgrade para a versão 1.19 e 1.20 do Managed Service for Apache Flink, verifique se você está usando o conector de coletor mais recente do Amazon Managed Service for Prometheus. Ele deve ser da versão 1.0.0 e posteriores. Para obter mais informações, consulte Coletor do Prometheus |
