Amazon Managed Service para Apache Flink Amazon (Amazon MSF) se denominaba anteriormente Amazon Kinesis Data Analytics para Apache Flink.
Uso de conectores para transferir datos de Managed Service para Apache Flink con la API de DataStream
En la API de DataStream de Amazon Managed Service para Apache Flink, los conectores son componentes de software que transfieren datos hacia y desde una aplicación de Managed Service para Apache Flink. Los conectores son integraciones flexibles que permiten leer archivos y directorios. Los conectores constan de módulos completos para interactuar con los servicios de Amazon y los sistemas de terceros.
Entre los tipos de conectores, se incluyen:
Agregación de orígenes de datos de streaming: proporcione datos a su aplicación desde un flujo de datos de Kinesis, un archivo u otro origen de datos.
Escritura de datos mediante receptores: envíe datos desde su aplicación a un flujo de datos de Kinesis, un flujo de Firehose u otro destino de datos.
Uso de E/S asíncrona: Proporciona acceso asíncrono a un origen de datos (como una base de datos) para enriquecer los eventos de flujos.
Conectores disponibles
El marco de Apache Flink contiene conectores para acceder a los datos desde una variedad de fuentes. Para obtener información sobre los conectores disponibles en el marco Apache Flink, consulte la sección Connectors
aviso
Si tiene aplicaciones que se ejecutan en Flink 1.6, 1.8, 1.11 o 1.13 y desea ejecutarlas en las regiones de Medio Oriente (EAU), Asia Pacífico (Hyderabad), Israel (Tel Aviv), Europa (Zúrich), Medio Oriente (EAU), Asia-Pacífico (Melbourne) o Asia Pacífico (Yakarta), puede que necesite volver a compilar el archivo de su aplicación con un conector actualizado o actualizar a Flink 1.15.
Los conectores Apache Flink se almacenan en sus propios repositorios de código fuente. Si está actualizando a la versión 1.18 o posterior, debe actualizar sus dependencias. Para acceder al repositorio de los conectores de AWS para Apache Flink, consulte flink-connector-aws
La anterior fuente de Kinesis org.apache.flink.streaming.connectors.kinesis.FlinkKinesisConsumer está descontinuada y podría eliminarse en una futura versión de Flink. En su lugar, utilice Kinesis Source
No hay compatibilidad de estados entre FlinkKinesisConsumer y KinesisStreamsSource. Para obtener más información, consulte Migrating existing jobs to new Kinesis Streams Source
Las siguientes son las pautas recomendadas:
| Versión de Flink | Conector utilizado | Resolución |
|---|---|---|
| 1.19, 1.20 | Origen de Kinesis |
Al actualizar a Amazon Managed Service para Apache Flink a la versión 1.19 y 1.20, asegúrese de utilizar el conector de origen de Kinesis Data Streams más reciente. La versión debe ser 5.0.0 o posterior. Para obtener más información, consulte Amazon Kinesis Data Streams Connector |
| 1.19, 1.20 | Sumidero Kinesis |
Al actualizar a Amazon Managed Service para Apache Flink a la versión 1.19 y 1.20, asegúrese de utilizar el concector de receptor de Kinesis Data Streams más reciente. La versión debe ser 5.0.0 o posterior. Para obtener más información, consulte Kinesis Streams Sink |
| 1.19, 1.20 | Origen de DynamoDB Streams |
Al actualizar a Amazon Managed Service para Apache Flink a la versión 1.19 y 1.20, asegúrese de utilizar el conector de origen de DynamoDB Streams más reciente. La versión debe ser 5.0.0 o posterior. Para obtener más información, consulte Amazon DynamoDB Connector |
| 1.19, 1.20 | Receptor de DynamoDB | Al actualizar a Amazon Managed Service para Apache Flink a la versión 1.19 y 1.20, asegúrese de utilizar el conector de receptor de DynamoDB más reciente. La versión debe ser 5.0.0 o posterior. Para obtener más información, consulte Amazon DynamoDB Connector |
| 1.19, 1.20 | Receptor de Amazon SQS |
Al actualizar a Amazon Managed Service para Apache Flink a la versión 1.19 y 1.20, asegúrese de utilizar el conector de receptor de Amazon SQS más reciente. La versión debe ser 5.0.0 o posterior. Para obtener más información, consulte Amazon SQS Sink |
| 1.19, 1.20 | Receptor de Amazon Managed Service para Prometheus |
Al actualizar a las versiones 1.19 y 1.20 de Managed Service para Apache Flink, asegúrese de utilizar el conector de receptor más reciente de Amazon Managed Service para Prometheus. La versión de debe ser 1.0.0 o posterior. Para obtener más información, consulte Prometheus Sink |
