Propiedades de la tabla - Managed Service para Apache Flink
Definición de valores de tiempo de Apache FlinkUso de propiedades del conector y el formato de Flink

Amazon Managed Service para Apache Flink Amazon (Amazon MSF) se denominaba anteriormente Amazon Kinesis Data Analytics para Apache Flink.

Propiedades de la tabla

Además de los campos de datos, las tablas AWS Glue proporcionan otra información al cuaderno de Studio mediante las propiedades de las tablas. Managed Service para Apache Flink utiliza las siguientes propiedades de tabla AWS Glue:

Para agregar una propiedad a una tabla AWS Glue, realice lo siguiente:

  1. Inicie sesión en la Consola de administración de AWS y abra la consola de AWS Glue en https://console.aws.amazon.com/glue/.

  2. En la lista de tablas, elija aquella que la aplicación utiliza para almacenar la información de conexión de datos. Seleccione Acción y edite los detalles de la tabla.

  3. En Propiedades de la tabla, introduzca managed-flink.proctime para la clave y user_action_time para el valor.

Definición de valores de tiempo de Apache Flink

Apache Flink proporciona valores de tiempo que describen cuándo se produjeron los eventos de procesamiento de la transmisión, como el Tiempo de procesamiento y el Tiempo del evento. Para incluir estos valores en el resultado de la aplicación, defina las propiedades en la tabla AWS Glue que indiquen al tiempo de ejecución de Managed Service para Apache Flink que emita estos valores en los campos especificados.

Las claves y los valores que utiliza en las propiedades de la tabla son los siguientes:

Tipo de timestamp Clave Valor
Tiempo de procesamiento managed-flink.proctime The column name that AWS Glue will use to expose the value. This column name does not correspond to an existing table column.
Tiempo del evento managed-flink.rowtime The column name that AWS Glue will use to expose the value. This column name corresponds to an existing table column.

managed-flink.watermark.column_name.milliseconds

 The watermark interval in milliseconds

Uso de propiedades del conector y el formato de Flink

La información sobre las fuentes de datos se proporciona a los conectores Flink de la aplicación mediante las propiedades de tabla AWS Glue. A continuación se muestran algunos ejemplos de las propiedades que Managed Service para Apache Flink utiliza para los conectores:

Tipo de conector Clave Valor
Kafka format The format used to deserialize and serialize Kafka messages, e.g. json or csv.
scan.startup.mode The startup mode for the Kafka consumer, e.g. earliest-offset or marca de tiempo.
Kinesis format The format used to deserialize and serialize Kinesis data stream records, e.g. json or csv.
aws.region The AWS region where the stream is defined.
S3 (Filesystem) format The format used to deserialize and serialize files, e.g. json or csv.
path The Amazon S3 path, e.g. s3://mybucket/.

Para obtener más información sobre otros conectores además de Kinesis y Apache Kafka, consulte la documentación del conector.