Propriedade das tabelas - Managed Service for Apache Flink
Defina os valores de tempo do Apache FlinkUse o conector Flink e propriedades de formato

Anteriormente, o Amazon Managed Service for Apache Flink (Amazon MSF) era conhecido como Amazon Kinesis Data Analytics for Apache Flink.

Propriedade das tabelas

Além dos campos de dados, suas tabelas AWS Glue fornecem outras informações ao seu notebook Studio usando as propriedades da tabela. O Managed Service for Apache Flink usa as seguintes propriedades da tabela AWS Glue:

Para adicionar uma propriedade a uma tabela AWS Glue, faça o seguinte:

  1. Faça login no Console de gerenciamento da AWS e abra o console do AWS Glue em https://console.aws.amazon.com/glue/.

  2. Na lista de tabelas, escolha a tabela que o aplicativo usa para armazenar suas informações de conexão de dados. Selecione Ação, Editar detalhes da tabela.

  3. Em Propriedades da tabela, insira managed-flink.proctime para chave e user_action_time para Valor.

Defina os valores de tempo do Apache Flink

O Apache Flink fornece valores de tempo que descrevem quando os eventos de processamento do stream ocorreram, como Tempo de Processamento e Tempo do Evento. Para incluir esses valores na saída do seu aplicativo, você define propriedades em sua AWS Glue tabela que instruem o runtime do Managed Service for Apache Flink a emitir esses valores nos campos especificados.

As chaves e os valores que você usa nas propriedades da tabela são os seguintes:

Tipo Timestamp Chave Valor
Tempo de processamento managed-flink.proctime The column name that AWS Glue will use to expose the value. This column name does not correspond to an existing table column.
Hora do evento managed-flink.rowtime The column name that AWS Glue will use to expose the value. This column name corresponds to an existing table column.

managed-flink.watermark.column_name.milliseconds

 The watermark interval in milliseconds

Use o conector Flink e propriedades de formato

Você fornece informações sobre suas fontes de dados aos conectores Flink do seu aplicativo usando as propriedades da tabela AWS Glue. Alguns exemplos das propriedades que o Managed Service for Apache Flink usa para conectores são os seguintes:

Tipo de conector Chave Valor
Kafka formato The format used to deserialize and serialize Kafka messages, e.g. json or csv.
scan.startup.mode The startup mode for the Kafka consumer, e.g. compensação mais antiga or timestamp.
Kinesis formato The format used to deserialize and serialize Kinesis data stream records, e.g. json or csv.
aws.region The AWS region where the stream is defined.
S3 (sistema de arquivos) format The format used to deserialize and serialize files, e.g. json or csv.
caminho The Amazon S3 path, e.g. s3://mybucket/.

Para obter mais informações sobre outros conectores além do Kinesis e do Apache Kafka, consulte a documentação do seu conector.