Propriedades da tabela - Managed Service for Apache Flink
Defina os valores de tempo do Apache FlinkUse o conector Flink e as propriedades de formato

O Amazon Managed Service para Apache Flink (Amazon MSF) era conhecido anteriormente como Amazon Kinesis Data Analytics for Apache Flink.

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Propriedades da tabela

Além dos campos de dados, suas AWS Glue tabelas fornecem outras informações ao seu notebook Studio usando as propriedades da tabela. O Managed Service para Apache Flink usa as seguintes propriedades de AWS Glue tabela:

Para adicionar uma propriedade a uma AWS Glue tabela, faça o seguinte:

  1. Faça login no AWS Management Console e abra o AWS Glue console em https://console.aws.amazon.com/glue/.

  2. Na lista de tabelas, escolha a tabela que o aplicativo usa para armazenar suas informações de conexão de dados. Selecione Ação, Editar detalhes da tabela.

  3. Em Propriedades da tabela, insira managed-flink.proctime para chave e user_action_time para Valor.

Defina os valores de tempo do Apache Flink

O Apache Flink fornece valores de tempo que descrevem quando os eventos de processamento do stream ocorreram, como Tempo de Processamento e Tempo do Evento. Para incluir esses valores na saída do seu aplicativo, você define propriedades em sua AWS Glue tabela que instruem o tempo de execução do Managed Service for Apache Flink a emitir esses valores nos campos especificados.

As chaves e os valores que você usa nas propriedades da tabela são os seguintes:

Tipo Timestamp Chave Valor
Tempo de processamento managed-flink.proctime O nome da coluna que AWS Glue será usada para expor o valor. Esse nome de coluna não corresponde a uma coluna de tabela existente.
Horário do evento managed-flink.rowtime O nome da coluna que AWS Glue será usada para expor o valor. Esse nome de coluna corresponde a uma coluna de tabela existente.

managed-flink.watermark. column_name.milissegundos

 O intervalo da marca d'água em milissegundos

Use o conector Flink e as propriedades de formato

Você fornece informações sobre suas fontes de dados aos conectores Flink do seu aplicativo usando as propriedades da tabela AWS Glue . Alguns exemplos das propriedades que o Managed Service for Apache Flink usa para conectores são os seguintes:

Tipo de conector Chave Valor
Kafka format O formato usado para desserializar e serializar mensagens do Kafka, por exemplo, ou. json csv
scan.startup.mode O modo de inicialização para o consumidor do Kafka, por exemplo, ou. earliest-offset timestamp
Kinesis format O formato usado para desserializar e serializar registros de stream de dados do Kinesis, por exemplo, ou. json csv
aws.region A AWS região em que o riacho é definido.
S3 (sistema de arquivos) formato O formato usado para desserializar e serializar arquivos, por exemplo, ou. json csv
path O caminho do Amazon S3, por exemplo s3://mybucket/

Para obter mais informações sobre outros conectores além do Kinesis e do Apache Kafka, consulte a documentação do seu conector.