テーブルプロパティ - Managed Service for Apache Flink
Apache Flink 時間値を定義しますFlink コネクタとフォーマットプロパティを使用します

Amazon Managed Service for Apache Flink (Amazon MSF) は、以前は Amazon Kinesis Data Analytics for Apache Flink と呼ばれていました。

テーブルプロパティ

データフィールドに加えて、 AWS Glue テーブルはテーブルプロパティを使用して Studio ノートブックに他の情報を提供します。Apache Flink 用 Managed Service は、次の AWS Glue テーブルプロパティを使用します。

AWS Glue テーブルにプロパティを追加するには、次の手順を従います。

  1. AWS マネジメントコンソールにサインインし、AWS Glue コンソール (https://console.aws.amazon.com/glue/) を開きます。

  2. テーブルのリストから、アプリケーションがデータ接続情報を保存するために使用するテーブルを選択します。[Action]、[テーブル詳細の編集] を選択します。

  3. [テーブルプロパティ] で、[キー] に managed-flink.proctime、[値] に user_action_time を入力します。

Apache Flink 時間値を定義します

Apache Flink は、「Processing Time」や「Event Time」など、ストリーム処理イベントの発生時刻を記述する時間値を提供します。これらの値をアプリケーションの出力に含めるには、 AWS Glue テーブルにプロパティを定義し、Apache Flink ランタイム用 Managed Service にこれらの値を指定されたフィールドに出力するように指示します。

テーブルプロパティで使用するキーと値は次のとおりです。

Timestamp タイプ キー 値
処理時間 managed-flink.proctime The column name that AWS Glue will use to expose the value. This column name does not correspond to an existing table column.
イベント時間 managed-flink.rowtime The column name that AWS Glue will use to expose the value. This column name corresponds to an existing table column.

managed-flink.watermark.「column_name」.ミリ秒

 The watermark interval in milliseconds

Flink コネクタとフォーマットプロパティを使用します

AWS Glue テーブルプロパティを使用して、データソースに関する情報をアプリケーションの Flink コネクタに提供します。Apache Flink 用 Managed Service がコネクタに使用するプロパティの例は、次のとおりです。

Connector Type キー 値
Kafka 形式 The format used to deserialize and serialize Kafka messages, e.g. json or csv.
scan.startup.mode The startup mode for the Kafka consumer, e.g. earliest-offset or timestamp.
Kinesis 形式 The format used to deserialize and serialize Kinesis data stream records, e.g. json or csv.
aws.region The AWS region where the stream is defined.
S3 (ファイルシステム) format The format used to deserialize and serialize files, e.g. json or csv.
パス The Amazon S3 path, e.g. s3://mybucket/.

Kinesis と Apache Kafka 以外のコネクタの詳細情報については、コネクタのマニュアルを参照してください。