Amazon Managed Service for Apache Flink (Amazon MSF) は、以前は Amazon Kinesis Data Analytics for Apache Flink と呼ばれていました。
Studio ノートブックを作成する
Studio ノートブックには、ストリーミングデータ上で実行され、分析結果を返す SQL、Python、または Scala で記述されたクエリまたはプログラムが含まれています。コンソールまたは CLI のいずれかを使用してアプリケーションを作成し、データソースからのデータを分析するためのクエリを提供します。
アプリケーションには次のコンポーネントがあります。
Amazon MSK クラスター、Kinesis データストリーム、または Amazon S3 バケットなどのデータソース。
AWS Glue データベース。このデータベースには、データソースとデスティネーションスキーマとエンドポイントを格納するテーブルが含まれています。詳細については、「AWS Glue を使用する」を参照してください。
アプリケーションコード。顧客のコードは分析クエリまたはプログラムを実装します。
アプリケーション設定とランタイムプロパティ。アプリケーション設定とランタイムプロパティについては、「 Apache Flink Applications 用デベロッパーガイド」の以下のトピックを参照してください。
「アプリケーションの並列度とスケーリング： 」アプリケーションの並列度設定を使用して、アプリケーションが同時に実行できるクエリの数を制御します。また、以下のような場合は、複数の実行経路を持つクエリは、並列度の向上を利用することができます。
Kinesis データストリームの複数のシャードを処理する場合
KeyByオペレータを使用してデータを分割する場合。複数のウィンドウオペレータを使用する場合
アプリケーションスケーリングの詳細情報については、「Apache Flink 用 Managed Service のアプリケーションスケーリング」を参照してください。
ロギングとモニタリング: アプリケーションのロギングとモニタリングについては、「Apache Flink 向けの Amazon Managed Service for Apache Flink でのロギングとモニタリング」を参照してください。
-
アプリケーションでは、チェックポイントとセーブポイントを使用してフォールトトレランスを行います。Studio ノートブックでは、チェックポイントとセーブポイントはデフォルトでは有効になっていません。
Studio ノートブックは、 AWS マネジメントコンソール または AWS CLI のいずれかを使用して作成できます。
コンソールからアプリケーションを作成する場合、以下のオプションがあります：。
Amazon MSK コンソールでクラスターを選択し、[データをリアルタイムで処理]を選択します。
Kinesis Data Streams コンソールでデータストリームを選択し、次に [アプリケーション] タブで [データをリアルタイムで処理] を選択します。
Apache Flink 用 Managed Service コンソールで [Studio] タブを選択し、次に [Studio ノートブックの作成] を選択します。
