チュートリアル: Amazon Managed Service for Apache Flink を使用してリアルタイムの株式データを分析する
このチュートリアルのシナリオには、株式取引のデータストリームへの取り込みと、ストリームで計算を実行するシンプルな Amazon Managed Service for Apache Flink アプリケーションの記述が含まれます。レコードのストリームを Kinesis Data Streams に送信し、ほぼリアルタイムでレコードを消費および処理するアプリケーションを実装する方法を説明します。
Amazon Managed Service for Apache Flink を使用すると、Java、または Scala のいずれかを使用してストリーミングデータを処理および分析できます。このサービスを使用すると、ストリーミングソースに対して Java または Scala コードを作成して実行し、時系列分析の実行、ダッシュボードへのリアルタイムフィード、メトリクスのリアルタイム作成を行うことができます。
Flink アプリケーションは、Apache Flink
重要
Kinesis Data Streams と Managed Service for Apache Flink は AWS 無料利用枠の対象外であるため、2 つのデータストリームと 1 つのアプリケーションを作成すると、これらの使用に対するわずかな料金がアカウントに請求されます。このアプリケーションを終了したら、AWS リソースを削除して料金が発生しないようにしてください。
このコードでは、実際の株式市場データにアクセスする代わりに、株式取引のストリームをシミュレートします。そのために、ランダム株式取引ジェネレーターが使用されます。リアルタイムの株式取引のストリームにアクセスできたとしたら、そのときに必要としている有益な統計を入手したいと考えるかもしれません。たとえば、スライディングウィンドウ分析を実行して、過去 5 分間に購入された最も人気のある株式を調べたいと思われるかもしれません。または、大規模な売り注文 (膨大な株式が含まれる売り注文) が発生したときに通知を受けたいと思われるかもしれません。このシリーズのコードを拡張して、このような機能を使用することもできます。
この例では米国西部 (オレゴン) リージョンが使用されていますが、Managed Service for Apache Flink がサポートされる AWS リージョンであれば、どのリージョンでも動作します。
タスク
演習を完了するための前提条件
このガイドの手順を完了するには、以下が必要です。
-
Java 開発キット
(JDK) バージョン 8。 JAVA_HOME環境変数を、JDK のインストール場所を指すように設定します。 -
開発環境 (Eclipse Java Neon
や IntelliJ Idea など ) を使用してアプリケーションを開発し、コンパイルすることをお勧めします。 -
Git クライアント。
Git クライアントをまだインストールしていない場合は、インストールします。 -
Apache Maven Compiler Plugin
。Maven が作業パスに含まれている必要があります。Apache Maven のインストールをテストするには、次のように入力します。 $ mvn -version
開始するには、AWS アカウントをセットアップして管理者ユーザーを作成するに進みます。
