Amazon Managed Service for Apache Flink (DataStream API) の概要 - Managed Service for Apache Flink
アプリケーションコンポーネントを確認する必要な前提条件を完了する

Amazon Managed Service for Apache Flink (Amazon MSF) は、以前は Amazon Kinesis Data Analytics for Apache Flink と呼ばれていました。

Amazon Managed Service for Apache Flink (DataStream API) の概要

このセクションでは、Managed Service for Apache Flink に関する基本概念と DataStream API を使用した Java でのアプリケーションの実装について紹介します。アプリケーションの作成とテストに使用できるオプションについて説明します。また、このガイドのチュートリアルを完了し、初めてアプリケーションを作成するのに必要なツールのインストール方法についても説明します。

トピック

Managed Service for Apache Flink アプリケーションのコンポーネントを確認する

注記

Amazon Managed Service for Apache Flink はすべての Apache Flink API をサポートし、場合によってはすべての JVM 言語もサポートします。詳細については、「Flink's APIs」を参照してください。

選択した API に応じて、アプリケーションの構造および実装が若干異なります。この入門チュートリアルでは、Java における DataStream API を使用したアプリケーションの実装について説明します。

データを処理するため、Managed Service for Apache Flink アプリケーションでは、Apache Flink ランタイムを使用して入力を処理し、出力を生成する Java アプリケーションが使用されます。

通常の Managed Service for Apache Flink アプリケーションには、次のコンポーネントがあります。

  • ランタイムプロパティ: ランタイムプロパティを使用して、コードを変更して再発行することなく、設定パラメータをアプリケーションに渡して変更することができます。

  • ソース: アプリケーションは 1 つ以上のソースからデータを消費します。ソースはコネクタを使用して、Kinesis データストリームや Kafka バケットなどの外部システムからデータを読み込みます。詳細については、「ストリーミングデータソースを追加する」を参照してください。

  • オペレーター: アプリケーションは 1 つ以上の オペレーター を使用してデータを処理します。オペレータはデータを変換、強化、または集約できます。詳細については、「演算子」を参照してください。

  • シンク: アプリケーションにより、シンクを通じて外部ソースにデータが送信されます。シンクはコネクタ v を使用して、Kinesis データストリーム、Kafka トピック、Amazon S3、リレーショナルデータベースにデータを送信します。特別なコネクタを使用して、開発目的としてのみ出力データを出力することもできます。詳細については、「シンクを使用してデータを書き込む」を参照してください。

アプリケーションには、アプリケーションが使用する Flink コネクタ (場合によっては Java ライブラリ) などの外部依存関係が一部必要です。Amazon Managed Service for Apache Flink で実行するには、アプリケーションは fat-jar で依存関係と一緒にパッケージ化され、Amazon S3 バケットにアップロードされる必要があります。次に、Apache Flink アプリケーション用 Managed Serviceを作成します。コードパッケージの場所は、他のランタイム設定パラメータと一緒に渡します。

このチュートリアルでは、Apache Maven を使用してアプリケーションをパッケージ化する方法、ならびに選択した IDE でアプリケーションをローカルで実行する方法について説明します。

演習を完了するための前提条件を満たす

このガイドの手順を完了するには、以下が必要です。

  • Git クライアント。Git クライアントをまだインストールしていない場合、インストールします。

  • Java 開発キット (JDK) バージョン 11。Java JDK 11 をインストールして、JAVA_HOME 環境変数が JDK のインストール場所を指すように設定します。JDK 11 がない場合、Amazon Coretto 11 または他の任意の標準 JDK を使用できます。

    • JDK が正しくインストールされていることを確認するには、次のコマンドを実行します。Amazon Corretto 以外の JDK を使用している場合、出力は異なります。バージョンが 11.x であることを確認してください。

      $ java --version

openjdk 11.0.23 2024-04-16 LTS
OpenJDK Runtime Environment Corretto-11.0.23.9.1 (build 11.0.23+9-LTS)
OpenJDK 64-Bit Server VM Corretto-11.0.23.9.1 (build 11.0.23+9-LTS, mixed mode)

  • – Apache Maven Apache Maven をまだインストールしていない場合、インストールします。インストール方法の詳細については、「Installing Apache Maven」を参照してください。

    • Apache Maven のインストールをテストするには、次のように入力します。

    $ mvn -version

  • ローカル開発用の IDE。開発環境 (Eclipse Java Neon や IntelliJ IDEA など) を使用し、アプリケーションを開発してコンパイルすることをお勧めします。

    • Apache Maven のインストールをテストするには、次のように入力します。

    $ mvn -version

開始するには、AWS アカウントをセットアップして管理者ユーザーを作成するに進みます。