Python アプリケーションを更新する - Managed Service for Apache Flink

Amazon Managed Service for Apache Flink (Amazon MSF) は、以前は Amazon Kinesis Data Analytics for Apache Flink と呼ばれていました。

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

Python アプリケーションを更新する

Python アプリケーションでは、コネクタと他の Java 依存関係を単一の uber-jar の一部としてパッケージ化する方法と、コネクタ jar を直接使用する方法の 2 つの方法でコネクタを使用できます。Async Sink デッドロックの影響を受けるアプリケーションを修正するには:

  • アプリケーションが uber jar を使用している場合は、 Java アプリケーションを更新する の指示に従ってください。

  • コネクタ JAR をソースから再構築するには、以下の手順に従います。

「ソースからコネクタを構築:」

「Flink のビルド要件と同様の前提条件:」

  • Java 11

  • Maven 3.2.5

  1. Flink 1.15.4 のソースコードのダウンロード:

    wget https://archive.apache.org/dist/flink/flink-1.15.4/flink-1.15.4-src.tgz

  2. ソースコードの解凍:

    tar -xvf flink-1.15.4-src.tgz

  3. Kinesis コネクタディレクトリに移動します。

    cd flink-1.15.4/flink-connectors/flink-connector-kinesis/

  4. 必要な AWS SDK バージョンを指定して、コネクタ jar をコンパイルしてインストールします。-DskipTests ビルド時間を短縮するには、 -Dfast テスト実行をスキップして追加のソースコードチェックをスキップします。

    mvn clean install -DskipTests -Dfast -Daws.sdkv2.version=2.20.144

  5. Kinesis コネクタディレクトリに移動します。

    cd ../flink-sql-connector-kinesis

  6. SQL コネクタ jar をコンパイルしてインストールします。

    mvn clean install -DskipTests -Dfast

  7. 作成された jar は次の場所で入手できます。

    target/flink-sql-connector-kinesis-1.15.4.jar

  1. Flink 1.15.4 のソースコードのダウンロード:

    wget https://archive.apache.org/dist/flink/flink-1.15.4/flink-1.15.4-src.tgz

  2. ソースコードの解凍:

    tar -xvf flink-1.15.4-src.tgz

  3. Kinesis コネクタディレクトリに移動します。

    cd flink-1.15.4/flink-connectors/flink-connector-aws-kinesis-streams/

  4. 必要な AWS SDK バージョンを指定して、コネクタ jar をコンパイルしてインストールします。-DskipTests ビルド時間を短縮するには、 -Dfast テスト実行をスキップして追加のソースコードチェックをスキップします。

    mvn clean install -DskipTests -Dfast -Daws.sdk.version=2.20.144

  5. Kinesis コネクタディレクトリに移動します。

    cd ../flink-sql-connector-aws-kinesis-streams

  6. SQL コネクタ jar をコンパイルしてインストールします。

    mvn clean install -DskipTests -Dfast

  7. 作成された jar は次の場所で入手できます。

    target/flink-sql-connector-aws-kinesis-streams-1.15.4.jar

  1. Flink 1.15.4 のソースコードのダウンロード:

    wget https://archive.apache.org/dist/flink/flink-1.15.4/flink-1.15.4-src.tgz

  2. ソースコードの解凍:

    tar -xvf flink-1.15.4-src.tgz

  3. コネクタディレクトリに移動

    cd flink-1.15.4/flink-connectors/flink-connector-aws-kinesis-firehose/

  4. 必要な AWS SDK バージョンを指定して、コネクタ jar をコンパイルしてインストールします。-DskipTests ビルド時間を短縮するには、 -Dfast テスト実行をスキップして追加のソースコードチェックをスキップします。

    mvn clean install -DskipTests -Dfast -Daws.sdk.version=2.20.144

  5. SQL コネクタディレクトリに移動します。

    cd ../flink-sql-connector-aws-kinesis-firehose

  6. SQL コネクタ jar をコンパイルしてインストールします。

    mvn clean install -DskipTests -Dfast

  7. 作成された jar は次の場所で入手できます。

    target/flink-sql-connector-aws-kinesis-firehose-1.15.4.jar

  1. Flink 1.15.4 のソースコードのダウンロード:

    wget https://archive.apache.org/dist/flink/flink-connector-aws-3.0.0/flink-connector-aws-3.0.0-src.tgz

  2. ソースコードの解凍:

    tar -xvf flink-connector-aws-3.0.0-src.tgz

  3. コネクタディレクトリに移動

    cd flink-connector-aws-3.0.0

  4. 必要な AWS SDK バージョンを指定して、コネクタ jar をコンパイルしてインストールします。-DskipTests ビルド時間を短縮するには、 -Dfast テスト実行をスキップして追加のソースコードチェックをスキップします。

    mvn clean install -DskipTests -Dfast -Dflink.version=1.15.4 -Daws.sdk.version=2.20.144

  5. 作成された jar は次の場所で入手できます。

    flink-sql-connector-dynamodb/target/flink-sql-connector-dynamodb-3.0.0.jar