Atualizar aplicativos Python - Managed Service for Apache Flink

Anteriormente, o Amazon Managed Service for Apache Flink (Amazon MSF) era conhecido como Amazon Kinesis Data Analytics for Apache Flink.

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Atualizar aplicativos Python

Os aplicativos Python podem usar conectores de duas maneiras diferentes: empacotar conectores e outras dependências Java como parte de um único uber-jar ou usar o jar de conectores diretamente. Para corrigir aplicativos afetados pelo deadlock do Async Sink:

  • Se o aplicativo usar um uber jar, siga as instruções para Atualizar aplicativos Java .

  • Para recriar jars de conectores a partir da fonte, use as seguintes etapas:

Construir conectores a partir da fonte:

Pré-requisitos, semelhantes aos requisitos de compilação do Flink:

  • Java 11

  • Maven 3.2.5

  1. Baixe o código-fonte do Flink 1.15.4:

    wget https://archive.apache.org/dist/flink/flink-1.15.4/flink-1.15.4-src.tgz

  2. Descompactar código-fonte:

    tar -xvf flink-1.15.4-src.tgz

  3. Navegue até o diretório do conector kinesis

    cd flink-1.15.4/flink-connectors/flink-connector-kinesis/

  4. Compile e instale o jar de conectores, especificando a versão necessária do AWS SDK. Para acelerar a compilação, use -DskipTests para ignorar a execução do teste e -Dfast para ignorar verificações adicionais do código-fonte:

    mvn clean install -DskipTests -Dfast -Daws.sdkv2.version=2.20.144

  5. Navegue até o diretório do conector kinesis

    cd ../flink-sql-connector-kinesis

  6. Compile e instale o jar do conector sql:

    mvn clean install -DskipTests -Dfast

  7. O jar resultante estará disponível em:

    target/flink-sql-connector-kinesis-1.15.4.jar

  1. Baixe o código-fonte do Flink 1.15.4:

    wget https://archive.apache.org/dist/flink/flink-1.15.4/flink-1.15.4-src.tgz

  2. Descompactar código-fonte:

    tar -xvf flink-1.15.4-src.tgz

  3. Navegue até o diretório do conector kinesis

    cd flink-1.15.4/flink-connectors/flink-connector-aws-kinesis-streams/

  4. Compile e instale o jar de conectores, especificando a versão necessária do AWS SDK. Para acelerar a compilação, use -DskipTests para ignorar a execução do teste e -Dfast para ignorar verificações adicionais do código-fonte:

    mvn clean install -DskipTests -Dfast -Daws.sdk.version=2.20.144

  5. Navegue até o diretório do conector kinesis

    cd ../flink-sql-connector-aws-kinesis-streams

  6. Compile e instale o jar do conector sql:

    mvn clean install -DskipTests -Dfast

  7. O jar resultante estará disponível em:

    target/flink-sql-connector-aws-kinesis-streams-1.15.4.jar

  1. Baixe o código-fonte do Flink 1.15.4:

    wget https://archive.apache.org/dist/flink/flink-1.15.4/flink-1.15.4-src.tgz

  2. Descompactar código-fonte:

    tar -xvf flink-1.15.4-src.tgz

  3. Navegue até o diretório do conector

    cd flink-1.15.4/flink-connectors/flink-connector-aws-kinesis-firehose/

  4. Compile e instale o jar de conectores, especificando a versão necessária do AWS SDK. Para acelerar a compilação, use -DskipTests para ignorar a execução do teste e -Dfast para ignorar verificações adicionais do código-fonte:

    mvn clean install -DskipTests -Dfast -Daws.sdk.version=2.20.144

  5. Navegue até o diretório do conector sql

    cd ../flink-sql-connector-aws-kinesis-firehose

  6. Compile e instale o jar do conector sql:

    mvn clean install -DskipTests -Dfast

  7. O jar resultante estará disponível em:

    target/flink-sql-connector-aws-kinesis-firehose-1.15.4.jar

  1. Baixe o código-fonte do Flink 1.15.4:

    wget https://archive.apache.org/dist/flink/flink-connector-aws-3.0.0/flink-connector-aws-3.0.0-src.tgz

  2. Descompactar código-fonte:

    tar -xvf flink-connector-aws-3.0.0-src.tgz

  3. Navegue até o diretório do conector

    cd flink-connector-aws-3.0.0

  4. Compile e instale o jar de conectores, especificando a versão necessária do AWS SDK. Para acelerar a compilação, use -DskipTests para ignorar a execução do teste e -Dfast para ignorar verificações adicionais do código-fonte:

    mvn clean install -DskipTests -Dfast -Dflink.version=1.15.4 -Daws.sdk.version=2.20.144

  5. O jar resultante estará disponível em:

    flink-sql-connector-dynamodb/target/flink-sql-connector-dynamodb-3.0.0.jar