Actualizar aplicaciones de Python - Managed Service para Apache Flink

Amazon Managed Service for Apache Flink (Amazon MSF) se denominaba anteriormente Amazon Kinesis Data Analytics for Apache Flink.

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Actualizar aplicaciones de Python

Las aplicaciones de Python pueden usar conectores de dos maneras diferentes: empaquetando conectores y otras dependencias de Java como parte de un único uber-jar, o usar el archivo jar del conector directamente. Cómo corregir las aplicaciones afectadas por el bloqueo de Async Sink:

Construcción de conectores desde el origen:

Requisitos previos, similares a los requisitos de construcción de Flink:

  • Java 11

  • Maven 3.2.5

  1. Descargue el código fuente de Flink 1.15.4:

    wget https://archive.apache.org/dist/flink/flink-1.15.4/flink-1.15.4-src.tgz

  2. Descomprima el código fuente:

    tar -xvf flink-1.15.4-src.tgz

  3. Navegación hasta el directorio de conectores de Kinesis

    cd flink-1.15.4/flink-connectors/flink-connector-kinesis/

  4. Compila e instala el tarro de conectores, especificando la versión AWS del SDK requerida. Para acelerar la construcción, utilice -DskipTests para omitir la ejecución de las pruebas y -Dfast para omitir las comprobaciones adicionales del código fuente:

    mvn clean install -DskipTests -Dfast -Daws.sdkv2.version=2.20.144

  5. Navegación hasta el directorio de conectores de Kinesis

    cd ../flink-sql-connector-kinesis

  6. Compile e instale el archivo jar del conector sql:

    mvn clean install -DskipTests -Dfast

  7. El jar resultante estará disponible en:

    target/flink-sql-connector-kinesis-1.15.4.jar

  1. Descargue el código fuente de Flink 1.15.4:

    wget https://archive.apache.org/dist/flink/flink-1.15.4/flink-1.15.4-src.tgz

  2. Descomprima el código fuente:

    tar -xvf flink-1.15.4-src.tgz

  3. Navegación hasta el directorio de conectores de Kinesis

    cd flink-1.15.4/flink-connectors/flink-connector-aws-kinesis-streams/

  4. Compila e instala el conector jar, especificando la versión del SDK requerida. AWS Para acelerar la construcción, utilice -DskipTests para omitir la ejecución de las pruebas y -Dfast para omitir las comprobaciones adicionales del código fuente:

    mvn clean install -DskipTests -Dfast -Daws.sdk.version=2.20.144

  5. Navegación hasta el directorio de conectores de Kinesis

    cd ../flink-sql-connector-aws-kinesis-streams

  6. Compile e instale el archivo jar del conector sql:

    mvn clean install -DskipTests -Dfast

  7. El jar resultante estará disponible en:

    target/flink-sql-connector-aws-kinesis-streams-1.15.4.jar

  1. Descargue el código fuente de Flink 1.15.4:

    wget https://archive.apache.org/dist/flink/flink-1.15.4/flink-1.15.4-src.tgz

  2. Descomprima el código fuente:

    tar -xvf flink-1.15.4-src.tgz

  3. Navegación hasta el directorio de conectores

    cd flink-1.15.4/flink-connectors/flink-connector-aws-kinesis-firehose/

  4. Compila e instala el conector jar, especificando la versión del SDK requerida. AWS Para acelerar la construcción, utilice -DskipTests para omitir la ejecución de las pruebas y -Dfast para omitir las comprobaciones adicionales del código fuente:

    mvn clean install -DskipTests -Dfast -Daws.sdk.version=2.20.144

  5. Navegación hasta el directorio de conectores sql

    cd ../flink-sql-connector-aws-kinesis-firehose

  6. Compile e instale el archivo jar del conector sql:

    mvn clean install -DskipTests -Dfast

  7. El jar resultante estará disponible en:

    target/flink-sql-connector-aws-kinesis-firehose-1.15.4.jar

  1. Descargue el código fuente de Flink 1.15.4:

    wget https://archive.apache.org/dist/flink/flink-connector-aws-3.0.0/flink-connector-aws-3.0.0-src.tgz

  2. Descomprima el código fuente:

    tar -xvf flink-connector-aws-3.0.0-src.tgz

  3. Navegación hasta el directorio de conectores

    cd flink-connector-aws-3.0.0

  4. Compila e instala el contenedor de conectores, especificando la versión AWS del SDK requerida. Para acelerar la construcción, utilice -DskipTests para omitir la ejecución de las pruebas y -Dfast para omitir las comprobaciones adicionales del código fuente:

    mvn clean install -DskipTests -Dfast -Dflink.version=1.15.4 -Daws.sdk.version=2.20.144

  5. El jar resultante estará disponible en:

    flink-sql-connector-dynamodb/target/flink-sql-connector-dynamodb-3.0.0.jar