Aktualisieren von Python-Anwendungen - Managed Service für Apache Flink

Amazon Managed Service for Apache Flink (Amazon MSF) war zuvor als Amazon Kinesis Data Analytics for Apache Flink bekannt.

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Aktualisieren von Python-Anwendungen

Python-Anwendungen können Konnektoren auf zwei verschiedene Arten verwenden: Konnektoren und andere Java-Abhängigkeiten als Teil eines einzelnen uber-Jars verpacken oder Konnektor-JAR direkt verwenden. Beheben von Anwendungsproblemen, die durch Async Sink-Deadlock verursacht werden:

  • Wenn die Anwendung ein uber-Jar verwendet, folgen Sie den Anweisungen für Aktualisieren der Java-Anwendungen .

  • Gehen Sie wie folgt vor, um Konnektor-Jars aus dem Quellcode neu zu erstellen:

Erstellen von Konnektoren aus dem Quellcode:

Voraussetzungen, ähnlich den Build-Anforderungen von Flink:

  • Java 11

  • Maven 3.2.5

  1. Herunterladen des Quellcodes für Flink 1.15.4:

    wget https://archive.apache.org/dist/flink/flink-1.15.4/flink-1.15.4-src.tgz

  2. Entpacken des Quellcodes:

    tar -xvf flink-1.15.4-src.tgz

  3. Navigieren Sie zum Kinesis-Konnektor-Verzeichnis

    cd flink-1.15.4/flink-connectors/flink-connector-kinesis/

  4. Kompilieren und installieren Sie Connector-Jar unter Angabe der erforderlichen AWS SDK-Version. Um den Build zu beschleunigen, verwenden Sie -DskipTests, um die Testausführung zu überspringen, und -Dfast, um zusätzliche Quellcodeprüfungen zu überspringen:

    mvn clean install -DskipTests -Dfast -Daws.sdkv2.version=2.20.144

  5. Navigieren Sie zum Kinesis-Konnektor-Verzeichnis

    cd ../flink-sql-connector-kinesis

  6. Kompilieren und installieren Sie SQL-Konnektor-JAR:

    mvn clean install -DskipTests -Dfast

  7. Das resultierende JAR wird verfügbar sein unter:

    target/flink-sql-connector-kinesis-1.15.4.jar

  1. Herunterladen des Quellcodes für Flink 1.15.4:

    wget https://archive.apache.org/dist/flink/flink-1.15.4/flink-1.15.4-src.tgz

  2. Entpacken des Quellcodes:

    tar -xvf flink-1.15.4-src.tgz

  3. Navigieren Sie zum Kinesis-Konnektor-Verzeichnis

    cd flink-1.15.4/flink-connectors/flink-connector-aws-kinesis-streams/

  4. Kompilieren und installieren Sie Connector-JAR unter Angabe der erforderlichen SDK-Version. AWS Um den Build zu beschleunigen, verwenden Sie -DskipTests, um die Testausführung zu überspringen, und -Dfast, um zusätzliche Quellcodeprüfungen zu überspringen:

    mvn clean install -DskipTests -Dfast -Daws.sdk.version=2.20.144

  5. Navigieren Sie zum Kinesis-Konnektor-Verzeichnis

    cd ../flink-sql-connector-aws-kinesis-streams

  6. Kompilieren und installieren Sie SQL-Konnektor-JAR:

    mvn clean install -DskipTests -Dfast

  7. Das resultierende JAR wird verfügbar sein unter:

    target/flink-sql-connector-aws-kinesis-streams-1.15.4.jar

  1. Herunterladen des Quellcodes für Flink 1.15.4:

    wget https://archive.apache.org/dist/flink/flink-1.15.4/flink-1.15.4-src.tgz

  2. Entpacken des Quellcodes:

    tar -xvf flink-1.15.4-src.tgz

  3. Navigieren Sie zum Konnektor-Verzeichnis

    cd flink-1.15.4/flink-connectors/flink-connector-aws-kinesis-firehose/

  4. Kompilieren und installieren Sie das Connector-JAR unter Angabe der erforderlichen SDK-Version. AWS Um den Build zu beschleunigen, verwenden Sie -DskipTests, um die Testausführung zu überspringen, und -Dfast, um zusätzliche Quellcodeprüfungen zu überspringen:

    mvn clean install -DskipTests -Dfast -Daws.sdk.version=2.20.144

  5. Navigieren Sie zum SQL-Konnektor-Verzeichnis

    cd ../flink-sql-connector-aws-kinesis-firehose

  6. Kompilieren und installieren Sie SQL-Konnektor-JAR:

    mvn clean install -DskipTests -Dfast

  7. Das resultierende JAR wird verfügbar sein unter:

    target/flink-sql-connector-aws-kinesis-firehose-1.15.4.jar

  1. Herunterladen des Quellcodes für Flink 1.15.4:

    wget https://archive.apache.org/dist/flink/flink-connector-aws-3.0.0/flink-connector-aws-3.0.0-src.tgz

  2. Entpacken des Quellcodes:

    tar -xvf flink-connector-aws-3.0.0-src.tgz

  3. Navigieren Sie zum Konnektor-Verzeichnis

    cd flink-connector-aws-3.0.0

  4. Kompilieren und installieren Sie das Connector-JAR unter Angabe der erforderlichen AWS SDK-Version. Um den Build zu beschleunigen, verwenden Sie -DskipTests, um die Testausführung zu überspringen, und -Dfast, um zusätzliche Quellcodeprüfungen zu überspringen:

    mvn clean install -DskipTests -Dfast -Dflink.version=1.15.4 -Daws.sdk.version=2.20.144

  5. Das resultierende JAR wird verfügbar sein unter:

    flink-sql-connector-dynamodb/target/flink-sql-connector-dynamodb-3.0.0.jar