Creación y ejecución de una aplicación de Managed Service para Apache Flink - Managed Service para Apache Flink
Creación del código de su aplicación de Managed Service para Apache FlinkCreación de la aplicación de Managed Service para Apache FlinkUso de claves administradas por el clienteInicio de su aplicación de Managed Service para Apache FlinkVerificación de su aplicación de Managed Service para Apache Flink

Amazon Managed Service para Apache Flink Amazon (Amazon MSF) se denominaba anteriormente Amazon Kinesis Data Analytics para Apache Flink.

Creación y ejecución de una aplicación de Managed Service para Apache Flink

En este tema, se incluye información acerca de cómo crear una aplicación de Managed Service para Apache Flink.

Este tema contiene las siguientes secciones:

Creación del código de su aplicación de Managed Service para Apache Flink

En esta sección se describen los componentes que debe utilizar para crear el código de su aplicación Managed Service para Apache Flink.

Le recomendamos que utilice la última versión compatible de Apache Flink para el código de la aplicación. Para obtener información sobre la actualización de aplicaciones Managed Service para Apache Flink, consulte Uso de actualizaciones de versión locales para Apache Flink.

El código de la aplicación se debe crear con Apache Maven. Un proyecto de Apache Maven utiliza un archivo pom.xml para especificar las versiones de los componentes que utiliza.

nota

Managed Service para Apache Flink admite archivos JAR de hasta 512 MB de tamaño. Si utiliza un archivo JAR de un tamaño superior a este, la aplicación no podrá iniciarse.

Las aplicaciones ahora pueden usar la API de Java desde cualquier versión de Scala. Debe incluir la biblioteca estándar de Scala que elija en sus aplicaciones de Scala.

Para obtener información sobre cómo crear una aplicación de Managed Service para Apache Flink que utilice Apache Beam, consulte Creación de aplicaciones de Managed Service para Apache Flink con Apache Beam.

Al utilizar la versión 1.1.0 del tiempo de ejecución de Managed Service para Apache Flink y versiones posteriores, debe especificar la versión de Apache Flink que utilizará la aplicación al compilarla. Debe proporcionar la versión de Apache Flink con el parámetro -Dflink.version. Por ejemplo, si utiliza Apache Flink 1.19.1, proporcione lo siguiente:

mvn package -Dflink.version=1.19.1

Para crear aplicaciones con versiones anteriores de Apache Flink, consulte Versiones anteriores.

Creación de la aplicación de Managed Service para Apache Flink

Una vez que haya creado el código de la aplicación, haga lo siguiente para crear su aplicación de Managed Service para Apache Flink (Amazon MSF):

  • Cargue el código de la aplicación: cargue el código de la aplicación en un bucket de Amazon S3. Al crear la aplicación, especifique el nombre del bucket de S3 y el nombre del objeto del código de la aplicación. Para ver un tutorial que muestra cómo cargar el código de la aplicación, consulte el tutorial Tutorial: introducción al uso de la API de DataStream en Managed Service para Apache Flink.

  • Cree su aplicación de Managed Service para Apache Flink: utilice uno de los siguientes métodos para crear su aplicación de Amazon MSF;

    nota

    Amazon MSF cifra la aplicación de forma predeterminada mediante Claves propiedad de AWS. También puede crear su nueva aplicación con claves de AWS KMS administradas por el cliente (CMK) para crear, poseer y administrar sus claves usted mismo. Para obtener más información acerca de las CMK, consulte Administración de claves en Amazon Managed Service para Apache Flink.

    • Cree su aplicación de Amazon MSF mediante la consola de AWS: puede crear y configurar la aplicación mediante la consola de AWS.

      Al crear la aplicación mediante la consola, se crean los recursos dependientes de la aplicación (como los flujos de registro de CloudWatch Logs, los roles de IAM y las políticas de IAM).

      Al crear la aplicación mediante la consola, debe especificar qué versión de Apache Flink utiliza la aplicación seleccionándola en el menú desplegable de la página Managed Service para Apache Flink: Crear aplicación.

      Para ver un tutorial acerca de cómo utilizar la consola para crear una aplicación, consulte el tutorial Tutorial: introducción al uso de la API de DataStream en Managed Service para Apache Flink.

    • Cree su aplicación de Amazon MSF mediante la CLI de AWS: puede crear y configurar la aplicación mediante la CLI de AWS.

      Al crear la aplicación mediante la CLI, también debe crear manualmente los recursos dependientes de la aplicación (como los flujos de registro de CloudWatch Logs, los roles de IAM y las políticas de IAM).

      Al crear la aplicación mediante la CLI, debe especificar qué versión de Apache Flink utiliza la aplicación mediante el parámetro RuntimeEnvironment de la acción CreateApplication.

    nota

    Se puede cambiar el RuntimeEnvironment de una aplicación existente. Para aprender a hacerlo, consulte Uso de actualizaciones de versión locales para Apache Flink.

Uso de claves administradas por el cliente

En Amazon MSF, las claves administradas por el cliente (CMK) son una característica mediante la cual puede cifrar los datos de su aplicación con una clave que usted crea, posee y administra en AWS Key Management Service (AWS KMS). En el caso de una aplicación de Amazon MSF, esto significa que todos los datos sujetos a un punto de control o una instantánea de Flink se cifran con una CMK que se define para esa aplicación.

Para utilizar CMK con su aplicación, primero debe crear la nueva aplicación y, a continuación, aplicar una CMK. Para obtener más información acerca del uso de CMK, consulte Administración de claves en Amazon Managed Service para Apache Flink.

Inicio de su aplicación de Managed Service para Apache Flink

Una vez que haya creado el código de la aplicación, lo haya cargado en S3 y creado la aplicación Managed Service para Apache Flink, inicie la aplicación. El inicio de una aplicación Managed Service para Apache Flink normalmente tarda varios minutos.

Utilice uno de los siguientes métodos para iniciar la aplicación:

  • Inicie la aplicación Managed Service para Apache Flink mediante la consola de AWS: puede ejecutar la aplicación seleccionando Ejecutar en la página de la aplicación, en la consola de AWS.

  • Inicie su aplicación Managed Service para Apache Flink mediante la API de AWS: puede ejecutar la aplicación mediante la acción StartApplication.

Verificación de su aplicación de Managed Service para Apache Flink

Puede comprobar que la aplicación funciona de las siguientes maneras:

  • Usando CloudWatch Logs: puede utilizar CloudWatch Logs y CloudWatch Logs Insights para comprobar que la aplicación se ejecuta correctamente. Para obtener información sobre el uso de CloudWatch Logs con su aplicación Managed Service para Apache Flink, consulte Registro y supervisión en Amazon Managed Service para Apache Flink.

  • Uso de CloudWatch Metrics: puede utilizar CloudWatch Metrics para supervisar la actividad de la aplicación o la actividad de los recursos que la aplicación utiliza como entrada o salida (como los flujos de Kinesis, los flujos de Firehose o los buckets de Amazon S3). Para obtener más información acerca de las métricas de CloudWatch, consulte Working with Metrics en la Guía del usuario de Amazon CloudWatch.

  • Supervisión de las ubicaciones de salida: si la aplicación escribe la salida en una ubicación (como un bucket o una base de datos de Amazon S3), puede supervisar esa ubicación para localizar los datos escritos.