Uso de conectores y dependencias - Managed Service para Apache Flink
Conectores por defectoAgregación de dependencias y conectores personalizados

Amazon Managed Service para Apache Flink Amazon (Amazon MSF) se denominaba anteriormente Amazon Kinesis Data Analytics para Apache Flink.

Uso de conectores y dependencias

Los conectores permiten leer y escribir datos en diversas tecnologías. Managed Service para Apache Flink incluye tres conectores predeterminados en su cuaderno de Studio. También puede usar conectores personalizados. Para obtener más información sobre conectores, consulte Table & SQL Connectors en la documentación de Apache Flink.

Conectores por defecto

Si se utiliza Consola de administración de AWS para crear su cuaderno de Studio, Managed Service para Apache Flink incluye los siguientes conectores personalizados de forma predeterminada: flink-sql-connector-kinesis, flink-connector-kafka_2.12 y aws-msk-iam-auth. Para crear un cuaderno de Studio a través de la consola sin estos conectores personalizados, seleccione la opción Crear con ajustes personalizados. A continuación, cuando llegue a la página de configuraciones, desactive las casillas de verificación situadas junto a los dos conectores.

Si se utiliza la API CreateApplication para crear su cuaderno de Studio, los conectores flink-sql-connector-flink y flink-connector-kafka no se incluyen de forma predeterminada. Para añadirlos, debe especificarlos como MavenReference en el tipo de datos CustomArtifactsConfiguration, como se muestra en los siguientes ejemplos.

El conector aws-msk-iam-auth es el conector que se utilizará con Amazon MSK e incluye la característica de autenticarse automáticamente con IAM.

nota

Las versiones de conector que se muestran en el siguiente ejemplo son las únicas versiones que admitimos.

For the Kinesis connector:

"CustomArtifactsConfiguration": [{
"ArtifactType": "DEPENDENCY_JAR",            
   "MavenReference": {
"GroupId": "org.apache.flink",

      "ArtifactId": "flink-sql-connector-kinesis",
      "Version": "1.15.4"

   }      
}]

For authenticating with AWS MSK through AWS IAM:

"CustomArtifactsConfiguration": [{
"ArtifactType": "DEPENDENCY_JAR",            
   "MavenReference": {
"GroupId": "software.amazon.msk",
      "ArtifactId": "aws-msk-iam-auth",
      "Version": "1.1.6"
   }      
}]
            
For the Apache Kafka connector:  

"CustomArtifactsConfiguration": [{
"ArtifactType": "DEPENDENCY_JAR",            
   "MavenReference": {
"GroupId": "org.apache.flink",

      "ArtifactId": "flink-connector-kafka",
      "Version": "1.15.4"

   }      
}]

Para añadir estos conectores a un cuaderno existente, utilice la operación de API UpdateApplication y especifíquelos como CustomArtifactsConfigurationUpdate en el tipo de datos MavenReference.

nota

Se puede establecer el valor true failOnError para el conector flink-sql-connector-kinesis en la API de la tabla.

Agregación de dependencias y conectores personalizados

Para usar Consola de administración de AWS para añadir una dependencia o un conector personalizado a tu portátil Studio, siga estos pasos:

  1. Cargue el archivo del conector personalizado en Amazon S3.

  2. En Consola de administración de AWS, elija la opción creación personalizada para crear su cuaderno de Studio.

  3. Siga el flujo de trabajo de creación de cuadernos de Studio hasta llegar al paso de configuración.

  4. En la sección Conectores personalizados, seleccione Añadir conector personalizado.

  5. Especifique la ubicación de Amazon S3 de la dependencia o del conector personalizado.

  6. Elija Guardar cambios.

Para añadir un JAR de dependencia o un conector personalizado al crear un nuevo cuaderno de Studio mediante la API CreateApplication, especifique la ubicación en Amazon S3 del JAR de dependencia o del conector personalizado en el tipo de datos CustomArtifactsConfiguration. Para añadir una dependencia o un conector personalizado a un cuaderno de Studio existente, invoque la operación de API UpdateApplication y especifique la ubicación en Amazon S3 del JAR de dependencia o del conector personalizado en el tipo de datos CustomArtifactsConfigurationUpdate.

nota

Cuando incluye una dependencia o un conector personalizado, también debe incluir todas sus dependencias transitivas que no estén incluidas en él.