Consideraciones y limitaciones al utilizar el conector de Spark - Amazon EMR

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Consideraciones y limitaciones al utilizar el conector de Spark

  • Le recomendamos que active SSL para la conexión JDBC desde Spark en Amazon EMR a Amazon Redshift.

  • Le recomendamos que administre las credenciales del clúster de Amazon Redshift en AWS Secrets Manager como práctica recomendada. Consulte Utilización AWS Secrets Manager para recuperar credenciales para conectarse a Amazon Redshift para ver un ejemplo.

  • Le recomendamos que pase un rol de IAM con el parámetro aws_iam_role para el parámetro de autenticación de Amazon Redshift.

  • El URI tempdir apunta a una ubicación de Amazon S3. Este directorio temporal no se limpia automáticamente y, por lo tanto, podría agregar costos adicionales.

  • Tenga en cuenta las siguientes recomendaciones para Amazon Redshift:

  • Tenga en cuenta las siguientes recomendaciones para Amazon S3:

    • Le recomendamos que bloquee el acceso público a los buckets de Amazon S3.

    • Le recomendamos que utilice el cifrado del servidor de Amazon S3 para cifrar los buckets de Amazon S3 utilizados.

    • Le recomendamos que utilice las políticas de ciclo de vida de Amazon S3 para definir las reglas de retención del bucket de Amazon S3.

    • Amazon EMR siempre verifica el código importado desde el código abierto a la imagen. Por motivos de seguridad, no admitimos los siguientes métodos de autenticación de Spark a Amazon S3:

      • Establecer las claves de AWS acceso en la clasificación de hadoop-env configuración

      • Codificación de las claves de AWS acceso en el tempdir URI

Para obtener más información sobre el uso del conector y sus parámetros compatibles, consulte los siguientes recursos: