Considérations et limites relatives à l'utilisation du connecteur Spark - Amazon EMR

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Considérations et limites relatives à l'utilisation du connecteur Spark

  • Nous vous recommandons d'activer le protocole SSL pour la connexion JDBC entre Spark sur Amazon EMR et Amazon Redshift.

  • À titre de bonne pratique, nous vous recommandons de gérer les informations d'identification du cluster Amazon Redshift dans AWS Secrets Manager . Voir Utiliser AWS Secrets Manager pour récupérer les informations d'identification pour se connecter à Amazon Redshift pour un exemple.

  • Nous vous recommandons de transmettre un rôle IAM à l'aide du paramètre aws_iam_role pour le paramètre d'authentification Amazon Redshift.

  • Le paramètre tempformat ne prend actuellement pas en charge le format Parquet.

  • L'URI tempdir renvoie à un emplacement Amazon S3. Ce répertoire temporaire n'est pas nettoyé automatiquement et peut donc entraîner des coûts supplémentaires.

  • Tenez compte des recommandations suivantes pour Amazon Redshift :

  • Tenez compte des recommandations suivantes pour Amazon S3 :

    • Nous vous recommandons de bloquer l'accès public aux compartiments Amazon S3.

    • Nous vous recommandons d'utiliser le chiffrement côté serveur Amazon S3 pour chiffrer les compartiments Amazon S3 utilisés.

    • Nous vous recommandons d'utiliser les politiques de cycle de vie d'Amazon S3 pour définir les règles de conservation du compartiment Amazon S3.

    • Amazon EMR vérifie toujours le code importé à partir d'une source ouverte dans l'image. Pour des raisons de sécurité, nous ne prenons pas en charge les méthodes d'authentification suivantes de Spark vers Amazon S3 :

      • Configuration des clés AWS d'accès dans la classification hadoop-env de configuration

      • Encodage des clés AWS d'accès dans l'tempdirURI

Pour plus d'informations sur l'utilisation du connecteur et les paramètres qu'il prend en charge, consultez les ressources suivantes :