As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Considerações e limitações ao usar o conector do Spark
O conector Spark oferece suporte a várias maneiras de gerenciar credenciais, configurar a segurança e se conectar a outros AWS serviços. Familiarize-se com as recomendações desta lista para configurar uma conexão funcional e resiliente.
-
Recomendamos que você ative o SSL para a conexão JDBC do Spark no Amazon EMR para o Amazon Redshift.
-
Recomendamos que você gerencie as credenciais do cluster do Amazon Redshift no AWS Secrets Manager como uma prática recomendada. Consulte Usando AWS Secrets Manager para recuperar credenciais para se conectar ao Amazon Redshift para ver um exemplo.
-
Recomendamos que você transmita um perfil do IAM com o parâmetro
aws_iam_rolepara o parâmetro de autenticação do Amazon Redshift. -
No momento, o parâmetro
tempformatnão é compatível com o formato Parquet. -
O URI
tempdiraponta para um local do Amazon S3. Esse diretório temporário não é limpo automaticamente e, portanto, pode incorrer em custos adicionais. -
Considere as seguintes recomendações para o Amazon Redshift:
-
Recomendamos bloquear o acesso público ao cluster do Amazon Redshift.
-
Recomendamos ativar o registro em log de auditoria do Amazon Redshift.
-
Recomendamos ativar a criptografia em repouso do Amazon Redshift.
-
-
Considere as seguintes recomendações para o Amazon S3:
-
Recomendamos bloquear o acesso público aos buckets do Amazon S3.
-
Recomendamos usar a criptografia do lado do servidor do Amazon S3 para criptografar os buckets do S3 que você usa.
-
Recomendamos usar as políticas de ciclo de vida do Amazon S3 para definir as regras de retenção para o bucket do S3.
-
O Amazon EMR sempre verifica o código importado do código aberto para a imagem. Por motivos de segurança, não oferecemos suporte AWS à codificação de chaves de acesso no
tempdirURI como método de autenticação do Spark para o Amazon S3.
-
Para obter mais informações sobre como usar o conector e os parâmetros compatíveis, consulte os seguintes recursos:
-
Integração do Amazon Redshift para Apache Spark no Guia de gerenciamento do Amazon Redshift.
-
O repositório da comunidade
spark-redshiftno GitHub.
