As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Autenticação com a integração do Amazon Redshift para Apache Spark

Use AWS Secrets Manager para recuperar credenciais e conectar-se ao Amazon Redshift

Você pode se autenticar com segurança no Amazon Redshift armazenando as credenciais no Secrets Manager e fazer com que o trabalho do Spark chame a API GetSecretValue para buscá-la:

from pyspark.sql import SQLContextimport boto3

sc = # existing SparkContext
sql_context = SQLContext(sc)

secretsmanager_client = boto3.client('secretsmanager', region_name=os.getenv('AWS_REGION'))
secret_manager_response = secretsmanager_client.get_secret_value(
    SecretId='string',
    VersionId='string',
    VersionStage='string'
)
username = # get username from secret_manager_response
password = # get password from secret_manager_response
url = "jdbc:redshift://redshifthost:5439/database?user=" + username + "&password=" + password

# Access to Redshift cluster using Spark
            

Autenticação no Amazon Redshift com um driver JDBC

Definição de um nome de usuário e de uma senha no URL do JDBC

Você pode autenticar um trabalho do Spark em um cluster do Amazon Redshift especificando o nome e a senha do banco de dados do Amazon Redshift no URL do JDBC.

Se a segurança não for uma preocupação para seu aplicativo, use o seguinte formato para definir o nome de usuário e a senha no URL do JDBC:

jdbc:redshift://redshifthost:5439/database?user=username&password=password

Uso da autenticação baseada no IAM com o perfil de execução de trabalho do Amazon EMR Sem Servidor

A partir da versão 6.9.0 do Amazon EMR Sem Servidor, a versão 2.1 ou superior do driver JDBC do Amazon Redshift é empacotada no ambiente. Com a versão 2.1 e versões superiores do driver JDBC, é possível especificar o URL do JDBC e não incluir o nome de usuário e a senha brutos.

Em vez disso, especifique jdbc:redshift:iam:// o esquema. Isso comanda o driver JDBC para usar o perfil de execução de trabalho do EMR Sem Servidor para buscar as credenciais automaticamente. Consulte Configurar uma conexão JDBC ou ODBC para usar as credenciais do IAM no Guia de Gerenciamento do Amazon Redshift para obter mais informações. Um exemplo desse URL é:

jdbc:redshift:iam://examplecluster.abc123xyz789.us-west-2.redshift.amazonaws.com:5439/dev

As seguintes permissões são obrigatórias para o perfil de execução do trabalho quando ele atende às condições fornecidas:

Como se conectar ao Amazon Redshift em uma VPC diferente

Ao configurar um cluster provisionado do Amazon Redshift ou um grupo de trabalho Amazon Redshift Serverless em uma VPC, configure a conectividade da VPC para que seu aplicativo Amazon EMR Serverless acesse os recursos. Para obter mais informações sobre como configurar a conectividade VPC em um aplicativo EMR Serverless, consulte. Configuração do acesso à VPC para que aplicações do EMR Sem Servidor se conectem aos dados