Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Mengautentikasi dengan integrasi Amazon Redshift untuk Apache Spark

Menggunakan AWS Secrets Manager untuk mengambil kredensil dan terhubung ke Amazon Redshift

Contoh kode berikut menunjukkan bagaimana Anda dapat menggunakan AWS Secrets Manager untuk mengambil kredensyal untuk terhubung ke cluster Amazon Redshift dengan PySpark antarmuka untuk Apache Spark di Python.

from pyspark.sql import SQLContext
import boto3

sc = # existing SparkContext
sql_context = SQLContext(sc)

secretsmanager_client = boto3.client('secretsmanager')
secret_manager_response = secretsmanager_client.get_secret_value(
    SecretId='string',
    VersionId='string',
    VersionStage='string'
)
username = # get username from secret_manager_response
password = # get password from secret_manager_response
url = "jdbc:redshift://redshifthost:5439/database?user=" + username + "&password=" + password

# Read data from a table
df = sql_context.read \
    .format("io.github.spark_redshift_community.spark.redshift") \
    .option("url", url) \
    .option("dbtable", "my_table") \
    .option("tempdir", "s3://path/for/temp/data") \
    .load()

Menggunakan IAM untuk mengambil kredensyal dan terhubung ke Amazon Redshift

Anda dapat menggunakan driver JDBC versi 2 yang disediakan Amazon Redshift untuk terhubung ke Amazon Redshift dengan konektor Spark. Untuk menggunakan AWS Identity and Access Management (IAM), konfigurasikan URL JDBC Anda untuk menggunakan otentikasi IAM. Untuk terhubung ke kluster Redshift dari Amazon EMR, Anda harus memberikan izin peran IAM untuk mengambil kredenal IAM sementara. Tetapkan izin berikut ke peran IAM Anda sehingga dapat mengambil kredensyal dan menjalankan operasi Amazon S3.

Untuk informasi selengkapnyaGetClusterCredentials, lihat Kebijakan sumber daya untuk GetClusterCredentials.

Anda juga harus memastikan bahwa Amazon Redshift dapat mengambil peran IAM selama COPY dan operasi. UNLOAD

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Principal": {
                "Service": "redshift.amazonaws.com"
            },
            "Action": "sts:AssumeRole"
        }
    ]
}

Contoh berikut menggunakan otentikasi IAM antara Spark dan Amazon Redshift:

from pyspark.sql import SQLContext
import boto3

sc = # existing SparkContext
sql_context = SQLContext(sc)

url = "jdbc:redshift:iam://redshift-host:redshift-port/db-name"
iam_role_arn = "arn:aws:iam::account-id:role/role-name"

# Read data from a table
df = sql_context.read \
    .format("io.github.spark_redshift_community.spark.redshift") \
    .option("url", url) \
    .option("aws_iam_role", iam_role_arn) \
    .option("dbtable", "my_table") \
    .option("tempdir", "s3a://path/for/temp/data") \
    .mode("error") \
    .load()