Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Koneksi pergeseran merah

Anda dapat menggunakan AWS Glue for Spark untuk membaca dan menulis ke tabel di database Amazon Redshift. Saat menghubungkan ke database Amazon Redshift, AWS Glue memindahkan data melalui Amazon S3 untuk mencapai throughput maksimum, menggunakan Amazon Redshift SQL COPY dan UNLOAD perintah. Di AWS Glue 4.0 dan yang lebih baru, Anda dapat menggunakan integrasi Amazon Redshift untuk Apache Spark untuk membaca dan menulis dengan pengoptimalan dan fitur khusus untuk Amazon Redshift di luar yang tersedia saat menghubungkan melalui versi sebelumnya.

Pelajari tentang bagaimana AWS Glue mempermudah pengguna Amazon Redshift untuk bermigrasi ke Glue untuk AWS integrasi data tanpa server dan ETL.

Mengkonfigurasi koneksi Redshift

Untuk menggunakan cluster Amazon Redshift di AWS Glue, Anda memerlukan beberapa prasyarat:

Mengkonfigurasi peran IAM

Menyiapkan peran untuk cluster Amazon Redshift

Cluster Amazon Redshift Anda harus dapat membaca dan menulis ke Amazon S3 agar dapat diintegrasikan dengan pekerjaan AWS Glue. Untuk mengizinkannya, Anda dapat mengaitkan peran IAM dengan cluster Amazon Redshift yang ingin Anda sambungkan. Peran Anda harus memiliki kebijakan yang memungkinkan membaca dan menulis ke direktori sementara Amazon S3 Anda. Peran Anda harus memiliki hubungan kepercayaan yang memungkinkan redshift.amazonaws.com layanan untuk melakukannyaAssumeRole.

Menyiapkan peran untuk AWS Pekerjaan lem

Pekerjaan AWS Glue membutuhkan peran untuk mengakses bucket Amazon S3. Anda tidak memerlukan izin IAM untuk cluster Amazon Redshift, akses Anda dikendalikan oleh konektivitas di Amazon VPC dan kredenSIAL database Anda.

Siapkan Amazon VPC

Penyiapan AWS Lem

Anda harus membuat koneksi Katalog Data AWS Glue yang menyediakan informasi koneksi Amazon VPC.

Contoh: Membaca dari tabel Amazon Redshift

Anda dapat membaca dari cluster Amazon Redshift dan lingkungan tanpa server Amazon Redshift.

Pr asyarat: Tabel Amazon Redshift yang ingin Anda baca. Ikuti langkah-langkah di bagian sebelumnya Mengkonfigurasi koneksi Redshift setelah itu Anda harus memiliki URI Amazon S3 untuk direktori sementara, temp-s3-dir dan peran IAM,rs-role-name, (dalam akunrole-account-id).

Using the Data Catalog

Prasyarat Tambahan: Database Katalog Data dan Tabel untuk tabel Amazon Redshift yang ingin Anda baca. Untuk informasi selengkapnya tentang Katalog Data, lihatPenemuan dan katalogisasi data di AWS Glue. Setelah membuat entri untuk tabel Amazon Redshift Anda, Anda akan mengidentifikasi koneksi Anda dengan a redshift-dc-database-name danredshift-table-name.

Konfigurasi: Dalam opsi fungsi Anda, Anda akan mengidentifikasi Tabel Katalog Data Anda dengan table_name parameter database dan. Anda akan mengidentifikasi direktori sementara Amazon S3 Anda denganredshift_tmp_dir. Anda juga akan menyediakan rs-role-name menggunakan aws_iam_role kunci dalam additional_options parameter.

 glueContext.create_dynamic_frame.from_catalog(
    database = "redshift-dc-database-name", 
    table_name = "redshift-table-name", 
    redshift_tmp_dir = args["temp-s3-dir"], 
    additional_options = {"aws_iam_role": "arn:aws:iam::role-account-id:role/rs-role-name"}) 
        

Connecting directly

Prasyarat Tambahan: Anda memerlukan nama tabel Amazon Redshift Anda (redshift-table-name. Anda memerlukan informasi koneksi JDBC untuk cluster Amazon Redshift yang menyimpan tabel tersebut. Anda akan memberikan informasi koneksi Anda denganhost,port,redshift-database-name, username danpassword.

Anda dapat mengambil informasi koneksi dari konsol Amazon Redshift saat bekerja dengan cluster Amazon Redshift. Saat menggunakan Amazon Redshift tanpa server, lihat Mengh ubungkan ke Amazon Redshift Serverless di dokumentasi Amazon Redshift.

Konfigurasi: Dalam opsi fungsi Anda, Anda akan mengidentifikasi parameter koneksi Anda denganurl,dbtable, user danpassword. Anda akan mengidentifikasi direktori sementara Amazon S3 Anda denganredshift_tmp_dir. Anda dapat menentukan peran IAM menggunakan aws_iam_role saat Anda menggunakanfrom_options. Sintaksnya mirip dengan menghubungkan melalui Katalog Data, tetapi Anda menempatkan parameter di connection_options peta.

Ini adalah praktik yang buruk untuk membuat hardcode kata sandi ke dalam skrip AWS Glue. Pertimbangkan untuk menyimpan kata sandi Anda AWS Secrets Manager dan mengambilnya di skrip Anda dengan SDK untuk Python (Boto3).

my_conn_options = {  
    "url": "jdbc:redshift://host:port/redshift-database-name",
    "dbtable": "redshift-table-name",
    "user": "username",
    "password": "password",
    "redshiftTmpDir": args["temp-s3-dir"],
    "aws_iam_role": "arn:aws:iam::account id:role/rs-role-name"
}

df = glueContext.create_dynamic_frame.from_options("redshift", my_conn_options)
        

Contoh: Menulis ke tabel Amazon Redshift

Anda dapat menulis ke cluster Amazon Redshift dan lingkungan tanpa server Amazon Redshift.

Pr asyarat: Cluster Amazon Redshift dan ikuti langkah-langkah di bagian sebelumnya Mengkonfigurasi koneksi Redshift setelah itu Anda harus memiliki URI Amazon S3 untuk direktori sementara, temp-s3-dir dan peran IAM,rs-role-name, (dalam akunrole-account-id). Anda juga akan memerlukan DynamicFrame isinya yang ingin Anda tulis ke database.

Using the Data Catalog

Pras yarat Tambahan Database Katalog Data untuk cluster dan tabel Amazon Redshift yang ingin Anda tulis. Untuk informasi selengkapnya tentang Katalog Data, lihatPenemuan dan katalogisasi data di AWS Glue. Anda akan mengidentifikasi koneksi Anda dengan redshift-dc-database-name dan tabel target denganredshift-table-name.

Konfigurasi: Dalam opsi fungsi Anda, Anda akan mengidentifikasi Database Katalog Data Anda dengan database parameter, lalu berikan tabel dengantable_name. Anda akan mengidentifikasi direktori sementara Amazon S3 Anda denganredshift_tmp_dir. Anda juga akan menyediakan rs-role-name menggunakan aws_iam_role kunci dalam additional_options parameter.

 glueContext.write_dynamic_frame.from_catalog(
    frame = input dynamic frame, 
    database = "redshift-dc-database-name", 
    table_name = "redshift-table-name", 
    redshift_tmp_dir = args["temp-s3-dir"], 
    additional_options = {"aws_iam_role": "arn:aws:iam::account-id:role/rs-role-name"}) 
        

Connecting through a AWS Glue connection

Anda dapat terhubung ke Amazon Redshift secara langsung menggunakan write_dynamic_frame.from_options metode ini. Namun, alih-alih menyisipkan detail koneksi Anda langsung ke skrip Anda, Anda dapat mereferensikan detail koneksi yang disimpan dalam koneksi Katalog Data dengan from_jdbc_conf metode tersebut. Anda dapat melakukan ini tanpa merayapi atau membuat tabel Katalog Data untuk database Anda. Untuk informasi selengkapnya tentang koneksi Katalog Data, lihatMenghubungkan ke data.

Prasyarat Tambahan: Koneksi Katalog Data untuk database Anda, tabel Amazon Redshift yang ingin Anda baca

Konfigurasi: Anda akan mengidentifikasi koneksi Katalog Data Anda dengandc-connection-name. Anda akan mengidentifikasi database dan tabel Amazon Redshift Anda dengan redshift-table-name danredshift-database-name. Anda akan memberikan informasi koneksi Katalog Data Anda dengan catalog_connection dan informasi Amazon Redshift Anda dengan dbtable dandatabase. Sintaksnya mirip dengan menghubungkan melalui Katalog Data, tetapi Anda menempatkan parameter di connection_options peta.

my_conn_options = {
    "dbtable": "redshift-table-name",
    "database": "redshift-database-name",
    "aws_iam_role": "arn:aws:iam::role-account-id:role/rs-role-name"
}

glueContext.write_dynamic_frame.from_jdbc_conf(
    frame = input dynamic frame, 
    catalog_connection = "dc-connection-name", 
    connection_options = my_conn_options, 
    redshift_tmp_dir = args["temp-s3-dir"])
	
        

Referensi opsi koneksi Amazon Redshift

Opsi koneksi dasar yang digunakan untuk semua koneksi AWS Glue JDBC untuk mengatur informasi sepertiurl, user dan password konsisten di semua jenis JDBC. Untuk informasi selengkapnya tentang parameter JDBC standar, lihat. Referensi opsi koneksi JDBC

Jenis koneksi Amazon Redshift membutuhkan beberapa opsi koneksi tambahan:

Opsi koneksi tambahan tersedia di AWS Lem 4.0+

Anda juga dapat meneruskan opsi untuk konektor Amazon Redshift baru melalui opsi koneksi AWS Glue. Untuk daftar lengkap opsi konektor yang didukung, lihat bagian parameter S park SQL di integrasi Amazon Redshift untuk Apache Spark.

Untuk kenyamanan Anda, kami mengulangi opsi baru tertentu di sini:

Parameter baru ini dapat digunakan dengan cara berikut.

Opsi baru untuk peningkatan kinerja

Konektor baru memperkenalkan beberapa opsi peningkatan kinerja baru:

Untuk informasi tentang penggunaan opsi ini, lihat integrasi Amazon Redshift untuk Apache Spark. Sebaiknya Anda tidak mengaktifkan autopushdown.s3_result_cache saat Anda memiliki operasi baca dan tulis campuran karena hasil yang di-cache mungkin berisi informasi basi. Opsi unload_s3_format diatur secara PARQUET default untuk UNLOAD perintah, untuk meningkatkan kinerja dan mengurangi biaya penyimpanan. Untuk menggunakan perilaku default UNLOAD perintah, atur ulang opsi keTEXT.

Opsi enkripsi baru untuk membaca

Secara default, data dalam folder sementara yang AWS Glue digunakan saat membaca data dari tabel Amazon Redshift di SSE-S3 enkripsi menggunakan enkripsi. Untuk menggunakan kunci yang dikelola pelanggan dari AWS Key Management Service (AWS KMS) untuk mengenkripsi data Anda, Anda dapat mengatur dari ("sse_kms_key" → kmsKey) mana KSM Key adalah ID kunci AWS KMS, bukan opsi pengaturan lama ("extraunloadoptions" → s"ENCRYPTED KMS_KEY_ID '$kmsKey'") di AWS Glue versi 3.0.

datasource0 = glueContext.create_dynamic_frame.from_catalog(
  database = "database-name", 
  table_name = "table-name", 
  redshift_tmp_dir = args["TempDir"],
  additional_options = {"sse_kms_key":"<KMS_KEY_ID>"}, 
  transformation_ctx = "datasource0"
)

Mendukung IAM-based URL JDBC

Konektor baru mendukung URL IAM-based JDBC sehingga Anda tidak perlu memasukkan user/password atau rahasia. Dengan URL IAM-based JDBC, konektor menggunakan peran runtime pekerjaan untuk mengakses sumber data Amazon Redshift.

Langkah 1: Lampirkan kebijakan minimal wajib berikut ke peran runtime AWS Glue pekerjaan Anda.

JSON

{
    "Version":"2012-10-17",
    "Statement": [
        {
            "Sid": "VisualEditor0",
            "Effect": "Allow",
            "Action": "redshift:GetClusterCredentials",
            "Resource": [
                "arn:aws:redshift:us-east-1:111122223333:dbgroup:<cluster name>/*",
                "arn:aws:redshift:*:111122223333:dbuser:*/*",
                "arn:aws:redshift:us-east-1:111122223333:dbname:<cluster name>/<database name>"
            ]
        },
        {
            "Sid": "VisualEditor1",
            "Effect": "Allow",
            "Action": "redshift:DescribeClusters",
            "Resource": "*"
        }
    ]
}

Langkah 2: Gunakan URL IAM-based JDBC sebagai berikut. Tentukan opsi baru DbUser dengan nama pengguna Amazon Redshift yang Anda sambungkan.

conn_options = {
     // IAM-based JDBC URL
    "url": "jdbc:redshift:iam://<cluster name>:<region>/<database name>",
    "dbtable": dbtable,
    "redshiftTmpDir": redshiftTmpDir,
    "aws_iam_role": aws_iam_role,
    "DbUser": "<Redshift User name>" // required for IAM-based JDBC URL
    }

redshift_write = glueContext.write_dynamic_frame.from_options(
    frame=dyf,
    connection_type="redshift",
    connection_options=conn_options
)

redshift_read = glueContext.create_dynamic_frame.from_options(
    connection_type="redshift",
    connection_options=conn_options
)

Migrasi dari AWS Lem versi 3.0 ke versi 4.0

Di AWS Glue 4.0, pekerjaan ETL memiliki akses ke konektor Amazon Redshift Spark baru dan driver JDBC baru dengan opsi dan konfigurasi yang berbeda. Konektor dan driver Amazon Redshift baru ditulis dengan mempertimbangkan kinerja, dan menjaga konsistensi transaksional data Anda. Produk-produk ini didokumentasikan dalam dokumentasi Amazon Redshift. Untuk informasi selengkapnya, lihat:

Table/column pembatasan nama dan pengidentifikasi

Konektor dan driver Amazon Redshift Spark yang baru memiliki persyaratan yang lebih terbatas untuk nama tabel Redshift. Untuk informasi selengkapnya, lihat Nama dan pengidentifikasi untuk menentukan nama tabel Amazon Redshift Anda. Alur kerja bookmark pekerjaan mungkin tidak berfungsi dengan nama tabel yang tidak sesuai dengan aturan dan dengan karakter tertentu, seperti spasi.

Jika Anda memiliki tabel lama dengan nama yang tidak sesuai dengan aturan Nama dan pengidentifikasi dan melihat masalah dengan bookmark (pekerjaan memproses ulang data tabel Amazon Redshift lama), sebaiknya ganti nama tabel Anda. Untuk informasi selengkapnya, lihat contoh ALTER TABLE.

Perubahan tempformat default di Dataframe

Konektor Spark AWS Glue versi 3.0 default tempformat ke CSV saat menulis ke Amazon Redshift. Agar konsisten, di AWS Glue versi 3.0, DynamicFrame masih default tempformat untuk digunakanCSV. Jika sebelumnya Anda telah menggunakan API Spark Dataframe secara langsung dengan konektor Amazon Redshift Spark, Anda dapat secara eksplisit menyetel tempformat ke CSV di opsi/. DataframeReader Writer Jika tidak, tempformat default ke AVRO konektor Spark baru.

Perubahan perilaku: petakan tipe data Amazon Redshift REAL ke tipe data Spark FLOAT alih-alih DOUBLE

Dalam AWS Glue versi 3.0, Amazon Redshift REAL dikonversi ke DOUBLE tipe Spark. Konektor Amazon Redshift Spark baru telah memperbarui perilaku sehingga jenis Amazon Redshift dikonversi ke, dan kembali dari, REAL tipe SparkFLOAT. Jika Anda memiliki kasus penggunaan lama di mana Anda masih ingin jenis Amazon Redshift dipetakan ke REAL DOUBLE tipe Spark, Anda dapat menggunakan solusi berikut:

Contoh kode:

dyf_cast = dyf.apply_mapping([('a', 'long', 'a', 'long'), ('b', 'float', 'b', 'double')])

Penanganan Tipe Data VARBYTE

Saat bekerja dengan tipe data AWS Glue 3.0 dan Amazon Redshift, AWS Glue 3.0 mengubah Amazon Redshift VARBYTE ke tipe SparkSTRING. Namun, konektor Amazon Redshift Spark terbaru tidak mendukung tipe VARBYTE data. Untuk mengatasi batasan ini, Anda dapat membuat tampilan Redshift yang mengubah VARBYTE kolom menjadi tipe data yang didukung. Kemudian, gunakan konektor baru untuk memuat data dari tampilan ini alih-alih tabel asli, yang memastikan kompatibilitas sambil mempertahankan akses ke VARBYTE data Anda.

Contoh untuk kueri Redshift:

CREATE VIEW view_name AS SELECT FROM_VARBYTE(varbyte_column, 'hex') FROM table_name