Mengkonfigurasi target integrasi nol-ETL - AWS Glue
SageMaker Lakehouse dengan penyimpanan S3Target Tabel S3SageMaker Lakehouse dengan penyimpanan Amazon Redshift Amazon Redshift target gudang dataMengkonfigurasi target integrasi

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Mengkonfigurasi target integrasi nol-ETL

Ada beberapa opsi yang ditawarkan AWS saat mengonfigurasi target untuk integrasi nol-ETL. Targetnya mungkin gudang Amazon Redshift data terenkripsi atau katalog Amazon SageMaker Lakehouse.

Sebelum memilih target untuk integrasi nol-ETL, Anda perlu mengonfigurasi salah satu sumber daya target berikut.

Opsi konfigurasi untuk target dalam integrasi nol-ETL meliputi:

catatan

Anda tidak dapat memodifikasi target integrasi nol-ETL setelah pembuatan.

Mengonfigurasi katalog Amazon SageMaker Lakehouse dengan penyimpanan S3 biasa

Bagian ini menjelaskan prasyarat dan langkah penyiapan untuk mengonfigurasi bucket Amazon S3 biasa sebagai penyimpanan untuk target katalog Amazon SageMaker Lakehouse Anda dalam integrasi nol-ETL.

Prasyarat untuk menyiapkan integrasi

Sebelum membuat integrasi nol-ETL dengan katalog Amazon SageMaker Lakehouse menggunakan penyimpanan S3 biasa, Anda harus menyelesaikan tugas penyiapan berikut:

  1. Menyiapkan AWS Glue database

  2. Menyediakan kebijakan Katalog RBAC

  3. Buat peran IAM target

Setelah mengonfigurasi katalog Amazon SageMaker Lakehouse dengan penyimpanan Amazon S3 biasa, Anda dapat melanjutkan Mengkonfigurasi integrasi dengan target Anda untuk menyelesaikan pengaturan integrasi.

Mengonfigurasi tabel Amazon S3 sebagai target

Bagian ini menjelaskan prasyarat dan langkah penyiapan untuk mengonfigurasi Tabel Amazon S3 sebagai target untuk integrasi nol-ETL Anda.

Prasyarat untuk menyiapkan integrasi

Sebelum membuat integrasi nol-ETL dengan Tabel Amazon S3 sebagai target, Anda harus menyelesaikan tugas penyiapan berikut:

  1. Siapkan ember tabel Amazon S3

  2. Menyediakan kebijakan Katalog RBAC

  3. Buat peran IAM target

Siapkan ember tabel Amazon S3

  1. Buat bucket tabel S3 di akun Anda dengan mengikuti petunjuk di Memulai Tabel Amazon S3.

  2. Aktifkan integrasi Analytics dengan bucket S3-Table Anda dengan mengikuti petunjuk berikut: Mengintegrasikan layanan dengan Tabel AWS Amazon S3.

Menyediakan Katalog Kebijakan RBAC

Izin berikut harus ditambahkan ke Kebijakan RBAC Katalog untuk memungkinkan integrasi antara sumber dan target katalog tabel Amazon S3.

Kebijakan sumber daya AWS Glue Katalog Target perlu menyertakan izin Layanan Glue ke AuthorizeInboundIntegration. Selain itu, CreateInboundIntegration izin diperlukan baik pada prinsipal sumber yang membuat Integrasi atau dalam kebijakan AWS Glue sumber daya target.

catatan

Untuk skenario lintas akun, baik sumber utama maupun kebijakan sumber daya AWS Glue Katalog target perlu menyertakan CreateInboundIntegration izin lem: pada sumber daya.

{
  "Version": "2012-10-17",
  "Statement": [
    {
    // Optional for same account but mandatory for cross account scenarios
    // Allow Alice to create Integration on Target Catalog
      "Principal": {
        "AWS": [
          "arn:aws:iam::<source-account-id>:user/Alice"
        ]
      },
      "Effect": "Allow",
      "Action": [
        "glue:CreateInboundIntegration"
      ],
      "Resource": [
        "arn:aws:glue:<region>:<Target-Account-Id>:catalog/<s3tablescatalog>/*"
      ],
      "Condition": {
        "StringLike": {
          "aws:SourceArn": "arn:aws:dynamodb:<region>:<Account>:table/<table-name>"
        }
      }
    },
    { // Required: Allow Glue to Authorize the Inbound Integration on behalf of Bob
      "Principal": {
        "Service": [
          "glue.amazonaws.com"
        ]
      },
      "Effect": "Allow",
      "Action": [
        "glue:AuthorizeInboundIntegration"
      ],
      "Resource": [
        "arn:aws:glue:<region>:<Target-Account-Id>:catalog/<s3tablescatalog>/*"
      ],
      "Condition": {
        "StringEquals": {
          "aws:SourceArn": "arn:aws:dynamodb:<region>:<account-id>:table/<table-name>"
        }
      }
    }
  ]
}
catatan

Ganti <s3tablescatalog> dengan nama katalog tabel S3 Anda.

Buat Peran IAM target

Buat peran IAM target dengan izin dan hubungan kepercayaan berikut:

Contoh kebijakan IAM:

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Action": [
                "s3tables:ListTableBuckets",
                "s3tables:GetTableBucket",
                "s3tables:GetTableBucketEncryption",
                "s3tables:GetNamespace",
                "s3tables:CreateNamespace",
                "s3tables:ListNamespaces",
                "s3tables:CreateTable",
                "s3tables:GetTable",
                "s3tables:GetTableEncryption",
                "s3tables:ListTables",
                "s3tables:GetTableMetadataLocation",
                "s3tables:UpdateTableMetadataLocation",
                "s3tables:GetTableData",
                "s3tables:PutTableData"
            ],
            "Resource": "arn:aws:s3tables:<region>:<account-id>:bucket/*",
            "Effect": "Allow"
        },
        {
            "Action": [
                "cloudwatch:PutMetricData"
            ],
            "Resource": "*",
            "Condition": {
                "StringEquals": {
                    "cloudwatch:namespace": "AWS/Glue/ZeroETL"
                }
            },
            "Effect": "Allow"
        },
        {
            "Action": [
                "logs:CreateLogGroup",
                "logs:CreateLogStream",
                "logs:PutLogEvents"
            ],
            "Resource": "*",
            "Effect": "Allow"
        }
    ]
}

Tambahkan kebijakan kepercayaan berikut dalam peran IAM Target untuk memungkinkan AWS Glue Layanan mengasumsikan kebijakan tersebut:

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Principal": {
                "Service": "glue.amazonaws.com"
            },
            "Action": "sts:AssumeRole"
        }
    ]
}
catatan

Pastikan tidak ada pernyataan DENY eksplisit untuk peran IAM target ini dalam kebijakan sumber daya bucket S3-Tables. DENY eksplisit akan mengganti izin ALLOW apa pun dan mencegah integrasi berfungsi dengan baik.

Mengonfigurasi katalog Amazon SageMaker Lakehouse dengan penyimpanan terkelola Amazon Redshift

Bagian ini menjelaskan prasyarat dan langkah penyiapan untuk mengonfigurasi katalog Amazon SageMaker Lakehouse dengan penyimpanan Amazon Redshift terkelola (RMS) sebagai target integrasi nol-ETL Anda.

Prasyarat untuk menyiapkan integrasi

Sebelum membuat integrasi nol-ETL dengan katalog Amazon SageMaker Lakehouse menggunakan penyimpanan terkelola Redshift, Anda harus menyelesaikan tugas penyiapan berikut:

  1. Menyiapkan Amazon Redshift cluster atau grup kerja Tanpa Server

  2. Daftarkan Amazon Redshift integrasi dengan Lake Formation

  3. Buat katalog terkelola di Lake Formation

  4. Mengonfigurasi izin IAM

Menyiapkan penyimpanan Amazon Redshift terkelola

Untuk menyiapkan penyimpanan Amazon Redshift terkelola untuk integrasi nol-ETL Anda:

  1. Buat atau gunakan klaster Amazon Redshift atau grup kerja Tanpa Server yang ada. Pastikan Amazon Redshift workgroup target atau cluster mengaktifkan enable_case_sensitive_identifier parameter agar integrasi berhasil. Untuk informasi selengkapnya tentang mengaktifkan sensitivitas huruf besar, lihat Mengaktifkan sensitivitas huruf besar untuk gudang data Anda di panduan pengelolaan Amazon Redshift.

  2. Daftarkan integrasi dari Redshift ke dalam katalog di. AWS Lake Formation Lihat Mendaftarkan Amazon Redshift cluster dan ruang nama ke Katalog Data. AWS Glue

  3. Buat katalog federasi atau terkelola di AWS Lake Formation. Untuk informasi selengkapnya, lihat:

  4. Konfigurasikan izin IAM untuk peran target. Peran tersebut membutuhkan izin untuk mengakses sumber daya Redshift dan Lake Formation. Minimal, peran harus memiliki:

    • Izin untuk mengakses klaster Redshift atau workgroup

    • Izin untuk mengakses katalog Lake Formation

    • Izin untuk membuat dan mengelola tabel dalam katalog

    • CloudWatch dan izin CloudWatch Log untuk pemantauan

Setelah mengonfigurasi katalog Amazon SageMaker Lakehouse dengan penyimpanan terkelola Amazon Redshift, Anda dapat melanjutkan Mengkonfigurasi integrasi dengan target Anda untuk menyelesaikan pengaturan integrasi.

Mengkonfigurasi target gudang Amazon Redshift data

Bagian ini menjelaskan prasyarat dan langkah-langkah penyiapan untuk mengonfigurasi gudang Amazon Redshift data sebagai target untuk integrasi nol-ETL Anda.

Prasyarat untuk menyiapkan integrasi

Sebelum membuat integrasi nol-ETL dengan target gudang Amazon Redshift data, Anda harus menyelesaikan tugas penyiapan berikut:

  1. Menyiapkan Amazon Redshift cluster atau grup kerja Tanpa Server

  2. Konfigurasikan sensitivitas kasus

  3. Mengonfigurasi izin IAM

Menyiapkan gudang Amazon Redshift data

Untuk menyiapkan gudang Amazon Redshift data untuk integrasi nol-ETL Anda:

  1. Arahkan ke Amazon Redshift konsol dan klik Buat cluster atau gunakan cluster yang ada. Untuk Amazon Redshift Tanpa Server, klik Buat grup kerja.

  2. Jika membuat cluster baru, pilih ukuran cluster yang sesuai dan pastikan klaster Anda dienkripsi. Untuk Tanpa Server, konfigurasikan pengaturan workgroup sesuai dengan kebutuhan Anda.

  3. Pastikan Amazon Redshift workgroup target atau cluster mengaktifkan enable_case_sensitive_identifier parameter agar integrasi berhasil. Untuk informasi selengkapnya tentang mengaktifkan sensitivitas huruf besar, lihat Mengaktifkan sensitivitas huruf besar untuk gudang data Anda di panduan pengelolaan Amazon Redshift.

  4. Konfigurasikan izin IAM untuk memungkinkan integrasi nol-ETL mengakses gudang data Anda. Amazon Redshift Anda harus membuat peran IAM dengan izin berikut:

    • Izin untuk mengakses Amazon Redshift cluster atau workgroup

    • Izin untuk membuat dan mengelola database dan tabel di Amazon Redshift

    • CloudWatch dan izin Amazon CloudWatch Log untuk pemantauan

  5. Setelah pengaturan Amazon Redshift workgroup atau cluster selesai, Anda perlu mengonfigurasi gudang data Anda untuk integrasi nol-ETL. Lihat Memulai integrasi Nol-ETL di Panduan Manajemen Pergeseran Merah Amazon untuk informasi selengkapnya.

catatan

Saat menggunakan gudang Amazon Redshift data sebagai target, integrasi membuat skema dalam database yang ditentukan untuk menyimpan data yang direplikasi. Nama skema berasal dari nama integrasi.

Setelah mengonfigurasi gudang Amazon Redshift data, Anda dapat melanjutkan Mengkonfigurasi integrasi dengan target Anda untuk menyelesaikan pengaturan integrasi.

Mengkonfigurasi integrasi dengan target Anda

Setelah mengonfigurasi sumber daya target dan memilih koneksi dan menentukan peran IAM sumber, ikuti langkah-langkah berikut untuk menyelesaikan pengaturan integrasi:

  1. Tentukan target yang telah Anda konfigurasikan pada langkah sebelumnya.

  2. Pilih opsi AWS Glue Perbaiki untuk saya. Untuk Amazon Redshift target, ini akan:

    • Terapkan prinsip layanan resmi pada Amazon Redshift cluster atau grup kerja Tanpa Server.

    • Terapkan ARN AWS Glue sumber resmi ke Amazon Redshift cluster atau grup kerja Tanpa Server.

    • Kaitkan grup parameter baru denganenable_case_sensitive_identifier = true.

    Tangkapan layar menunjukkan pemilihan target dalam integrasi nol-ETL.

  3. Berikan nama integrasi dan pilih Buat dan luncurkan Integrasi.

  4. Setelah integrasi Anda dalam keadaan aktif, navigasikan ke halaman detail integrasi dan pilih Buat database dari integrasi.

  5. Terakhir, Anda dapat menavigasi ke editor kueri Redshift, dan terhubung ke database Anda untuk memvalidasi snapshot dan data tambahan.

catatan

Anda hanya dapat menggunakan karakter alfanumerik huruf kecil dan garis bawah di namespace atau nama katalog. Ini berbeda dari apa yang Katalog AWS Glue Data memungkinkan untuk membuat database dengan nama apa pun (termasuk karakter khusus).