Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Mengkonfigurasi target untuk integrasi Zero-ETL

Ada beberapa opsi yang ditawarkan AWS Glue saat mengonfigurasi target untuk integrasi Zero-ETL. Targetnya mungkin gudang Amazon Redshift data terenkripsi atau arsitektur Lakehouse Amazon. SageMaker

Sebelum memilih target untuk integrasi Zero-ETL, Anda perlu mengkonfigurasi salah satu sumber daya target berikut. Opsi konfigurasi untuk target dalam integrasi Zero-ETL meliputi:

Mengkonfigurasi target bucket S3 tujuan umum

Bagian ini menjelaskan prasyarat dan langkah-langkah penyiapan untuk mengonfigurasi bucket S3 tujuan umum sebagai penyimpanan untuk target Anda dalam integrasi Zero-ETL, menggunakan arsitektur Lakehouse Amazon. SageMaker

Sebelum membuat integrasi Zero-ETL dengan arsitektur Lakehouse Amazon SageMaker menggunakan penyimpanan S3 tujuan umum, Anda harus menyelesaikan tugas penyiapan berikut:

Menyiapkan AWS Glue basis data

Untuk menyiapkan database target di Katalog Data dengan lokasi bucket tujuan umum Amazon S3:

Untuk informasi tentang membuat database baru di AWS Glue, lihat Memulai dengan Katalog Data.

Anda juga dapat menggunakan create-database CLI untuk membuat database di AWS Glue. Perhatikan bahwa LocationUri masuk --database-input diperlukan.

Mengoptimalkan tabel gunung es

Setelah tabel dibuat oleh AWS Glue di database target, Anda dapat mengaktifkan pemadatan untuk mempercepat kueri di Amazon Athena. Untuk informasi tentang pengaturan sumber daya (Peran IAM) untuk pemadatan, lihat Prasyarat pengoptimalan tabel.

Untuk informasi selengkapnya tentang menyiapkan pemadatan pada AWS Glue tabel yang dibuat oleh integrasi, lihat Meng optimalkan tabel Iceberg.

Menyediakan kebijakan Akses Berbasis Sumber Daya (RBAC) katalog

Untuk integrasi yang menggunakan AWS Glue database, tambahkan izin berikut ke katalog Kebijakan RBAC untuk memungkinkan integrasi antara sumber dan target.

Anda dapat mengakses pengaturan Katalog di bawah Katalog Data. Kemudian berikan izin berikut dan isi informasi yang hilang.

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Principal": {
        "AWS": [
            "arn:aws:iam::123456789012:user/Alice"
        ]
      },
      "Effect": "Allow",
      "Action": [
        "glue:CreateInboundIntegration"
      ],
      "Resource": [
          "arn:aws:glue:us-east-1:111122223333:catalog",
          "arn:aws:glue:us-east-1:111122223333:database/database-name"
      ],
      "Condition": {
        "StringLike": {
        "aws:SourceArn": "arn:aws:dynamodb:us-east-1:444455556666:table/table-name"
        }
      }
    },
    {
      "Principal": {
        "Service": [
          "glue.amazonaws.com"
        ]
      },
      "Effect": "Allow",
      "Action": [
        "glue:AuthorizeInboundIntegration"
      ],
      "Resource": [
          "arn:aws:glue:us-east-1:111122223333:catalog",
          "arn:aws:glue:us-east-1:111122223333:database/database-name"
      ],
      "Condition": {
        "StringEquals": {
        "aws:SourceArn": "arn:aws:dynamodb:us-east-1:444455556666:table/table-name"
        }
      }
    }
  ]
}

Membuat peran IAM target

Buat peran IAM target dengan izin dan hubungan kepercayaan berikut:

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Action": "s3:ListBucket",
            "Resource": "arn:aws:s3:::amzn-s3-bucket",
            "Effect": "Allow"
        },
        {
            "Action": [
                "s3:GetObject",
                "s3:PutObject",
                "s3:DeleteObject"
            ],
            "Resource": "arn:aws:s3:::amzn-s3-demo-bucket/prefix/*",
            "Effect": "Allow"
        },
        {
            "Action": [
                "glue:GetDatabase"
            ],
            "Resource": [
                "arn:aws:glue:us-east-1:111122223333:catalog",
                "arn:aws:glue:us-east-1:111122223333:database/database-name"
            ],
            "Effect": "Allow"
        },
        {
            "Action": [
                "glue:CreateTable",
                "glue:GetTable",
                "glue:GetTables",
                "glue:DeleteTable",
                "glue:UpdateTable",
                "glue:GetTableVersion",
                "glue:GetTableVersions",
                "glue:GetResourcePolicy"
            ],
            "Resource": [
                "arn:aws:glue:us-east-1:111122223333:catalog",
                "arn:aws:glue:us-east-1:111122223333:database/database-name",
                "arn:aws:glue:us-east-1:111122223333:table/database-name/*"
            ],
            "Effect": "Allow"
        },
        {
            "Action": [
                "cloudwatch:PutMetricData"
            ],
            "Resource": "*",
            "Condition": {
                "StringEquals": {
                    "cloudwatch:namespace": "AWS/Glue/ZeroETL"
                }
            },
            "Effect": "Allow"
        },
        {
            "Action": [
                "logs:CreateLogGroup",
                "logs:CreateLogStream",
                "logs:PutLogEvents"
            ],
            "Resource": "*",
            "Effect": "Allow"
        }
    ]
}

Tambahkan kebijakan kepercayaan berikut untuk mengiz AWS Glue inkan layanan mengambil peran:

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Principal": {
        "Service": "glue.amazonaws.com"
      },
      "Action": "sts:AssumeRole"
    }
  ]
}

Mengaitkan peran target, KMS (opsional) dan Koneksi (opsional) dengan sumber daya target

Kaitkan peran target di atas dengan sumber daya target yaitu AWS Glue Database. Secara opsional, KMS untuk mengenkripsi data sebelum menyimpan di tabel gunung es target dan Connection ARN untuk mengakses bucket S3 dapat dikonfigurasi untuk database target. AWS Glue Ini akan memungkinkan AWS Glue untuk mengakses data di lokasi S3 target menggunakan peran yang disediakan dan secara opsional mengenkripsi menggunakan kunci KMS yang disediakan. Jika bucket S3 target dikonfigurasi agar dapat diakses menggunakan VPC tertentu, koneksi ARN dapat dikaitkan AWS Glue untuk memungkinkan menjalankan pemrosesan di dalam VPC tersebut. Untuk informasi selengkapnya tentang menyiapkan VPC, lihat Membuat V PC.

Atau menggunakan AWS Glue CLI/API:

aws glue create-integration-resource-property \
--resource-arn arn:aws:glue:us-east-1:123456789012:database/database-name \
--target-processing-properties '{"RoleArn": "arn:aws:iam::123456789012:role/gmi_target_role"}' \
--region us-east-1

(Opsional) Konfigurasikan properti tabel target

Secara opsional, properti tabel target dapat dikonfigurasi untuk tabel target yang akan disinkronkan ke target.

Anda dapat mengonfigurasi pengaturan ini di bagian Pengaturan keluaran alur kerja pembuatan integrasi di AWS Glue konsol:

Ketika Anda memilih T entukan kunci partisi khusus, Anda dapat mengonfigurasi kunci partisi dan fungsi serta spesifikasi konversi mereka:

Jika sumber dan target berada di akun yang sama, maka konfigurasi ini dapat dilakukan sebagai bagian dari alur kerja pembuatan integrasi dari UI AWS Glue konsol. Tetapi jika target berada di akun yang berbeda, maka konfigurasi ini harus lengkap sebelum membuat integrasi. Saat menggunakan CLI atau API, ini harus dilakukan sebelum memanggil Create-Integration API bahkan ketika sumber dan target berada di akun yang sama. AWS Glue UI konsol hanya merangkum panggilan API ini untuk skenario akun yang sama.

Jika ini tidak dikonfigurasi, maka nilai default akan digunakan saat menyinkronkan tabel. Konfigurasi ini juga dapat diubah kapan saja setelah pembuatan integrasi juga.

Konflik properti tabel target

Dua hal mengidentifikasi satu set properti tabel target: sumber daya target ARN dan nama tabel sumber. Sumber daya target adalah AWS Glue database untuk tujuan umum target Amazon S3. Untuk target Tabel Amazon S3, ini adalah katalog Tabel Amazon S3. Setiap kombinasi sumber daya target dan tabel sumber dapat dikaitkan dengan hanya satu integrasi pada satu waktu. Akibatnya, dua integrasi tidak dapat menulis tabel sumber yang sama ke sumber daya target yang sama. Jika Anda membuat integrasi kedua untuk kombinasi yang sama, AWS Glue mengidentifikasi konflik dan mencegahnya. Ini mencegah satu integrasi dari mengganti data integrasi lain.

AWS Glue memberlakukan aturan ini apakah Anda menggunakan konsol, CLI, atau API. Di konsol, langkah pengaturan Output mendeteksi konflik sebelum Anda melanjutkan, sehingga Anda dapat menyelesaikannya sebelum membuat integrasi. Ini berlaku untuk sumber tabel tunggal seperti Amazon DynamoDB dan sumber multi-tabel seperti aplikasi SaaS. Properti target tabel sumber hanya dapat dimiliki oleh satu integrasi, jadi tabel sumber yang sudah diklaim oleh integrasi lain tidak direplikasi oleh milik Anda sampai Anda menyelesaikan konflik.

Bagaimana konsol menunjukkan konflik tergantung pada jumlah tabel sumber:

Tangkapan layar berikut menunjukkan tabel pengaturan Output multi-tabel (SaaS) dengan kolom T indakan diperlukan dan Catatan.

Konsol menampilkan pesan di kolom Catatan untuk sumber multi-tabel, atau dalam peringatan sebaris untuk sumber tabel tunggal. Ini menandai tabel sumber ketika salah satu kondisi berikut berlaku:

Menggunakan CLI atau API:

aws glue create-integration-table-properties \
--resource-arn arn:aws:glue:us-east-1:123456789012:database/database-name \
--table-name table-name \
--target-table-config '{
        "UnnestSpec":"TOPLEVEL"|"FULL"|"NOUNNEST",
        "PartitionSpec":
            [
                {
                    "FieldName":"string",
                    "FunctionSpec":"string",
                    "ConversionSpec":"string"}
                    ...
             ],
         "TargetTableName":"string"
     }' \
--region us-east-1

Setelah mengonfigurasi arsitektur Lakehouse Amazon SageMaker dengan penyimpanan bucket Amazon S3 tujuan umum, Anda dapat melanjutkan Mengkonfigurasi integrasi dengan target Anda untuk menyelesaikan pengaturan integrasi.

Mengkonfigurasi target bucket Amazon S3 Tables

Bagian ini menjelaskan prasyarat dan langkah-langkah penyiapan untuk mengonfigurasi Tabel Amazon S3 sebagai target integrasi Zero-ETL Anda, menggunakan arsitektur danau Amazon. SageMaker

Sebelum membuat integrasi Zero-ETL dengan Amazon S3 Tables sebagai target, Anda harus menyelesaikan tugas penyiapan berikut:

Siapkan bucket tabel Amazon S3 (dengan integrasi layanan analitik)

Berikan Kebijakan RBAC Katalog

Izin berikut harus ditambahkan ke Kebijakan RBAC Katalog untuk memungkinkan integrasi antara sumber dan target katalog tabel Amazon S3.

Kebijakan sumber daya AWS Glue Katalog Target harus menyertakan izin AWS Glue Layanan keAuthorizeInboundIntegration. Selain itu, CreateInboundIntegration izin diperlukan baik pada prinsip sumber yang membuat integrasi atau dalam kebijakan AWS Glue sumber daya target.

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Principal": {
        "AWS": [
            "arn:aws:iam::123456789012:user/Alice"
        ]
      },
      "Effect": "Allow",
      "Action": [
        "glue:CreateInboundIntegration"
      ],
      "Resource": [
          "arn:aws:glue:us-east-1:111122223333:catalog/s3tablescatalog/*"
      ],
      "Condition": {
        "StringLike": {
        "aws:SourceArn": "arn:aws:dynamodb:us-east-1:444455556666:table/table-name"
        }
      }
    },
    {
      "Principal": {
        "Service": [
          "glue.amazonaws.com"
        ]
      },
      "Effect": "Allow",
      "Action": [
        "glue:AuthorizeInboundIntegration"
      ],
      "Resource": [
      "arn:aws:glue:us-east-1:111122223333:catalog/s3tablescatalog/*"
      ],
      "Condition": {
        "StringEquals": {
        "aws:SourceArn": "arn:aws:dynamodb:us-east-1:444455556666:table/table-name"
        }
      }
    }
  ]
}

Buat Peran IAM target

Buat peran IAM target dengan izin dan hubungan kepercayaan berikut:

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Action": [
        "s3tables:ListTableBuckets",
        "s3tables:GetTableBucket",
        "s3tables:GetTableBucketEncryption",
        "s3tables:GetNamespace",
        "s3tables:CreateNamespace",
        "s3tables:ListNamespaces",
        "s3tables:CreateTable",
        "s3tables:DeleteTable",
        "s3tables:GetTable",
        "s3tables:GetTableEncryption",
        "s3tables:ListTables",
        "s3tables:GetTableMetadataLocation",
        "s3tables:UpdateTableMetadataLocation",
        "s3tables:GetTableData",
        "s3tables:PutTableData"
      ],
      "Resource": "arn:aws:s3tables:us-east-1:111122223333:bucket/s3-table-bucket",
      "Effect": "Allow"
    },
    {
      "Action": [
        "cloudwatch:PutMetricData"
      ],
      "Resource": "*",
      "Condition": {
        "StringEquals": {
          "cloudwatch:namespace": "AWS/Glue/ZeroETL"
        }
      },
      "Effect": "Allow"
    },
    {
      "Action": [
        "logs:CreateLogGroup",
        "logs:CreateLogStream",
        "logs:PutLogEvents"
      ],
      "Resource": "*",
      "Effect": "Allow"
    }
  ]
}

Tambahkan kebijakan kepercayaan berikut di peran IAM target untuk mengizinkan AWS Glue Layanan mengasumsikannya:

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Principal": {
        "Service": "glue.amazonaws.com"
      },
      "Action": "sts:AssumeRole"
    }
  ]
}

Mengaitkan peran target, KMS (opsional) dan Koneksi (opsional) dengan sumber daya target

Kaitkan peran target di atas dengan sumber daya target. Secara opsional, KMS untuk mengenkripsi data sebelum menyimpan di tabel gunung es target dan Connection ARN untuk mengakses bucket S3 target dapat dikonfigurasi. Jika bucket S3 target dikonfigurasi agar dapat diakses menggunakan VPC tertentu, koneksi ARN dapat dikaitkan AWS Glue untuk memungkinkan menjalankan pemrosesan di dalam VPC tersebut. Untuk informasi selengkapnya tentang menyiapkan VPC, lihat Membuat V PC.

Menggunakan AWS Glue CLI/API:

aws glue create-integration-resource-property \
--resource-arn arn:aws:glue:us-east-1:123456789012:catalog/s3tablescatalog/S3 table bucket name \
--target-processing-properties '{
                    "RoleArn": "arn:aws:iam::123456789012:role/target_role"
                }' \
--region us-east-1

(Opsional) Konfigurasikan properti tabel target

Secara opsional, properti tabel target dapat dikonfigurasi untuk tabel target yang akan disinkronkan ke target. Aturan yang sama berlaku seperti yang dijelaskan di bagian target S3 tujuan umum. Untuk daftar lengkap kondisi konflik, lihatKonflik properti tabel target.

Menggunakan CLI atau API:

aws glue create-integration-table-properties \
--resource-arn arn:aws:glue:us-east-1:123456789012:catalog/s3tablescatalog/S3 table bucket name \
--table-name table-name \
--target-table-config '' \
--region us-east-1

Setelah mengonfigurasi S3-Tables penyimpanan Amazon menggunakan arsitektur Lakehouse Amazon SageMaker, Anda dapat melanjutkan Mengkonfigurasi integrasi dengan target Anda untuk menyelesaikan pengaturan integrasi.

Mengkonfigurasi Amazon Redshift Target Penyimpanan Terkelola

Bagian ini menjelaskan prasyarat dan langkah-langkah penyiapan untuk mengonfigurasi Amazon Redshift penyimpanan terkelola (RMS) sebagai target integrasi Zero-ETL Anda, menggunakan arsitektur lakehouse Amazon. SageMaker

Sebelum membuat integrasi Zero-ETL dengan arsitektur Lakehouse Amazon SageMaker menggunakan penyimpanan terkelola Redshift, Anda harus menyelesaikan tugas penyiapan berikut:

Penyiapan Amazon Redshift penyimpanan terkelola

Untuk mengatur penyimpanan ter Amazon Redshift kelola untuk integrasi Zero-ETL Anda:

Setelah mengonfigurasi katalog Amazon SageMaker Lakehouse dengan Amazon Redshift penyimpanan terkelola, Anda dapat melanjutkan Mengkonfigurasi integrasi dengan target Anda untuk menyelesaikan pengaturan integrasi.

Mengkonfigurasi Amazon Redshift target gudang data

Bagian ini menjelaskan prasyarat dan langkah-langkah penyiapan untuk mengonfigurasi gudang Amazon Redshift data sebagai target untuk integrasi Zero-ETL Anda.

Sebelum membuat integrasi Zero-ETL dengan target gudang Amazon Redshift data, Anda perlu menyelesaikan tugas penyiapan berikut:

Menyiapkan Amazon Redshift gudang data

Untuk menyiapkan gudang Amazon Redshift data untuk integrasi Zero-ETL Anda:

Setelah mengkonfigurasi gudang Amazon Redshift data, Anda dapat melanjutkan Mengkonfigurasi integrasi dengan target Anda untuk menyelesaikan pengaturan integrasi.

Mengkonfigurasi integrasi dengan target Anda

Setelah mengonfigurasi sumber daya dan target, ikuti langkah-langkah berikut untuk menyelesaikan pengaturan integrasi:

Gunakan yang berikut ini untuk membuat integrasi melalui API atau CLI: CreateIntegration API.