View a markdown version of this page

Mengakses tabel Amazon S3 menggunakan AWS Glue Iceberg REST titik akhir - Amazon Simple Storage Service
Buat peran IAM untuk klien AndaTentukan akses dalam Formasi DanauSiapkan lingkungan Anda untuk menggunakan titik akhir

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Mengakses tabel Amazon S3 menggunakan AWS Glue Iceberg REST titik akhir

Setelah bucket tabel S3 Anda terintegrasi dengan, AWS Glue Data Catalog Anda dapat menggunakan AWS GlueIceberg REST titik akhir untuk terhubung ke tabel S3 Anda dari Apache Iceberg klien yang kompatibel, seperti PyIceberg atauSpark. T AWS Glue Iceberg REST itik akhir mengimplementasikan spesifikasi Iceberg REST Catalog Open API yang menyediakan antarmuka standar untuk berinteraksi dengan Iceberg tabel. Untuk mengakses tabel S3 menggunakan titik akhir, Anda perlu mengonfigurasi izin melalui kombinasi kebijakan dan AWS Lake Formation hibah IAM. Bagian berikut menjelaskan cara mengatur akses, termasuk membuat peran IAM yang diperlukan, menentukan kebijakan yang diperlukan, dan menetapkan izin Lake Formation untuk database dan akses tingkat tabel.

Untuk panduan dari ujung ke ujung menggunakanPyIceberg, lihat Mengakses data di Tabel Amazon S3 menggunakan PyIceberg melalui AWS GlueIceberg REST titik akhir.

Prasyarat

Buat peran IAM untuk klien Anda

Untuk mengakses tabel melalui AWS Glue titik akhir, Anda perlu membuat peran IAM dengan izin ke AWS Glue dan tindakan Formasi Danau. Prosedur ini menjelaskan cara membuat peran ini dan mengkonfigurasi izinnya.

  1. Buka konsol IAM di https://console.aws.amazon.com/iam/.

  2. Di panel navigasi di sebelah kiri, pilih Kebijakan.

  3. Pilih Buat kebijakan, dan pilih JSON di editor kebijakan.

  4. Tambahkan kebijakan sebaris berikut yang memberikan izin untuk mengakses AWS Glue dan tindakan Formasi Danau:

    JSON
    {
    "Version":"2012-10-17",
    "Statement": [
        {
            "Sid": "VisualEditor0",
            "Effect": "Allow",
            "Action": [
                "glue:GetCatalog",
                "glue:GetDatabase",
                "glue:GetDatabases",
                "glue:GetTable",
                "glue:GetTables",
                "glue:CreateTable",
                "glue:UpdateTable"
            ],
            "Resource": [
                "arn:aws:glue:us-east-1:111122223333:catalog",
                "arn:aws:glue:us-east-1:111122223333:catalog/s3tablescatalog",
                "arn:aws:glue:us-east-1:111122223333:catalog/s3tablescatalog/amzn-s3-demo-table-bucket",
                "arn:aws:glue:us-east-1:111122223333:table/s3tablescatalog/amzn-s3-demo-table-bucket/<namespace>/*",
                "arn:aws:glue:us-east-1:111122223333:database/s3tablescatalog/amzn-s3-demo-table-bucket/<namespace>"
            ]
        },
        {
            "Effect": "Allow",
            "Action": [
                "lakeformation:GetDataAccess"
            ],
            "Resource": "*"
        }
    ]
}

  5. Setelah membuat kebijakan, buat peran IAM dan pilih Kebijakan kepercayaan khusus sebagai tipe entitas te percaya.

  6. Masukkan yang berikut ini untuk kebijakan kepercayaan kustom.

    JSON
    {
    "Version":"2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Principal": {
                "AWS": "arn:aws:iam::111122223333:role/Admin_role"
            },
            "Action": "sts:AssumeRole",
            "Condition": {}
        }
    ]
}

Tentukan akses dalam Formasi Danau

Lake Formation menyediakan kontrol akses halus untuk tabel danau data Anda. Saat Anda mengintegrasikan bucket S3 Anda dengan AWS Glue Data Catalog, tabel Anda secara otomatis terdaftar sebagai sumber daya di Lake Formation. Untuk mengakses tabel ini, Anda harus memberikan izin Formasi Danau tertentu ke identitas IAM Anda, selain izin kebijakan IAM-nya.

Langkah-langkah berikut menjelaskan cara menerapkan kontrol akses Danau Formasi untuk memungkinkan Iceberg klien Anda terhubung ke tabel Anda. Anda harus masuk sebagai administrator danau data untuk menerapkan izin ini.

Izinkan mesin eksternal untuk mengakses data tabel

Di Lake Formation, Anda harus mengaktifkan akses tabel penuh untuk mesin eksternal untuk mengakses data. Hal ini memungkinkan aplikasi pihak ketiga untuk mendapatkan kredenSIAL sementara dari Lake Formation saat menggunakan peran IAM yang memiliki izin penuh pada tabel yang diminta.

Buka konsol Formasi Danau di https://console.aws.amazon.com/lakeformation/.

  1. Buka konsol Lake Formation di https://console.aws.amazon.com/lakeformation/, dan masuk sebagai administrator danau data.

  2. Di panel navigasi di bawah Administrasi, pilih Pengaturan integrasi aplikasi.

  3. Pilih Izinkan mesin eksternal mengakses data di lokasi Amazon S3 dengan akses tabel penuh. Lalu, pilih Simpan.

Berikan izin Formasi Danau pada sumber daya tabel Anda

Selanjutnya, berikan izin Lake Formation ke peran IAM yang Anda buat untuk Iceberg-compatible klien Anda. Izin ini akan memungkinkan peran untuk membuat dan mengelola tabel di namespace Anda. Anda perlu memberikan izin tingkat database dan tabel. Untuk informasi selengkapnya, lihat Memberikan izin Formasi Danau pada meja atau database.

Siapkan lingkungan Anda untuk menggunakan titik akhir

Setelah Anda mengatur peran IAM dengan izin yang diperlukan untuk akses tabel, Anda dapat menggunakannya untuk menjalankan Iceberg klien dari mesin lokal Anda dengan mengonfigurasi AWS CLI dengan peran Anda, menggunakan perintah berikut:

aws sts assume-role --role-arn "arn:aws:iam::<accountid>:role/<glue-irc-role>" --role-session-name <glue-irc-role>

Untuk mengakses tabel melalui AWS Glue REST titik akhir, Anda perlu menginisialisasi katalog di klien Iceberg -kompatibel Anda. Inisialisasi ini memerlukan penentuan properti khusus, termasuk properti sigv4, URI titik akhir dan lokasi gudang. Tentukan properti ini sebagai berikut:

  • Properti Sigv4 - Sigv4 harus diaktifkan, nama penandatanganannya adalah glue

  • Lokasi gudang - Ini adalah ember meja Anda, ditentukan dalam format ini: <accountid>:s3tablescatalog/<table-bucket-name>

  • URI titik akhir - Lihat panduan referensi titik akhir AWS Glue layanan untuk titik akhir khusus wilayah

Contoh berikut menunjukkan cara menginisialisasi pyIceberg katalog.

rest_catalog = load_catalog(
        s3tablescatalog,
**{
"type": "rest",
"warehouse": "<accountid>:s3tablescatalog/<table-bucket-name>",
"uri": "https://glue.<region>.amazonaws.com/iceberg",
"rest.sigv4-enabled": "true",
"rest.signing-name": "glue",
"rest.signing-region": region
        }
)

Untuk informasi tambahan tentang implementasi AWS GlueIceberg REST titik akhir, lihat Menghubungkan ke Katalog Data menggunakan AWS GlueIceberg REST titik akhir di Panduan AWS Glue Pengguna.