Katalog API

• Struktur katalog

• CatalogInput struktur

• TargetRedshiftCatalog struktur

• CatalogProperties struktur

• CatalogPropertiesOutput struktur

• DataLakeAccessProperties struktur

• IcebergOptimizationProperties struktur

• DataLakeAccessPropertiesOutput struktur

• IcebergOptimizationPropertiesOutput struktur

• FederatedCatalog struktur

Bidang

• CatalogId — String id katalog, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  ID katalog. Untuk memberikan akses ke katalog default, bidang ini tidak boleh disediakan.

• Name- Diperlukan: UTF-8 string, panjang tidak kurang dari 1 atau lebih dari 64 byte, cocok denganCustom string pattern #30.

  Nama katalog. Tidak bisa sama dengan ID akun.

• ResourceArn— UTF-8 tali.

  Nama Sumber Daya Amazon (ARN) yang ditetapkan ke sumber daya katalog.

• Description — String deskripsi, dengan panjang tidak lebih dari 2048 byte, yang cocok dengan URI address multi-line string pattern.

  String deskripsi, panjangnya tidak lebih dari 2048 byte, cocok dengan pola string multi-baris alamat URI. Deskripsi katalog.

• Parameters – Susunan peta pasangan nilai kunci.

  Masing-masing kunci adalah sebuah String kunci, dengan panjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  Setiap nilai adalah UTF-8 string, panjangnya tidak lebih dari 512000 byte.

  Sebuah array peta pasangan kunci-nilai yang menentukan parameter dan properti katalog.

• CreateTime — Stempel waktu.

  Waktu di mana katalog dibuat.

• UpdateTime — Stempel waktu.

  Waktu di mana katalog terakhir diperbarui.

• TargetRedshiftCatalog — Sebuah objek TargetRedshiftCatalog.

  Ob TargetRedshiftCatalog jek yang menjelaskan katalog target untuk penautan sumber daya basis data.

• FederatedCatalog — Sebuah objek FederatedCatalog.

  Ob FederatedCatalog jek yang menunjuk ke entitas di luar Katalog AWS Glue Data.

• CatalogProperties — Sebuah objek CatalogPropertiesOutput.

  Ob CatalogProperties jek yang menentukan properti akses data lake dan properti kustom lainnya.

• CreateTableDefaultPermissions – Susunan objek PrincipalPermissions.

  Susunan objek PrincipalPermissions. Membuat satu set izin default pada tabel untuk kepala sekolah. Digunakan oleh AWS Lake Formation. Tidak digunakan dalam AWS Glue operasi normal.

• CreateDatabaseDefaultPermissions – Susunan objek PrincipalPermissions.

  Susunan objek PrincipalPermissions. Membuat satu set izin default pada database (s) untuk kepala sekolah. Digunakan oleh AWS Lake Formation. Tidak digunakan dalam AWS Glue operasi normal.

• AllowFullTableExternalDataAccess— UTF-8 string (nilai valid: True |False).

  Memungkinkan mesin pihak ketiga untuk mengakses data di Amazon S3 lokasi yang terdaftar dengan Lake Formation.

Bidang

• Description — String deskripsi, dengan panjang tidak lebih dari 2048 byte, yang cocok dengan URI address multi-line string pattern.

  String deskripsi, panjangnya tidak lebih dari 2048 byte, cocok dengan pola string multi-baris alamat URI. Deskripsi katalog.

• FederatedCatalog — Sebuah objek FederatedCatalog.

  Sebuah objek FederatedCatalog. FederatedCatalogStruktur yang mereferensikan entitas di luar Katalog AWS Glue Data, misalnya database Redshift.

• Parameters – Susunan peta pasangan nilai kunci.

  Masing-masing kunci adalah sebuah String kunci, dengan panjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  Setiap nilai adalah UTF-8 string, panjangnya tidak lebih dari 512000 byte.

  Sebuah array peta pasangan kunci-nilai yang menentukan parameter dan properti katalog.

• TargetRedshiftCatalog — Sebuah objek TargetRedshiftCatalog.

  Ob TargetRedshiftCatalog jek yang menjelaskan katalog target untuk penautan sumber daya.

• CatalogProperties — Sebuah objek CatalogProperties.

  Ob CatalogProperties jek yang menentukan properti akses data lake dan properti kustom lainnya.

• CreateTableDefaultPermissions – Susunan objek PrincipalPermissions.

  Susunan objek PrincipalPermissions. Membuat satu set izin default pada tabel untuk kepala sekolah. Digunakan oleh AWS Lake Formation. Biasanya harus secara eksplisit ditetapkan sebagai daftar kosong.

• CreateDatabaseDefaultPermissions – Susunan objek PrincipalPermissions.

  Susunan objek PrincipalPermissions. Membuat satu set izin default pada database (s) untuk kepala sekolah. Digunakan oleh AWS Lake Formation. Biasanya harus secara eksplisit ditetapkan sebagai daftar kosong.

• AllowFullTableExternalDataAccess— UTF-8 string (nilai valid: True |False).

  Memungkinkan mesin pihak ketiga untuk mengakses data di Amazon S3 lokasi yang terdaftar dengan Lake Formation.

• OverwriteChildResourcePermissionsWithDefault— UTF-8 string (nilai valid: Accept |Deny).

  Mengganti AWS Lake Formation izin yang ada dengan CatalogInput$CreateTableDefaultPermissions dan CatalogInput$CreateDatabaseDefaultPermissions untuk semua sumber daya anak.

Bidang

• CatalogArn- Diperlukan: UTF-8 string.

  Nama Sumber Daya Amazon (ARN) dari sumber daya katalog.

Bidang

• DataLakeAccessProperties — Sebuah objek DataLakeAccessProperties.

  Ob DataLakeAccessProperties jek yang menentukan properti untuk mengonfigurasi akses data lake untuk sumber daya katalog Anda di Katalog AWS Glue Data.

• IcebergOptimizationProperties — Sebuah objek IcebergOptimizationProperties.

  Struktur yang menentukan properti pengoptimalan tabel Iceberg untuk katalog. Ini termasuk konfigurasi untuk operasi pemadatan, retensi, dan penghapusan file yatim piatu yang dapat diterapkan ke tabel Iceberg dalam katalog ini.

• CustomProperties – Susunan peta pasangan nilai kunci.

  Masing-masing kunci adalah sebuah String kunci, dengan panjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  Setiap nilai adalah UTF-8 string, panjangnya tidak lebih dari 512000 byte.

  Properti nilai kunci tambahan untuk katalog, seperti pengoptimalan statistik kolom.

Bidang

• DataLakeAccessProperties — Sebuah objek DataLakeAccessPropertiesOutput.

  Ob DataLakeAccessProperties jek dengan properti input untuk mengonfigurasi akses data lake untuk sumber daya katalog Anda di Katalog AWS Glue Data.

• IcebergOptimizationProperties — Sebuah objek IcebergOptimizationPropertiesOutput.

  Ob IcebergOptimizationPropertiesOutput jek yang menentukan pengaturan pengoptimalan tabel Iceberg untuk katalog, termasuk konfigurasi untuk operasi pemadatan, retensi, dan penghapusan file yatim piatu.

• CustomProperties – Susunan peta pasangan nilai kunci.

  Masing-masing kunci adalah sebuah String kunci, dengan panjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  Setiap nilai adalah UTF-8 string, panjangnya tidak lebih dari 512000 byte.

  Properti nilai kunci tambahan untuk katalog, seperti pengoptimalan statistik kolom.

Bidang

• DataLakeAccess – Boolean.

  Mengaktifkan atau menonaktifkan akses data lake untuk aplikasi Apache Spark yang mengakses database Amazon Redshift di Katalog Data dari mesin non-RedShift apa pun, seperti Amazon Athena, Amazon EMR, atau ETL. AWS Glue

• DataTransferRole— UTF-8 string, cocok denganCustom string pattern #50.

  Peran yang akan diasumsikan oleh AWS Glue untuk mentransfer data into/out bucket pementasan selama kueri.

• KmsKey— UTF-8 tali.

  Kunci enkripsi yang akan digunakan untuk bucket pementasan yang akan dibuat bersama dengan katalog.

• CatalogType— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Menentukan jenis katalog federasi untuk sumber daya katalog asli. Jenis yang saat ini didukung adalahaws:redshift.

Bidang

• RoleArn— UTF-8 string, cocok denganCustom string pattern #50.

  Nama Sumber Daya Amazon (ARN) dari peran IAM yang akan diasumsikan untuk melakukan operasi pengoptimalan tabel Iceberg.

• Compaction – Susunan peta pasangan nilai kunci.

  Masing-masing kunci adalah sebuah String kunci, dengan panjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  Setiap nilai adalah UTF-8 string, panjangnya tidak lebih dari 512000 byte.

  Peta pasangan kunci-nilai yang menentukan parameter konfigurasi untuk operasi pemadatan tabel Iceberg, yang mengoptimalkan tata letak file data untuk meningkatkan kinerja kueri.

• Retention – Susunan peta pasangan nilai kunci.

  Masing-masing kunci adalah sebuah String kunci, dengan panjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  Setiap nilai adalah UTF-8 string, panjangnya tidak lebih dari 512000 byte.

  Peta pasangan kunci-nilai yang menentukan parameter konfigurasi untuk operasi retensi tabel Iceberg, yang mengelola siklus hidup snapshot tabel untuk mengontrol biaya penyimpanan.

• OrphanFileDeletion – Susunan peta pasangan nilai kunci.

  Masing-masing kunci adalah sebuah String kunci, dengan panjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  Setiap nilai adalah UTF-8 string, panjangnya tidak lebih dari 512000 byte.

  Peta pasangan kunci-nilai yang menentukan parameter konfigurasi untuk operasi penghapusan file yatim piatu Iceberg, yang mengidentifikasi dan menghapus file yang tidak lagi direferensikan oleh metadata tabel.

Bidang

• DataLakeAccess – Boolean.

  Mengaktifkan atau menonaktifkan akses data lake untuk aplikasi Apache Spark yang mengakses database Amazon Redshift di Katalog Data.

• DataTransferRole— UTF-8 string, cocok denganCustom string pattern #50.

  Peran yang akan diasumsikan oleh AWS Glue untuk mentransfer data into/out bucket pementasan selama kueri.

• KmsKey— UTF-8 tali.

  Kunci enkripsi yang akan digunakan untuk bucket pementasan yang akan dibuat bersama dengan katalog.

• ManagedWorkgroupName— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Nama komputasi Redshift Serverless terkelola yang dibuat untuk sumber daya katalog Anda.

• ManagedWorkgroupStatus— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Status komputasi Redshift Serverless yang dikelola.

• RedshiftDatabaseName— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Nama sumber daya database Redshift default di komputasi terkelola.

• StatusMessage— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Pesan yang memberikan informasi lebih rinci tentang status workgroup terkelola.

• CatalogType— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Menentukan jenis katalog federasi untuk sumber daya katalog asli. Jenis yang saat ini didukung adalahaws:redshift.

Bidang

• RoleArn— UTF-8 string, cocok denganCustom string pattern #50.

  Nama Sumber Daya Amazon (ARN) dari peran IAM yang digunakan untuk melakukan operasi pengoptimalan tabel Iceberg.

• Compaction – Susunan peta pasangan nilai kunci.

  Masing-masing kunci adalah sebuah String kunci, dengan panjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  Setiap nilai adalah UTF-8 string, panjangnya tidak lebih dari 512000 byte.

  Peta pasangan kunci-nilai yang menentukan parameter konfigurasi untuk operasi pemadatan tabel Iceberg, yang mengoptimalkan tata letak file data untuk meningkatkan kinerja kueri.

• Retention – Susunan peta pasangan nilai kunci.

  Masing-masing kunci adalah sebuah String kunci, dengan panjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  Setiap nilai adalah UTF-8 string, panjangnya tidak lebih dari 512000 byte.

  Peta pasangan kunci-nilai yang menentukan parameter konfigurasi untuk operasi retensi tabel Iceberg, yang mengelola siklus hidup snapshot tabel untuk mengontrol biaya penyimpanan.

• OrphanFileDeletion – Susunan peta pasangan nilai kunci.

  Masing-masing kunci adalah sebuah String kunci, dengan panjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  Setiap nilai adalah UTF-8 string, panjangnya tidak lebih dari 512000 byte.

  Peta pasangan kunci-nilai yang menentukan parameter konfigurasi untuk operasi penghapusan file yatim piatu Iceberg, yang mengidentifikasi dan menghapus file yang tidak lagi direferensikan oleh metadata tabel.

• LastUpdatedTime — Stempel waktu.

  Stempel waktu ketika properti pengoptimalan gunung es terakhir diperbarui.

Bidang

• Identifier— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 512 byte, cocok denganSingle-line string pattern.

  Pengidentifikasi unik untuk katalog federasi.

• ConnectionName— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Nama koneksi ke sumber data eksternal, misalnya Redshift-federated katalog.

• ConnectionType— UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  Jenis koneksi yang digunakan untuk mengakses katalog federasi, menentukan protokol atau metode untuk koneksi ke sumber data eksternal.

• CreateCatalog tindakan (Python: create_catalog)

• UpdateCatalog tindakan (Python: update_catalog)

• DeleteCatalog tindakan (Python: delete_catalog)

• GetCatalog tindakan (Python: get_catalog)

• GetCatalogs tindakan (Python: get_catalog/)

Permintaan

• Name- Diperlukan: UTF-8 string, panjang tidak kurang dari 1 atau lebih dari 64 byte, cocok denganCustom string pattern #30.

  Nama katalog yang akan dibuat.

• CatalogInput — Wajib: Sebuah objek CatalogInput.

  Sebuah CatalogInput objek yang mendefinisikan metadata untuk katalog.

• Tags — Sebuah rangkaian peta pasangan nilai kunci, tidak lebih dari 50 pasang.

  Setiap kunci adalah UTF-8 string, tidak kurang dari 1 atau lebih dari 128 byte panjangnya.

  Setiap nilai adalah UTF-8 string, panjangnya tidak lebih dari 256 byte.

  Array peta pasangan kunci-nilai, tidak lebih dari 50 pasang. Setiap kunci adalah UTF-8 string, tidak kurang dari 1 atau lebih dari 128 byte panjangnya. Setiap nilai adalah UTF-8 string, panjangnya tidak lebih dari 256 byte. Tag yang Anda tetapkan ke katalog.

Respons

• Tidak ada parameter Respons.

Kesalahan

• InvalidInputException

• AlreadyExistsException

• ResourceNumberLimitExceededException

• InternalServiceException

• OperationTimeoutException

• GlueEncryptionException

• ConcurrentModificationException

• AccessDeniedException

• EntityNotFoundException

• FederatedResourceAlreadyExistsException

• FederationSourceException

Permintaan

• CatalogId- Diperlukan: String id katalog, panjang tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  ID katalog.

• CatalogInput — Wajib: Sebuah objek CatalogInput.

  Ob CatalogInput jek yang menentukan properti baru dari katalog yang ada.

Respons

• Tidak ada parameter Respons.

Kesalahan

• EntityNotFoundException

• InvalidInputException

• InternalServiceException

• OperationTimeoutException

• GlueEncryptionException

• ConcurrentModificationException

• AccessDeniedException

• FederationSourceException

Permintaan

• CatalogId- Diperlukan: String id katalog, panjang tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  ID katalog.

Respons

• Tidak ada parameter Respons.

Kesalahan

• EntityNotFoundException

• InvalidInputException

• InternalServiceException

• OperationTimeoutException

• GlueEncryptionException

• ConcurrentModificationException

• AccessDeniedException

• FederationSourceException

Permintaan

• CatalogId- Diperlukan: String id katalog, panjang tidak kurang dari 1 atau lebih dari 255 byte, cocok denganSingle-line string pattern.

  ID katalog induk tempat katalog berada. Jika tidak ada yang disediakan, Nomor AWS Akun digunakan secara default.

Respons

• Catalog — Sebuah objek Katalog.

  Sebuah objek Catalog. Definisi katalog yang ditentukan dalam Katalog AWS Glue Data.

Kesalahan

• InvalidInputException

• EntityNotFoundException

• InternalServiceException

• OperationTimeoutException

• GlueEncryptionException

• AccessDeniedException

• EntityNotFoundException

• FederationSourceException

• FederationSourceRetryableException

Permintaan

• ParentCatalogId — String id katalog, sepanjang tidak kurang dari 1 atau lebih dari 255 byte, yang cocok dengan Single-line string pattern.

  ID katalog induk tempat katalog berada. Jika tidak ada yang disediakan, Nomor AWS Akun digunakan secara default.

• NextToken— UTF-8 tali.

  Sebuah token kelanjutan, jika ini adalah panggilan kelanjutan.

• MaxResults — Nomor (bilangan bulat), tidak kurang dari 1 atau lebih dari 1000.

  Jumlah maksimum katalog untuk dikembalikan dalam satu respons.

• Recursive – Boolean.

  Apakah akan mencantumkan semua katalog di seluruh hierarki katalog, mulai dariParentCatalogId. Defaultnya. false Ketikatrue, semua objek katalog dalam ParentCatalogID hierarki disebutkan dalam respons.

• IncludeRoot – Boolean.

  Apakah akan mencantumkan katalog default di akun dan wilayah dalam respons. Default ke false. Kapan true danParentCatalogId = NULL | AWS Account ID, semua katalog dan katalog default disebutkan dalam respons.

  Ketika ParentCatalogId tidak sama dengan null, dan atribut ini diteruskan sebagai false atautrue, an InvalidInputException dilemparkan.

• HasDatabases – Boolean.

  Ketikatrue, respons hanya mencakup katalog yang dapat berisi database. Beberapa katalog adalah wadah organisasi yang hanya menyimpan katalog lain, bukan database. Ketika parameter ini disetel ketrue, katalog khusus wadah tersebut dikecualikan, dan hanya katalog yang mampu berisi database yang dikembalikan. Default ke false.

Respons

• CatalogList – Wajib: Susunan objek Katalog.

  Susunan objek Catalog. Daftar Catalog objek dari katalog induk yang ditentukan.

• NextToken— UTF-8 tali.

  Sebuah token kelanjutan untuk pemberian nomor halaman untuk daftar token yang ditampilkan, dikembalikan jika segmen saat ini dari daftar tersebut bukan yang terakhir.

Kesalahan

• InvalidInputException

• InternalServiceException

• OperationTimeoutException

• GlueEncryptionException

• AccessDeniedException

• EntityNotFoundException

• FederationSourceException

• FederationSourceRetryableException