Konektor CMDB Amazon Athena AWS - Amazon Athena
PrasyaratParameterDatabase dan tabelIzin yang DiperlukanPerformaInformasi lisensiSumber daya tambahan

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Konektor CMDB Amazon Athena AWS

AWS Konektor CMDB Amazon Athena memungkinkan Athena berkomunikasi dengan berbagai AWS layanan sehingga Anda dapat menanyakannya dengan SQL.

Konektor ini dapat didaftarkan dengan Glue Data Catalog sebagai katalog federasi. Ini mendukung kontrol akses data yang didefinisikan dalam Lake Formation di katalog, database, tabel, kolom, baris, dan tingkat tag. Konektor ini menggunakan Glue Connections untuk memusatkan properti konfigurasi di Glue.

Prasyarat

Parameter

Gunakan parameter di bagian ini untuk mengkonfigurasi konektor AWS CMDB.

Glue connections (recommended)

Kami menyarankan Anda mengonfigurasi konektor AWS CMDB dengan menggunakan objek koneksi Glue. Untuk melakukan ini, atur variabel glue_connection lingkungan dari konektor AWS CMDB Lambda ke nama koneksi Glue yang akan digunakan.

Properti koneksi lem

Gunakan perintah berikut untuk mendapatkan skema untuk objek koneksi Glue. Skema ini berisi semua parameter yang dapat Anda gunakan untuk mengontrol koneksi Anda.

aws glue describe-connection-type --connection-type CMDB

Properti lingkungan Lambda

glue_connection - Menentukan nama koneksi Glue yang terkait dengan konektor federasi.

Legacy connections
catatan

Konektor sumber data Athena dibuat pada 3 Desember 2024 dan kemudian menggunakan koneksi. AWS Glue

Nama parameter dan definisi yang tercantum di bawah ini adalah untuk konektor sumber data Athena yang dibuat tanpa koneksi Glue terkait. Gunakan parameter berikut hanya jika Anda menggunakan versi sebelumnya dari konektor sumber data Athena secara manual atau saat glue_connection properti lingkungan tidak ditentukan.

Properti lingkungan Lambda

  • spill_bucket - Menentukan bucket Amazon S3 untuk data yang melebihi batas fungsi Lambda.

  • spill_prefix — (Opsional) Default ke subfolder dalam nama yang ditentukan. spill_bucket athena-federation-spill Kami menyarankan Anda mengonfigurasi siklus hidup penyimpanan Amazon S3 di lokasi ini untuk menghapus tumpahan yang lebih lama dari jumlah hari atau jam yang telah ditentukan sebelumnya.

  • spill_put_request_headers — (Opsional) Peta header permintaan dan nilai yang disandikan JSON untuk permintaan Amazon S3 yang digunakan untuk menumpahkan (misalnya,). putObject {"x-amz-server-side-encryption" : "AES256"} Untuk kemungkinan header lainnya, lihat PutObjectdi Referensi API Amazon Simple Storage Service.

  • kms_key_id — (Opsional) Secara default, data apa pun yang tumpah ke Amazon S3 dienkripsi menggunakan mode enkripsi yang diautentikasi AES-GCM dan kunci yang dihasilkan secara acak. Agar fungsi Lambda Anda menggunakan kunci enkripsi yang lebih kuat yang dihasilkan oleh KMS sepertia7e63k4b-8loc-40db-a2a1-4d0en2cd8331, Anda dapat menentukan ID kunci KMS.

  • disable_spill_encryption — (Opsional) Ketika diatur ke, menonaktifkan enkripsi tumpahan. True Defaultnya False sehingga data yang tumpah ke S3 dienkripsi menggunakan AES-GCM — baik menggunakan kunci yang dihasilkan secara acak atau KMS untuk menghasilkan kunci. Menonaktifkan enkripsi tumpahan dapat meningkatkan kinerja, terutama jika lokasi tumpahan Anda menggunakan enkripsi sisi server.

  • default_ec2_image_owner — (Opsional) Saat disetel, mengontrol pemilik EC2 gambar Amazon default yang memfilter Gambar Mesin Amazon (AMI). Jika Anda tidak menetapkan nilai ini dan kueri Anda terhadap tabel EC2 gambar tidak menyertakan filter untuk pemilik, hasil Anda akan mencakup semua gambar publik.

Database dan tabel

Konektor AWS CMDB Athena membuat database dan tabel berikut tersedia untuk menanyakan inventaris sumber daya Anda. AWS Untuk informasi selengkapnya tentang kolom yang tersedia di setiap tabel, jalankan DESCRIBE database.table pernyataan menggunakan konsol Athena atau API.

  • ec2 — Database ini berisi sumber daya EC2 terkait Amazon, termasuk yang berikut ini.

  • ebs_volumes - Berisi detail volume Amazon EBS Anda.

  • ec2_instances - Berisi rincian Instans Anda. EC2

  • ec2_images - Berisi rincian gambar Instance Anda EC2 .

  • routing_tables - Berisi rincian Tabel Routing VPC Anda.

  • security_groups - Berisi rincian grup keamanan Anda.

  • subnet - Berisi detail Subnet VPC Anda.

  • vpcs - Berisi detail Anda VPCs.

  • emr - Database ini berisi sumber daya terkait Amazon EMR, termasuk yang berikut ini.

  • emr_clusters - Berisi rincian Cluster EMR Anda.

  • rds - Database ini berisi sumber daya terkait Amazon RDS, termasuk yang berikut ini.

  • rds_instances - Berisi rincian Instans RDS Anda.

  • s3 — Database ini berisi sumber daya terkait RDS, termasuk yang berikut ini.

  • ember - Berisi detail ember Amazon S3 Anda.

  • objek - Berisi detail objek Amazon S3 Anda, tidak termasuk isinya.

Izin yang Diperlukan

Untuk detail selengkapnya tentang kebijakan IAM yang diperlukan konektor ini, tinjau Policies bagian athena-aws-cmdbfile.yaml. Daftar berikut merangkum izin yang diperlukan.

  • Akses tulis Amazon S3 - Konektor memerlukan akses tulis ke lokasi di Amazon S3 untuk menumpahkan hasil dari kueri besar.

  • Athena GetQueryExecution — Konektor menggunakan izin ini untuk gagal cepat ketika kueri Athena hulu telah dihentikan.

  • Daftar S3 - Konektor menggunakan izin ini untuk mencantumkan bucket dan objek Amazon S3 Anda.

  • EC2 Jelaskan — Konektor menggunakan izin ini untuk menjelaskan sumber daya seperti EC2 instans Amazon, grup keamanan VPCs, dan volume Amazon EBS Anda.

  • EMR Deskripsi/Daftar — Konektor menggunakan izin ini untuk menggambarkan kluster EMR Anda.

  • RDS Deskripsikan — Konektor menggunakan izin ini untuk menggambarkan Instans RDS Anda.

Performa

Saat ini, konektor AWS CMDB Athena tidak mendukung pemindaian paralel. Predikat pushdown dilakukan dalam fungsi Lambda. Jika memungkinkan, predikat sebagian didorong ke layanan yang ditanyakan. Misalnya, kueri untuk detail EC2 instance Amazon tertentu memanggil EC2 API dengan ID instans tertentu untuk menjalankan operasi deskripsi yang ditargetkan.

Informasi lisensi

Proyek konektor AWS CMDB Amazon Athena dilisensikan di bawah Lisensi Apache-2.0.

Sumber daya tambahan

Untuk informasi tambahan tentang konektor ini, kunjungi situs terkait GitHub di.com.