Konektor Metrik Amazon Athena CloudWatch - Amazon Athena
PrasyaratParameterDatabase dan tabelIzin yang DiperlukanPerformaInformasi lisensiSumber daya tambahan

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Konektor Metrik Amazon Athena CloudWatch

Konektor CloudWatch Metrik Amazon Athena memungkinkan Amazon Athena untuk menanyakan CloudWatch data Metrik dengan SQL.

Konektor ini tidak menggunakan Glue Connections untuk memusatkan properti konfigurasi di Glue. Konfigurasi koneksi dilakukan melalui Lambda.

Untuk informasi tentang memublikasikan metrik kueri CloudWatch dari Athena itu sendiri, lihat. Menggunakan CloudWatch dan EventBridge memantau kueri dan mengendalikan biaya

Prasyarat

Parameter

Gunakan parameter di bagian ini untuk mengkonfigurasi konektor CloudWatch Metrik.

Kami menyarankan Anda mengonfigurasi konektor CloudWatch Metrik dengan menggunakan objek koneksi Glue. Untuk melakukan ini, atur variabel glue_connection lingkungan dari konektor CloudWatch Metrik Lambda ke nama koneksi Glue yang akan digunakan.

Properti koneksi lem

Gunakan perintah berikut untuk mendapatkan skema untuk objek koneksi Glue. Skema ini berisi semua parameter yang dapat Anda gunakan untuk mengontrol koneksi Anda.

aws glue describe-connection-type --connection-type CLOUDWATCHMETRICS

Properti lingkungan Lambda

  • glue_connection - Menentukan nama koneksi Glue yang terkait dengan konektor federasi.

catatan

  • Semua konektor yang menggunakan koneksi Glue harus digunakan AWS Secrets Manager untuk menyimpan kredensil.

  • Konektor CloudWatch Metrik yang dibuat menggunakan koneksi Glue tidak mendukung penggunaan handler multiplexing.

  • Konektor CloudWatch Metrik yang dibuat menggunakan koneksi Glue hanya mendukung ConnectionSchemaVersion 2.

  • spill_bucket - Menentukan bucket Amazon S3 untuk data yang melebihi batas fungsi Lambda.

  • spill_prefix — (Opsional) Default ke subfolder dalam nama yang ditentukan. spill_bucket athena-federation-spill Kami menyarankan Anda mengonfigurasi siklus hidup penyimpanan Amazon S3 di lokasi ini untuk menghapus tumpahan yang lebih lama dari jumlah hari atau jam yang telah ditentukan sebelumnya.

  • spill_put_request_headers — (Opsional) Peta header permintaan dan nilai yang disandikan JSON untuk permintaan Amazon S3 yang digunakan untuk menumpahkan (misalnya,). putObject {"x-amz-server-side-encryption" : "AES256"} Untuk kemungkinan header lainnya, lihat PutObjectdi Referensi API Amazon Simple Storage Service.

  • kms_key_id — (Opsional) Secara default, data apa pun yang tumpah ke Amazon S3 dienkripsi menggunakan mode enkripsi yang diautentikasi AES-GCM dan kunci yang dihasilkan secara acak. Agar fungsi Lambda Anda menggunakan kunci enkripsi yang lebih kuat yang dihasilkan oleh KMS sepertia7e63k4b-8loc-40db-a2a1-4d0en2cd8331, Anda dapat menentukan ID kunci KMS.

  • disable_spill_encryption — (Opsional) Ketika diatur ke, menonaktifkan enkripsi tumpahan. True Defaultnya False sehingga data yang tumpah ke S3 dienkripsi menggunakan AES-GCM — baik menggunakan kunci yang dihasilkan secara acak atau KMS untuk menghasilkan kunci. Menonaktifkan enkripsi tumpahan dapat meningkatkan kinerja, terutama jika lokasi tumpahan Anda menggunakan enkripsi sisi server.

Konektor ini juga mendukung kontrol kemacetan AIMD untuk menangani peristiwa pelambatan dari melalui konstruksi CloudWatch Amazon Athena Query Federation SDK. ThrottlingInvoker Anda dapat mengubah perilaku pelambatan default dengan menyetel salah satu variabel lingkungan opsional berikut:

  • throttle_initial_delay_ms - Penundaan panggilan awal diterapkan setelah peristiwa kemacetan pertama. Defaultnya adalah 10 milidetik.

  • throttle_max_delay_ms — Penundaan maksimum antara panggilan. Anda dapat memperoleh TPS dengan membaginya menjadi 1000ms. Defaultnya adalah 1000 milidetik.

  • throttle_decrease_factor — Faktor dimana Athena mengurangi tingkat panggilan. Defaultnya adalah 0,5

  • throttle_increase_ms — Tingkat di mana Athena mengurangi penundaan panggilan. Defaultnya adalah 10 milidetik.

Database dan tabel

Konektor Athena CloudWatch Metrics memetakan ruang nama, dimensi, metrik, dan nilai metrik Anda ke dalam dua tabel dalam satu skema yang disebut. default

Tabel metrik

metricsTabel berisi metrik yang tersedia sebagaimana didefinisikan secara unik oleh kombinasi namespace, set, dan nama. metricsTabel berisi kolom berikut.

  • namespace — A yang VARCHAR berisi namespace.

  • metric_name — A yang VARCHAR berisi nama metrik.

  • dimensi — Sebuah LIST STRUCT objek yang terdiri dari dim_name (VARCHAR) dandim_value (VARCHAR).

  • statistik — Sebuah LIST VARCH statistik (misalnya,, p90AVERAGE,...) tersedia untuk metrik.

Tabel metric_samples

metric_samplesTabel berisi sampel metrik yang tersedia untuk setiap metrik dalam metrics tabel. metric_samplesTabel berisi kolom berikut.

  • namespace — A VARCHAR yang berisi namespace.

  • metric_name — A VARCHAR yang berisi nama metrik.

  • dimensi — Sebuah LIST STRUCT objek yang terdiri dari dim_name (VARCHAR) dandim_value (VARCHAR).

  • dim_name - Bidang VARCHAR kenyamanan yang dapat Anda gunakan untuk memfilter dengan mudah pada satu nama dimensi.

  • dim_value — Bidang VARCHAR kenyamanan yang dapat Anda gunakan untuk memfilter dengan mudah pada nilai dimensi tunggal.

  • Periode — INT Bidang yang mewakili “periode” metrik dalam detik (misalnya, metrik 60 detik).

  • stempel waktu — BIGINT Bidang yang mewakili waktu epoch dalam detik untuk sampel metrik.

  • value — FLOAT8 Bidang yang berisi nilai sampel.

  • statistik — A VARCHAR yang berisi tipe statistik sampel (misalnya, AVERAGE ataup90).

Izin yang Diperlukan

Untuk detail selengkapnya tentang kebijakan IAM yang diperlukan konektor ini, tinjau Policies bagian athena-cloudwatch-metricsfile.yaml. Daftar berikut merangkum izin yang diperlukan.

  • Akses tulis Amazon S3 - Konektor memerlukan akses tulis ke lokasi di Amazon S3 untuk menumpahkan hasil dari kueri besar.

  • Athena GetQueryExecution — Konektor menggunakan izin ini untuk gagal cepat ketika kueri Athena hulu telah dihentikan.

  • CloudWatch Metrik ReadOnly — Konektor menggunakan izin ini untuk menanyakan data metrik Anda.

  • CloudWatch Log Tulis — Konektor menggunakan akses ini untuk menulis log diagnostiknya.

Performa

Konektor CloudWatch Metrik Athena mencoba mengoptimalkan kueri terhadap CloudWatch Metrik dengan memparalelkan pemindaian aliran log yang diperlukan untuk kueri Anda. Untuk periode waktu tertentu, metrik, namespace, dan filter dimensi, pushdown predikat dilakukan baik di dalam fungsi Lambda maupun di dalam Log. CloudWatch

Informasi lisensi

Proyek konektor CloudWatch Metrik Amazon Athena dilisensikan di bawah Lisensi Apache-2.0.

Sumber daya tambahan

Untuk informasi tambahan tentang konektor ini, kunjungi situs terkait GitHub di.com.