Konektor Amazon Athena HBase

Konektor Amazon Athena HBase memungkinkan Amazon Athena berkomunikasi dengan instans Apache HBase Anda sehingga Anda dapat menanyakan data HBase Anda dengan SQL.

Tidak seperti penyimpanan data relasional tradisional, koleksi HBase tidak memiliki skema yang ditetapkan. HBase tidak memiliki toko metadata. Setiap entri dalam koleksi HBase dapat memiliki bidang dan tipe data yang berbeda.

Konektor HBase mendukung dua mekanisme untuk menghasilkan informasi skema tabel: inferensi skema dasar dan metadata. AWS Glue Data Catalog

Inferensi skema adalah default. Opsi ini memindai sejumlah kecil dokumen dalam koleksi Anda, membentuk gabungan semua bidang, dan memaksa bidang yang memiliki tipe data yang tidak tumpang tindih. Opsi ini berfungsi dengan baik untuk koleksi yang sebagian besar memiliki entri seragam.

Untuk koleksi dengan variasi tipe data yang lebih besar, konektor mendukung pengambilan metadata dari file. AWS Glue Data Catalog Jika konektor melihat AWS Glue database dan tabel yang cocok dengan namespace HBase dan nama koleksi Anda, ia mendapatkan informasi skema dari tabel yang sesuai. AWS Glue Saat Anda membuat AWS Glue tabel, kami sarankan Anda menjadikannya superset dari semua bidang yang mungkin ingin Anda akses dari koleksi HBase Anda.

Jika Anda mengaktifkan Lake Formation di akun Anda, peran IAM untuk konektor Lambda federasi Athena yang Anda gunakan harus memiliki akses baca di AWS Serverless Application Repository Lake Formation ke. AWS Glue Data Catalog

Konektor ini dapat didaftarkan dengan Glue Data Catalog sebagai katalog federasi. Ini mendukung kontrol akses data yang didefinisikan dalam Lake Formation di katalog, database, tabel, kolom, baris, dan tingkat tag. Konektor ini menggunakan Glue Connections untuk memusatkan properti konfigurasi di Glue.

Prasyarat

Parameter

Gunakan parameter di bagian ini untuk mengkonfigurasi konektor HBase.

aws glue describe-connection-type --connection-type HBASE

SELECT * FROM "hbase_instance_1".database.table

SELECT * FROM "hbase_instance_2".database.table

master_hostname:hbase_port:zookeeper_port

${hbase_host_1}:${hbase_master_port_1}:${hbase_zookeeper_port_1}

Menyiapkan database dan tabel di AWS Glue

Inferensi skema bawaan konektor hanya mendukung nilai yang diserialkan dalam HBase sebagai string (misalnya,). String.valueOf(int) Karena kemampuan inferensi skema bawaan konektor terbatas, Anda mungkin ingin menggunakan metadata sebagai AWS Glue gantinya. Untuk mengaktifkan AWS Glue tabel untuk digunakan dengan HBase, Anda harus memiliki AWS Glue database dan tabel dengan nama yang cocok dengan namespace HBase dan tabel yang ingin Anda berikan metadata tambahan. Penggunaan konvensi penamaan keluarga kolom HBase adalah opsional tetapi tidak diperlukan.

Pemodelan keluarga kolom

Konektor Athena HBase mendukung dua cara untuk memodelkan keluarga kolom HBase: penamaan yang sepenuhnya memenuhi syarat (diratakan) seperti, atau menggunakan objek. family:column STRUCT

Dalam STRUCT model, nama STRUCT bidang harus sesuai dengan keluarga kolom, dan anak-anak STRUCT harus cocok dengan nama kolom keluarga. Namun, karena predikat push down dan pembacaan kolom belum sepenuhnya didukung untuk tipe kompleks sepertiSTRUCT, penggunaan saat ini tidak STRUCT disarankan.

Gambar berikut menunjukkan tabel yang dikonfigurasi di AWS Glue yang menggunakan kombinasi dari dua pendekatan.

Dukungan tipe data

Konektor mengambil semua nilai HBase sebagai tipe byte dasar. Kemudian, berdasarkan bagaimana Anda mendefinisikan tabel Anda di Katalog AWS Glue Data, itu memetakan nilai ke salah satu tipe data Apache Arrow dalam tabel berikut.

Izin yang Diperlukan

Untuk detail lengkap tentang kebijakan IAM yang diperlukan konektor ini, tinjau Policies bagian file athena-hbase.yaml. Daftar berikut merangkum izin yang diperlukan.

Performa

Konektor Athena HBase mencoba memparalelkan kueri terhadap instance HBase Anda dengan membaca setiap server wilayah secara paralel. Konektor Athena HBase melakukan pushdown predikat untuk mengurangi data yang dipindai oleh kueri.

Fungsi Lambda juga melakukan pushdown proyeksi untuk mengurangi data yang dipindai oleh kueri. Namun, memilih subset kolom terkadang menghasilkan runtime eksekusi kueri yang lebih lama. LIMITklausa mengurangi jumlah data yang dipindai, tetapi jika Anda tidak memberikan predikat, Anda harus mengharapkan SELECT kueri dengan LIMIT klausa untuk memindai setidaknya 16 MB data.

HBase rentan terhadap kegagalan kueri dan waktu eksekusi kueri variabel. Anda mungkin harus mencoba lagi pertanyaan Anda beberapa kali agar berhasil. Konektor HBase tahan terhadap pelambatan karena konkurensi.

Kueri passthrough

Konektor HBase mendukung kueri passthrough dan berbasis NoSQL. Untuk informasi tentang kueri Apache HBase menggunakan pemfilteran, lihat Menyaring bahasa dalam dokumentasi Apache.

Untuk menggunakan kueri passthrough dengan HBase, gunakan sintaks berikut:

SELECT * FROM TABLE(
        system.query(
            database => 'database_name',
            collection => 'collection_name',
            filter => '{query_syntax}'
        ))

Berikut contoh filter query passthrough HBase untuk karyawan berusia 24 atau 30 dalam employee koleksi database. default

SELECT * FROM TABLE(
        system.query(
            DATABASE => 'default',
            COLLECTION => 'employee',
            FILTER => 'SingleColumnValueFilter(''personaldata'', ''age'', =, ''binary:30'')' ||
                       ' OR SingleColumnValueFilter(''personaldata'', ''age'', =, ''binary:24'')'
        ))

Informasi lisensi

Proyek konektor Amazon Athena HBase dilisensikan di bawah Lisensi. Apache-2.0

Sumber daya tambahan

Untuk informasi tambahan tentang konektor ini, kunjungi situs yang sesuai di GitHub.com.