Amazon Athena HBase 連接器

Amazon Athena HBase 連接器讓 Amazon Athena 能夠與您的 Apache HBase 執行個體通訊，以便使用 SQL 來查詢您的 HBase 資料。

與傳統的關聯式資料存放區不同，HBase 集合沒有集結構描述。HBase 沒有中繼資料存放區。HBase 集合中的每個條目可以有不同的欄位和資料類型。

HBase 連接器支援兩種產生資料表結構描述資訊的機制：基本結構描述推斷和 AWS Glue Data Catalog 中繼資料。

結構描述推斷是預設值。此選項會掃描集合中的少量文件，形成所有欄位的聯集，以及強制具有非重疊資料類型的欄位。此選項適用於大多數具有統一條目的集合。

對於具有更多資料類型的集合，連接器支援從 AWS Glue Data Catalog 中擷取中繼資料。如果連接器看到與您的 HBase 命名空間和集合名稱相匹配的 AWS Glue 資料庫和資料表，它會從相應的 AWS Glue 資料表中獲取其結構描述資訊。當您建立 AWS Glue 資料表時，我們建議您將其設為所有欄位的超集合，您可能想要從 HBase 集合中存取它們。

如果您的帳戶中已啟用 Lake Formation，則您在 AWS Serverless Application Repository 中部署的 Athena 聯合 Lambda 連接器的 IAM 角色在 Lake Formation 中必須具有 AWS Glue Data Catalog 的讀取存取權。

此連接器可以作為聯合目錄向 Glue Data Catalog 註冊。它可在目錄、資料庫、資料表、資料欄、資料列和標籤層級支援 Lake Formation 中定義的資料存取控制。此連接器使用 Glue 連線來集中 Glue 中的組態屬性。

必要條件

參數

使用本節中的參數來設定 HBase 連接器。

aws glue describe-connection-type --connection-type HBASE

SELECT * FROM "hbase_instance_1".database.table

SELECT * FROM "hbase_instance_2".database.table

master_hostname:hbase_port:zookeeper_port

${hbase_host_1}:${hbase_master_port_1}:${hbase_zookeeper_port_1}

在 AWS Glue 中設定資料庫和資料表

連接器的內建結構描述推斷僅支援在 HBase 中序列化為字串的值 (例如，String.valueOf(int))。由於連接器的內建結構描述推斷功能受到限制，因此您可能需要對中繼資料使用 AWS Glue。若要啟用 AWS Glue 資料表以便與 HBase 搭配使用，您必須擁有 AWS Glue 資料庫和資料表，其名稱符合您要為其提供補充中繼資料的 HBase 命名空間和資料表。使用 HBase 資料欄系列命名慣例是可選的，但不是必需的。

建立資料欄系列模型

Athena HBase 連接器支援兩種方式來建立 HBase 資料欄系列模型：完全限定 (扁平化) 命名 (例如 family:column)，或使用 STRUCT 物件。

在 STRUCT 模型中，STRUCT 欄位的名稱應與資料欄系列相符，而 STRUCT 的子項應該與該系列的資料欄名稱相符。但是，由於諸如 STRUCT 等複雜類型尚不完全支援述詞下推和資料欄讀取，因此目前不建議使用 STRUCT。

下圖顯示在 AWS Glue 中設定的資料表，它結合使用了這兩種方法。

支援的資料類型

連接器會擷取所有 HBase 值作為基本位元組類型。然後，根據您在 AWS Glue Data Catalog 中定義資料表的方式，它將值映射到下表中 Apache Arrow 的資料類型之一。

所需的許可

如需詳細了解此連接器所需的 IAM 政策，請檢閱 athena-hbase.yaml 檔案的 Policies 部分。以下清單摘要說明所需的許可。

效能

Athena HBase 連接器透過平行讀取每個區域伺服器，嘗試對 HBase 執行個體平行處理查詢。Athena HBase 連接器執行述詞下推，以減少查詢掃描的資料。

Lambda 函數還執行投影下推，以減少查詢掃描的資料。不過，選取資料欄子集有時會導致較長的查詢執行時期。LIMIT 子句可減少掃描的資料量，但是如果您未提供述詞，則應期望具有 LIMIT 子句的 SELECT 查詢掃描至少 16 MB 的資料。

HBase 容易導致查詢失敗和可變的查詢執行時間。您可能必須重試查詢多次才能成功。HBase 連接器由於並行而對限流保有彈性。

傳遞查詢

HBase 連接器支援傳遞查詢，並且以 NoSQL 為基礎。如需有關使用篩選查詢 Apache HBase 的資訊，請參閱 Apache 文件中的篩選語言。

若要透過 HBase 使用傳遞查詢，請使用下列語法：

SELECT * FROM TABLE(
        system.query(
            database => 'database_name',
            collection => 'collection_name',
            filter => '{query_syntax}'
        ))

下列範例 HBase 傳遞查詢會篩選 default 資料庫的 employee 集合內年齡為 24 或 30 歲的員工。

SELECT * FROM TABLE(
        system.query(
            DATABASE => 'default',
            COLLECTION => 'employee',
            FILTER => 'SingleColumnValueFilter(''personaldata'', ''age'', =, ''binary:30'')' ||
                       ' OR SingleColumnValueFilter(''personaldata'', ''age'', =, ''binary:24'')'
        ))

授權資訊

Amazon Athena HBase 連接器專案是依據 Apache-2.0 License 來授權的。

其他資源

如需此連接器的其他資訊，請造訪 GitHub.com 上的相應網站。