Connecteur Amazon Athena pour HBase

Le connecteur Amazon Athena HBase permet à Amazon Athena de communiquer avec vos instances Apache HBase afin que vous puissiez interroger vos données HBase avec SQL.

Contrairement aux magasins de données relatives traditionnels, les collections HBase n’ont pas de schéma défini. HBase n’a pas de magasin de métadonnées. Chaque entrée d’une collection HBase peut comporter des champs et des types de données différents.

Le connecteur HBase prend en charge deux mécanismes pour générer des informations de schéma de table : l’inférence de schéma de base et métadonnées AWS Glue Data Catalog.

L’inférence de schéma est la valeur par défaut. Cette option analyse un petit nombre de documents de votre collection, réunit tous les champs et impose des champs dont les types de données ne se chevauchent pas. Cette option fonctionne bien pour les collections dont les entrées sont généralement uniformes.

Pour les collections comportant une plus grande variété de types de données, le connecteur prend en charge la récupération de métadonnées à partir du AWS Glue Data Catalog. Si le connecteur détecte une base de données AWS Glue et une table qui correspondent aux noms de votre espace de noms et de votre collection HBase, il obtient ses informations de schéma à partir de la table AWS Glue correspondante. Lorsque vous créez votre table AWS Glue, nous vous recommandons d’en faire un sur-ensemble de tous les champs auxquels vous souhaitez accéder depuis votre collection HBase.

Si Lake Formation est activé sur votre compte, le rôle IAM de votre connecteur Lambda fédéré Athena que vous avez déployé dans le AWS Serverless Application Repository doit avoir un accès en lecture au AWS Glue Data Catalog dans Lake Formation.

Ce connecteur peut être enregistré auprès du Catalogue de données Glue en tant que catalogue fédéré. Il prend en charge les contrôles d’accès aux données définis dans Lake Formation aux niveaux catalogue, base de données, table, colonne, ligne et balise. Ce connecteur utilise les connexions Glue pour centraliser les propriétés de configuration dans Glue.

Prérequis

Paramètres

Utilisez les paramètres de cette section pour configurer le connecteur HBase.

aws glue describe-connection-type --connection-type HBASE

SELECT * FROM "hbase_instance_1".database.table

SELECT * FROM "hbase_instance_2".database.table

master_hostname:hbase_port:zookeeper_port

${hbase_host_1}:${hbase_master_port_1}:${hbase_zookeeper_port_1}

Configuration de bases de données et de tables dans AWS Glue

L’inférence de schéma intégrée du connecteur prend en charge uniquement les valeurs sérialisées dans HBase sous forme de chaînes (par exemple, String.valueOf(int)). La capacité d’inférence de schéma intégrée du connecteur étant limitée, vous pouvez souhaiter utiliser plutôt AWS Glue pour les métadonnées. Pour activer une table AWS Glue à utiliser avec HBase, vous devez posséder une base de données AWS Glue et une table dont les noms correspondent à l’espace de noms et à la table HBase pour lesquels vous souhaitez fournir des métadonnées supplémentaires. L’utilisation des conventions de dénomination des familles de colonnes HBase est facultative, mais pas obligatoire.

Modélisation de familles de colonnes

Le connecteur Athena HBase permet de modéliser les familles de colonnes HBase de deux manières : des noms entièrement qualifiés (aplatis) tels que family:column, ou à l’aide d’objets STRUCT.

Dans le modèle STRUCT, le nom du champ STRUCT doit correspondre à la famille de colonnes, tandis que les enfants de STRUCT doivent correspondre aux noms des colonnes de la famille. Cependant, étant donné que les lectures de prédicats poussés vers le bas et en colonnes ne sont pas encore totalement prises en charge pour les types complexes tels que STRUCT, l’utilisation de STRUCT n’est actuellement pas conseillée.

L’image suivante illustre un tableau configuré dans AWS Glue qui utilise une combinaison des deux approches.

Prise en charge du type de données

Le connecteur extrait toutes les valeurs HBase en tant que type d’octet de base. Ensuite, en fonction de la façon dont vous avez défini vos tables dans le catalogue de données AWS Glue, il mappe les valeurs dans l’un des types de données Apache Arrow dans la table suivante.

Autorisations nécessaires

Pour plus de détails sur les politiques IAM requises par ce connecteur, reportez-vous à la section Policies du fichier athena-hbase.yaml. La liste suivante résume les autorisations requises.

Performances

Le connecteur Athena HBase tente de paralléliser les requêtes sur votre instance HBase en lisant chaque serveur de région en parallèle. Le connecteur Athena HBase effectue une poussée vers le bas des prédicats pour réduire les données analysées par la requête.

La fonction Lambda effectue également une poussée vers le bas de projection pour réduire les données analysées par la requête. Cependant, la sélection d’un sous-ensemble de colonnes entraîne parfois un temps d’exécution plus long de la requête. Les clauses LIMIT réduisent la quantité de données analysées, mais si vous ne fournissez pas de prédicat, vous devez vous attendre à ce que les requêtes SELECT avec une clause LIMIT analysent au moins 16 Mo de données.

HBase est susceptible de faire échouer des requêtes et d'avoir des temps d'exécution variables. Vous devrez peut-être réessayer vos requêtes plusieurs fois pour qu'elles aboutissent. Le connecteur HBase résiste à la limitation due à la simultanéité.

Requêtes de transmission

Basé sur NoSQL, le connecteur HBase prend en charge les requêtes de transmission. Pour plus d’informations sur les interrogations avec Apache HBase à l’aide du filtrage, consultez Filter language dans la documentation Apache.

Pour utiliser les requêtes de transmission avec HBase, utilisez la syntaxe suivante :

SELECT * FROM TABLE(
        system.query(
            database => 'database_name',
            collection => 'collection_name',
            filter => '{query_syntax}'
        ))

L’exemple de requête de transmission HBase ci-dessous filtre les employés âgés de 24 ou 30 ans au sein de la employee collection de la base de données default.

SELECT * FROM TABLE(
        system.query(
            DATABASE => 'default',
            COLLECTION => 'employee',
            FILTER => 'SingleColumnValueFilter(''personaldata'', ''age'', =, ''binary:30'')' ||
                       ' OR SingleColumnValueFilter(''personaldata'', ''age'', =, ''binary:24'')'
        ))

Informations de licence

Le projet de connecteur HBase Amazon Athena est concédé sous licence dans le cadre de la licence Apache-2.0.

Ressources supplémentaires

Pour plus d'informations sur ce connecteur, consultez le site correspondant sur GitHub.com.