Connecteur Amazon Athena pour OpenSearch

OpenSearch Service

Le connecteur Amazon Athena OpenSearch permet à Amazon Athena de communiquer avec vos instances OpenSearch afin que vous puissiez utiliser SQL pour requêter vos données OpenSearch.

Ce connecteur peut être enregistré auprès du Catalogue de données Glue en tant que catalogue fédéré. Il prend en charge les contrôles d’accès aux données définis dans Lake Formation aux niveaux catalogue, base de données, table, colonne, ligne et balise. Ce connecteur utilise les connexions Glue pour centraliser les propriétés de configuration dans Glue.

Si Lake Formation est activé sur votre compte, le rôle IAM de votre connecteur Lambda fédéré Athena que vous avez déployé dans le AWS Serverless Application Repository doit avoir un accès en lecture au AWS Glue Data Catalog dans Lake Formation.

Prérequis

Conditions

Les termes suivants se rapportent au connecteur OpenSearch.

Paramètres

Utilisez les paramètres de cette section pour configurer le connecteur OpenSearch.

aws glue describe-connection-type --connection-type OPENSEARCH

Configuration de bases de données et de tables dans AWS Glue

Le connecteur obtient des informations de métadonnées en utilisant AWS Glue ou OpenSearch. Vous pouvez configurer une table AWS Glue en tant que source de définition de métadonnées supplémentaire. Pour activer cette fonctionnalité, définissez une base de données AWS Glue et une table qui correspondent au domaine et à l’index de la source que vous complétez. Le connecteur peut également tirer parti des définitions de métadonnées stockées dans l’instance OpenSearch en récupérant le mappage de l’index spécifié.

Définition des métadonnées pour les tableaux dans OpenSearch

OpenSearch ne dispose pas d’un type de données de tableau dédié. Chaque champ peut contenir zéro ou plusieurs valeurs, à condition qu’elles soient du même type de données. Si vous souhaitez utiliser OpenSearch comme source de définition de métadonnées, vous devez définir une propriété _meta pour tous les indices utilisés avec Athena pour les champs à considérer comme une liste ou un tableau. Si vous ne parvenez pas à effectuer cette étape, les requêtes renvoient uniquement le premier élément du champ de liste. Lorsque vous spécifiez la propriété _meta, les noms de champs doivent être entièrement qualifiés pour les structures JSON imbriquées (par exemple, address.street, où street est un champ imbriqué dans une structure address).

L’exemple suivant définit les listes actor et genre dans la table movies.

PUT movies/_mapping 
{ 
  "_meta": { 
    "actor": "list", 
    "genre": "list" 
  } 
}

Types de données

Le connecteur OpenSearch peut extraire des définitions de métadonnées à partir de AWS Glue ou de l’instance OpenSearch. Le connecteur utilise le mappage du tableau suivant pour convertir les définitions en types de données Apache Arrow, y compris les points notés dans la section suivante.

Remarques sur les types de données

Exécution de requêtes SQL

Vous trouverez ci-dessous des exemples de requêtes DDL que vous pouvez utiliser avec ce connecteur. Dans les exemples,function_name correspond au nom de votre fonction Lambda,domaine est le nom du domaine à interroger et index est le nom de votre index.

SHOW DATABASES in `lambda:function_name`

SHOW TABLES in `lambda:function_name`.domain

DESCRIBE `lambda:function_name`.domain.index

Performances

Le connecteur Athena OpenSearch prend en charge les examens parallèles basés sur des partitions. Le connecteur utilise les informations d’intégrité du cluster extraites de l’instance OpenSearch pour générer plusieurs demandes pour une requête de recherche de document. Les demandes sont réparties pour chaque partition et exécutées simultanément.

Le connecteur transfère également des prédicats dans le cadre de ses requêtes de recherche de documents. L’exemple de requête et de prédicat suivant montre comment le connecteur utilise le prédicat poussé vers le bas.

Requête

SELECT * FROM "lambda:elasticsearch".movies.movies 
WHERE year >= 1955 AND year <= 1962 OR year = 1996

Prédicat

(_exists_:year) AND year:([1955 TO 1962] OR 1996)

Requêtes de transmission

Le connecteur OpenSearch prend en charge les requêtes de transmission et utilise le langage Query DSL. Pour plus d’informations sur les interrogations avec Query DSL, consultez Query DSL dans la documentation Elasticsearch ou Query DSL dans la documentation OpenSearch.

Pour utiliser les requêtes de transmission avec le connecteur OpenSearch, utilisez la syntaxe suivante :

SELECT * FROM TABLE(
        system.query(
            schema => 'schema_name',
            index => 'index_name',
            query => "{query_string}"
        ))

L’exemple de requête de transmission OpenSearch ci-dessous filtre les employés ayant un statut professionnel actif dans l’index employee du schéma default.

SELECT * FROM TABLE(
        system.query(
            schema => 'default',
            index => 'employee',
            query => "{ ''bool'':{''filter'':{''term'':{''status'': ''active''}}}}"
        ))

Ressources supplémentaires