Connecteur Amazon Athena pour Google BigQuery - Amazon Athena
PrérequisLimitationsParamètresDivisions et vuesPerformancesRequêtes de transmissionInformations de licenceRessources supplémentaires

Connecteur Amazon Athena pour Google BigQuery

Le connecteur Amazon Athena pour Google BigQuery permet à Amazon Athena d’exécuter des requêtes SQL sur vos données Google BigQuery.

Ce connecteur peut être enregistré auprès du Catalogue de données Glue en tant que catalogue fédéré. Il prend en charge les contrôles d’accès aux données définis dans Lake Formation aux niveaux catalogue, base de données, table, colonne, ligne et balise. Ce connecteur utilise les connexions Glue pour centraliser les propriétés de configuration dans Glue.

Prérequis

Limitations

  • Les fonctions Lambda ont un délai d’expiration maximal de 15 minutes. Chaque division exécute une requête sur BigQuery et doit se terminer avec suffisamment de temps pour stocker les résultats afin qu’Athena puisse les lire. Si le délai imparti à la fonction Lambda expire, la requête échoue.

  • Google BigQuery est sensible à la casse. Le connecteur tente de corriger la casse des noms de jeu de données, des noms de tables et des ID de projet. Cette opération est nécessaire, car Athena met en minuscules toutes les métadonnées. Ces corrections entraînent de nombreux appels supplémentaires vers Google BigQuery.

  • Les types de données binaires ne sont pas pris en charge.

  • En raison de la simultanéité et des limites de quotas de Google BigQuery, le connecteur peut rencontrer des problèmes de limite de quota Google. Pour éviter ces problèmes, transmettez autant de contraintes que possible à Google BigQuery. Pour obtenir des informations sur les quotas BigQuery, veuillez consulter Quotas et limites dans la documentation de Google BigQuery.

Paramètres

Utilisez les paramètres de cette section pour configurer le connecteur Google BigQuery.

Nous vous recommandons de configurer un connecteur Google BigQuery en utilisant un objet des connexions Glue. Pour ce faire, définissez la variable d’environnement glue_connection du connecteur Google BigQuery Lambda sur le nom de la connexion Glue à utiliser.

Propriétés des connexions Glue

Utilisez la commande suivante afin d’obtenir le schéma d’un objet de connexion Glue. Ce schéma contient tous les paramètres que vous pouvez utiliser pour contrôler votre connexion.

aws glue describe-connection-type --connection-type BIGQUERY

Propriétés d’environnement Lambda

glue_connection – Spécifie le nom de la connexion Glue associée au connecteur fédéré.

Note

  • Tous les connecteurs qui utilisent des connexions Glue doivent utiliser AWS Secrets Manager pour stocker les informations d’identification.

  • Le connecteur Google BigQuery créé à l’aide des connexions Glue ne prend pas en charge l’utilisation d’un gestionnaire de multiplexage.

  • Le connecteur Google BigQuery créé à l’aide des connexions Glue prend uniquement en charge ConnectionSchemaVersion 2.

Note

Les connecteurs de source de données Athena créés le 3 décembre 2024 et les versions ultérieures utilisent des connexions AWS Glue.

Les noms et définitions de paramètres répertoriés ci-dessous concernent les connecteurs de source de données Athena créés sans connexion Glue associée. Utilisez les paramètres suivants uniquement lorsque vous déployez manuellement une version antérieure d’un connecteur de source de données Athena ou lorsque la propriété d’environnement glue_connection n’est pas spécifiée.

Propriétés d’environnement Lambda

  • spill_bucket – Spécifie le compartiment Amazon S3 pour les données qui dépassent les limites des fonctions Lambda.

  • spill_prefix – (Facultatif) Par défaut, il s’agit d’un sous-dossier dans le spill_bucket spécifié appelé athena-federation-spill. Nous vous recommandons de configurer un cycle de vie de stockage Amazon S3 à cet endroit pour supprimer les déversements supérieurs à un nombre de jours ou d’heures prédéterminé.

  • spill_put_request_headers – (Facultatif) Une carte codée au format JSON des en-têtes et des valeurs des demandes pour la demande putObject Amazon S3 utilisée pour le déversement (par exemple, {"x-amz-server-side-encryption" : "AES256"}). Pour les autres en-têtes possibles, consultez PutObject dans la Référence d'API Amazon Simple Storage Service.

  • kms_key_id – (Facultatif) Par défaut, toutes les données déversées vers Amazon S3 sont chiffrées à l'aide du mode de chiffrement authentifié AES-GCM et d'une clé générée de manière aléatoire. Pour que votre fonction Lambda utilise des clés de chiffrement plus puissantes générées par KMS, comme a7e63k4b-8loc-40db-a2a1-4d0en2cd8331, vous pouvez spécifier l’ID d’une clé KMS.

  • disable_spill_encryption – (Facultatif) Lorsque la valeur est définie sur True, le chiffrement des déversements est désactivé. La valeur par défaut est False afin que les données déversées vers S3 soient chiffrées à l’aide d’AES-GCM, soit à l’aide d’une clé générée de manière aléatoire soit à l’aide de KMS pour générer des clés. La désactivation du chiffrement des déversements peut améliorer les performances, surtout si votre lieu de déversement utilise le chiffrement côté serveur.

  • gcp_project_id – L’ID du projet (et non le nom du projet) qui contient les jeux de données à partir desquels le connecteur doit lire (par exemple, semiotic-primer-1234567).

  • secret_manager_gcp_creds_name – Le nom du secret au sein de AWS Secrets Manager qui contient vos informations d’identification BigQuery au format JSON (par exemple, GoogleCloudPlatformCredentials).

  • big_query_endpoint – (Facultatif) L'URL d'un point de terminaison privé BigQuery. Utilisez ce paramètre lorsque vous souhaitez accéder à BigQuery via un point de terminaison privé.

Divisions et vues

Étant donné que le connecteur BigQuery utilise l’API BigQuery Storage Read pour interroger les tables et que l’API BigQuery Storage ne prend pas en charge les vues, le connecteur utilise le client BigQuery avec une division unique pour les vues.

Performances

Pour interroger les tables, le connecteur BigQuery utilise l’API BigQuery Storage Read, qui utilise un protocole basé sur RPC offrant un accès rapide au stockage géré par BigQuery. Pour plus d'informations sur l'API BigQuery Storage Read, consultez la section Utiliser l'API BigQuery Storage Read pour lire les données des tables dans la documentation de Google Cloud.

La sélection d'un sous-ensemble de colonnes accélère considérablement l'exécution des requêtes et réduit le nombre de données analysées. Le connecteur est sujet à des échecs de requête lorsque la simultanéité augmente, et est généralement un connecteur lent.

Le connecteur Athena Google BigQuery effectue une poussée vers le bas des prédicats pour réduire les données analysées par la requête. Les clauses LIMIT, les clauses ORDER BY, les prédicats simples et les expressions complexes sont poussés vers le connecteur afin de réduire la quantité de données analysées et le délai d'exécution des requêtes.

Clauses LIMIT

Une instruction LIMIT N réduit les données analysées par la requête. Grâce à la poussée vers le bas LIMIT N, le connecteur renvoie uniquement des lignes N à Athena.

Requêtes Top N

Une requête Top N spécifie le classement du jeu de résultats et la limite du nombre de lignes renvoyées. Vous pouvez utiliser ce type de requête pour déterminer les valeurs Top N maximales ou Top N minimales pour vos jeux de données. Grâce à la poussée vers le bas Top N, le connecteur renvoie uniquement des lignes N classées à Athena.

Prédicats

Un prédicat est une expression contenue dans la clause WHERE d'une requête SQL qui prend une valeur booléenne et filtre les lignes en fonction de plusieurs conditions. Le connecteur Athena Google BigQuery peut combiner ces expressions et les pousser directement vers Google BigQuery pour améliorer la fonctionnalité et réduire la quantité de données analysées.

Les opérateurs du connecteur Athena Google BigQuery suivants prennent en charge la poussée vers le bas de prédicats :

  • Booléen : AND, OR, NOT

  • Égalité : EQUAL, NOT_EQUAL, LESS_THAN, LESS_THAN_OR_EQUAL, GREATER_THAN, GREATER_THAN_OR_EQUAL, IS_DISTINCT_FROM, NULL_IF, IS_NULL

  • Arithmétique : ADD, SUBTRACT, MULTIPLY, DIVIDE, MODULUS, NEGATE

  • Autres : LIKE_PATTERN, IN

Exemple de poussée combinée vers le bas

Pour améliorer les capacités de requête, combinez les types de poussée vers le bas, comme dans l'exemple suivant :

SELECT * 
FROM my_table 
WHERE col_a > 10 
    AND ((col_a + col_b) > (col_c % col_d)) 
    AND (col_e IN ('val1', 'val2', 'val3') OR col_f LIKE '%pattern%') 
ORDER BY col_a DESC 
LIMIT 10;

Requêtes de transmission

Le connecteur Google BigQuery prend en charge les requêtes de transmission. Les requêtes de transmission utilisent une fonction de table pour transmettre votre requête complète à la source de données à des fins d’exécution.

Pour utiliser les requêtes de transmission avec Google BigQuery, vous pouvez utiliser la syntaxe suivante :

SELECT * FROM TABLE(
        system.query(
            query => 'query string'
        ))

L’exemple de requête suivant transmet une requête à une source de données dans Google BigQuery. La requête sélectionne toutes les colonnes dans la table customer, en limitant les résultats à 10.

SELECT * FROM TABLE(
        system.query(
            query => 'SELECT * FROM customer LIMIT 10'
        ))

Informations de licence

Le projet de connecteur Google BigQuery Amazon Athena est concédé sous licence dans le cadre de la licence Apache-2.0.

En utilisant ce connecteur, vous reconnaissez l’inclusion de composants tiers, dont la liste se trouve dans le fichier pom.xml pour ce connecteur, et vous acceptez les conditions des licences tierces respectives fournis dans le fichier LICENSE.txt sur GitHub.com.

Ressources supplémentaires

Pour plus d'informations sur ce connecteur, consultez le site correspondant sur GitHub.com.