Connecteur Amazon Athena Metrics CloudWatch - Amazon Athena
PrérequisParamètresBase de données et tablesAutorisations nécessairesPerformancesInformations de licenceRessources supplémentaires

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Connecteur Amazon Athena Metrics CloudWatch

Le connecteur Amazon Athena CloudWatch Metrics permet à Amazon Athena d' CloudWatch interroger les données de métriques avec SQL.

Ce connecteur n'utilise pas Glue Connections pour centraliser les propriétés de configuration dans Glue. La configuration de la connexion s'effectue via Lambda.

Pour plus d'informations sur la publication de métriques de requêtes CloudWatch depuis Athena elle-même, reportez-vous à. Utiliser CloudWatch et EventBridge surveiller les requêtes et contrôler les coûts

Prérequis

Paramètres

Utilisez les paramètres de cette section pour configurer le connecteur CloudWatch Metrics.

Nous vous recommandons de configurer un connecteur CloudWatch Metrics à l'aide d'un objet de connexions Glue. Pour ce faire, définissez la variable d'glue_connectionenvironnement du connecteur CloudWatch Metrics Lambda sur le nom de la connexion Glue à utiliser.

Propriétés des connexions à la colle

Utilisez la commande suivante pour obtenir le schéma d'un objet de connexion Glue. Ce schéma contient tous les paramètres que vous pouvez utiliser pour contrôler votre connexion.

aws glue describe-connection-type --connection-type CLOUDWATCHMETRICS

Propriétés de l'environnement Lambda

  • glue_connection — Spécifie le nom de la connexion Glue associée au connecteur fédéré.

Note

  • Tous les connecteurs qui utilisent des connexions Glue doivent être utilisés AWS Secrets Manager pour stocker les informations d'identification.

  • Le connecteur CloudWatch Metrics créé à l'aide de connexions Glue ne prend pas en charge l'utilisation d'un gestionnaire de multiplexage.

  • Le connecteur CloudWatch Metrics créé à l'aide des connexions Glue n'en prend en charge que ConnectionSchemaVersion 2.

  • spill_bucket – Spécifie le compartiment Amazon S3 pour les données qui dépassent les limites des fonctions Lambda.

  • spill_prefix – (Facultatif) Par défaut, il s’agit d’un sous-dossier dans le spill_bucket spécifié appelé athena-federation-spill. Nous vous recommandons de configurer un cycle de vie de stockage Amazon S3 à cet endroit pour supprimer les déversements supérieurs à un nombre de jours ou d’heures prédéterminé.

  • spill_put_request_headers – (Facultatif) Une carte codée au format JSON des en-têtes et des valeurs des demandes pour la demande putObject Amazon S3 utilisée pour le déversement (par exemple, {"x-amz-server-side-encryption" : "AES256"}). Pour les autres en-têtes possibles, consultez le PutObjectmanuel Amazon Simple Storage Service API Reference.

  • kms_key_id – (Facultatif) Par défaut, toutes les données déversées vers Amazon S3 sont chiffrées à l'aide du mode de chiffrement authentifié AES-GCM et d'une clé générée de manière aléatoire. Pour que votre fonction Lambda utilise des clés de chiffrement plus puissantes générées par KMS, comme a7e63k4b-8loc-40db-a2a1-4d0en2cd8331, vous pouvez spécifier l’ID d’une clé KMS.

  • disable_spill_encryption – (Facultatif) Lorsque la valeur est définie sur True, le chiffrement des déversements est désactivé. La valeur par défaut est False afin que les données déversées vers S3 soient chiffrées à l’aide d’AES-GCM, soit à l’aide d’une clé générée de manière aléatoire soit à l’aide de KMS pour générer des clés. La désactivation du chiffrement des déversements peut améliorer les performances, surtout si votre lieu de déversement utilise le chiffrement côté serveur.

Le connecteur prend également en charge le contrôle de congestion AIMD pour gérer les événements de régulation CloudWatch via la construction du SDK Amazon Athena Query Federation. ThrottlingInvoker Vous pouvez modifier le comportement de limitation par défaut en définissant l’une des variables d’environnement facultatives suivantes :

  • throttle_initial_delay_ms – Le délai d’appel initial appliqué après le premier événement de congestion. La valeur par défaut est de 10 millisecondes.

  • throttle_max_delay_ms – Le délai maximal entre les appels. Vous pouvez obtenir le TPS en le divisant en 1 000 ms. La valeur par défaut est de 1 000 millisecondes.

  • throttle_dimine_factor – Le facteur par lequel Athena réduit le taux d’appels. La valeur par défaut est 0,5.

  • throttle_increase_ms – La vitesse à laquelle Athena réduit le délai d’appel. La valeur par défaut est de 10 millisecondes.

Base de données et tables

Le connecteur Athena CloudWatch Metrics mappe vos espaces de noms, dimensions, métriques et valeurs métriques dans deux tables dans un schéma unique appelé. default

Le tableau des métriques

La table metrics contient les métriques disponibles telles que définies de manière unique par une combinaison d’espace de noms, d’ensemble et de nom. La table metrics contient les colonnes suivantes.

  • namespace (espace de noms) – Un VARCHAR contenant l’espace de noms.

  • metric_name– Un VARCHAR contenant le nom de la métrique.

  • dimensions – Un LIST des objets STRUCT composés de dim_name (VARCHAR) et de dim_value (VARCHAR).

  • statistic (statistique) – Un LIST de statistiques VARCH (par exemple, p90, AVERAGE, ...) disponible pour la métrique.

La table metric_samples

La table metric_samples contient les échantillons de métriques disponibles pour chaque métrique de la table metrics. La table metric_samples contient les colonnes suivantes.

  • namespace (espace de noms) – Un VARCHAR qui contient l’espace de noms.

  • metric_name– Un VARCHAR qui contient le nom de la métrique.

  • dimensions – Un LIST des objets STRUCT composés de dim_name (VARCHAR) et de dim_value (VARCHAR).

  • dim_name– Un champ pratique VARCHAR que vous pouvez utiliser pour filtrer facilement en fonction du nom d’une dimension unique.

  • dim_value– Un champ pratique VARCHAR que vous pouvez utiliser pour filtrer facilement en fonction du nom d’une valeur unique.

  • period (période) – Un champ INT qui représente la « période » de la métrique en secondes (par exemple, une métrique de 60 secondes).

  • timestamp (horodatage) – Un champ BIGINT qui représente l’époque en secondes à laquelle se rapporte l’exemple de métrique.

  • value (valeur) – Un champ FLOAT8 qui contient la valeur de l’exemple.

  • statistic (statistique) – Un VARCHAR qui contient le type statistique de l’exemple (par exemple, AVERAGE ou p90).

Autorisations nécessaires

Pour plus de détails sur les politiques IAM requises par ce connecteur, consultez la Policies section du athena-cloudwatch-metricsfichier .yaml. La liste suivante résume les autorisations requises.

  • Amazon S3 write access (Accès en écriture Amazon S3) – Le connecteur nécessite un accès en écriture à un emplacement dans Amazon S3 pour déverser les résultats à partir de requêtes volumineuses.

  • Athena GetQueryExecution — Le connecteur utilise cette autorisation pour échouer rapidement lorsque la requête Athena en amont est terminée.

  • CloudWatch Métriques ReadOnly — Le connecteur utilise cette autorisation pour interroger les données de vos métriques.

  • CloudWatch Enregistrement des journaux : le connecteur utilise cet accès pour écrire ses journaux de diagnostic.

Performances

Le connecteur Athena CloudWatch Metrics tente d'optimiser les requêtes par rapport aux CloudWatch métriques en parallélisant les analyses des flux de log requis pour votre requête. Pour certains filtres de période, de métrique, d'espace de noms et de dimension, le transfert des prédicats est effectué à la fois dans la fonction Lambda et dans Logs. CloudWatch

Informations de licence

Le projet de connecteur Amazon Athena CloudWatch Metrics est concédé sous licence Apache-2.0.

Ressources supplémentaires

Pour plus d'informations sur ce connecteur, rendez-vous sur le site correspondant sur GitHub .com.