Connecteur CMDB Amazon Athena AWS - Amazon Athena
PrérequisParamètresBases de données et tablesAutorisations nécessairesPerformancesInformations de licenceRessources supplémentaires

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Connecteur CMDB Amazon Athena AWS

Le AWS connecteur Amazon Athena CMDB permet à Athena de communiquer avec différents AWS services afin que vous puissiez les interroger avec SQL.

Ce connecteur peut être enregistré auprès de Glue Data Catalog en tant que catalogue fédéré. Il prend en charge les contrôles d'accès aux données définis dans Lake Formation au niveau du catalogue, de la base de données, de la table, des colonnes, des lignes et des balises. Ce connecteur utilise Glue Connections pour centraliser les propriétés de configuration dans Glue.

Prérequis

Paramètres

Utilisez les paramètres de cette section pour configurer le connecteur AWS CMDB.

Glue connections (recommended)

Nous vous recommandons de configurer un connecteur AWS CMDB à l'aide d'un objet de connexions Glue. Pour ce faire, définissez la variable d'glue_connectionenvironnement du connecteur AWS CMDB Lambda sur le nom de la connexion Glue à utiliser.

Propriétés des connexions à la colle

Utilisez la commande suivante pour obtenir le schéma d'un objet de connexion Glue. Ce schéma contient tous les paramètres que vous pouvez utiliser pour contrôler votre connexion.

aws glue describe-connection-type --connection-type CMDB

Propriétés de l'environnement Lambda

glue_connection — Spécifie le nom de la connexion Glue associée au connecteur fédéré.

Legacy connections
Note

Les connecteurs de source de données Athena créés le 3 décembre 2024 et les versions ultérieures utilisent AWS Glue des connexions.

Les noms et définitions des paramètres répertoriés ci-dessous concernent les connecteurs de source de données Athena créés sans connexion Glue associée. Utilisez les paramètres suivants uniquement lorsque vous déployez manuellement une version antérieure d'un connecteur de source de données Athena ou lorsque la propriété d'glue_connectionenvironnement n'est pas spécifiée.

Propriétés de l'environnement Lambda

  • spill_bucket – Spécifie le compartiment Amazon S3 pour les données qui dépassent les limites des fonctions Lambda.

  • spill_prefix – (Facultatif) Par défaut, il s’agit d’un sous-dossier dans le spill_bucket spécifié appelé athena-federation-spill. Nous vous recommandons de configurer un cycle de vie de stockage Amazon S3 à cet endroit pour supprimer les déversements supérieurs à un nombre de jours ou d’heures prédéterminé.

  • spill_put_request_headers – (Facultatif) Une carte codée au format JSON des en-têtes et des valeurs des demandes pour la demande putObject Amazon S3 utilisée pour le déversement (par exemple, {"x-amz-server-side-encryption" : "AES256"}). Pour les autres en-têtes possibles, consultez le PutObjectmanuel Amazon Simple Storage Service API Reference.

  • kms_key_id – (Facultatif) Par défaut, toutes les données déversées vers Amazon S3 sont chiffrées à l'aide du mode de chiffrement authentifié AES-GCM et d'une clé générée de manière aléatoire. Pour que votre fonction Lambda utilise des clés de chiffrement plus puissantes générées par KMS, comme a7e63k4b-8loc-40db-a2a1-4d0en2cd8331, vous pouvez spécifier l’ID d’une clé KMS.

  • disable_spill_encryption – (Facultatif) Lorsque la valeur est définie sur True, le chiffrement des déversements est désactivé. La valeur par défaut est False afin que les données déversées vers S3 soient chiffrées à l’aide d’AES-GCM, soit à l’aide d’une clé générée de manière aléatoire soit à l’aide de KMS pour générer des clés. La désactivation du chiffrement des déversements peut améliorer les performances, surtout si votre lieu de déversement utilise le chiffrement côté serveur.

  • default_ec2_image_owner — (Facultatif) Lorsque cette option est définie, elle contrôle le propriétaire de l'image Amazon par défaut qui filtre les Amazon Machine EC2 Images (AMI). Si vous ne définissez pas cette valeur et que votre requête par rapport à la table EC2 des images n'inclut pas de filtre pour le propriétaire, vos résultats incluront toutes les images publiques.

Bases de données et tables

Le connecteur Athena AWS CMDB met à disposition les bases de données et tables suivantes pour interroger votre inventaire de ressources. AWS Pour plus d’informations sur les colonnes disponibles dans chaque table, exécutez une instruction DESCRIBE database.tableà l’aide de la console Athena ou de l’API.

  • ec2 — Cette base de données contient des ressources EC2 liées à Amazon, notamment les suivantes.

  • ebs_volumes – Contient les détails de vos volumes Amazon EBS.

  • ec2_instances — Contient les détails de vos EC2 instances.

  • ec2_images — Contient les détails des images de votre EC2 instance.

  • routing_tables – Contient les détails de vos tables de routage VPC.

  • security_groups – Contient les détails de vos groupes de sécurité.

  • sous-réseaux – Contient les détails de vos sous-réseaux VPC.

  • vpcs — Contient les détails de votre. VPCs

  • mr – Cette base de données contient des ressources relatives à Amazon EMR, notamment les suivantes.

  • emr_clusters – Contient les détails de vos clusters EMR.

  • rds – Cette base de données contient des ressources relatives à Amazon RDS, notamment les suivantes.

  • rds_instances – Contient les détails de vos instances RDS.

  • s3 – Cette base de données contient des ressources relatives à RDS, notamment les suivantes.

  • buckets (compartiment)s – Contient les détails de vos compartiments Amazon S3.

  • objects (objets) – Contient les détails de vos objets Amazon S3, à l’exception de leur contenu.

Autorisations nécessaires

Pour plus de détails sur les politiques IAM requises par ce connecteur, consultez la Policies section du athena-aws-cmdbfichier .yaml. La liste suivante résume les autorisations requises.

  • Amazon S3 write access (Accès en écriture Amazon S3) – Le connecteur nécessite un accès en écriture à un emplacement dans Amazon S3 pour déverser les résultats à partir de requêtes volumineuses.

  • Athena GetQueryExecution — Le connecteur utilise cette autorisation pour échouer rapidement lorsque la requête Athena en amont est terminée.

  • S3 List (Liste S3) – Le connecteur utilise cette autorisation pour répertorier vos compartiments et vos objets Amazon S3.

  • EC2 Décrire — Le connecteur utilise cette autorisation pour décrire des ressources telles que vos EC2 instances Amazon, vos groupes de sécurité et vos volumes Amazon EBS. VPCs

  • EMR Descrire/Liste (Description EMR/Liste) – Le connecteur utilise cette autorisation pour décrire vos clusters EMR.

  • RDS Describe (Description RDS) – Le connecteur utilise cette autorisation pour décrire vos instances RDS.

Performances

Actuellement, le connecteur Athena AWS CMDB ne prend pas en charge les scans parallèles. La poussée vers le bas de prédicat est effectuée au sein de la fonction Lambda. Dans la mesure du possible, des prédicats partiels sont transférés aux services interrogés. Par exemple, une requête visant à obtenir les détails d'une EC2 instance Amazon spécifique appelle l' EC2 API avec l'ID d'instance spécifique pour exécuter une opération de description ciblée.

Informations de licence

Le projet de connecteur Amazon Athena AWS CMDB est concédé sous licence Apache-2.0.

Ressources supplémentaires

Pour plus d'informations sur ce connecteur, rendez-vous sur le site correspondant sur GitHub .com.