Amazon Athena AWS CMDB Konnektor - Amazon Athena
VoraussetzungenParameterDatenbanken und TabellenErforderliche BerechtigungenLeistungLizenzinformationenWeitere Ressourcen

Amazon Athena AWS CMDB Konnektor

Der AWS-CMDB-Konnektor von Amazon Athena ermöglicht es Amazon Athena, mit verschiedenen AWS-Services zu kommunizieren, sodass Sie diese mit SQL abfragen können.

Dieser Connector kann bei Glue-Datenkatalog als Verbundkatalog registriert werden. Er unterstützt in Lake Formation definierte Datenzugriffskontrollen auf Katalog-, Datenbank-, Tabellen-, Spalten-, Zeilen- und Tagebene. Dieser Konnektor verwendet Glue Connections, um die Konfigurationseigenschaften in Glue zu zentralisieren.

Voraussetzungen

Parameter

Verwenden Sie die Parameter in diesem Abschnitt, um den AWS-CMDB-Konnektor zu konfigurieren.

Wir empfehlen, dass Sie einen AWS CMDB-Connector mithilfe eines Glue-Connections-Objekts konfigurieren. Setzen Sie dazu die glue_connection Umgebungsvariable des AWS CMDB-Konnektors Lambda auf den Namen der zu verwendenden Glue-Connection.

Eigenschaften von Glue Connections

Verwenden Sie den folgenden Befehl, um das Schema für ein Glue-Connection-Objekt zu erhalten. Dieses Schema enthält alle Parameter, mit denen Sie Ihre Verbindung steuern können.

aws glue describe-connection-type --connection-type CMDB

Lambda-Umgebungseigenschaften

glue_connection – Gibt den Namen der Glue-Connection an, die dem Verbund-Connector zugeordnet ist.

Anmerkung

  • Alle Konnektoren, die Glue Connections verwenden, müssen AWS Secrets Manager zum Speichern von Anmeldeinformationen verwenden.

  • Der mit Glue-Connection erstellte AWS CMDB-Connector unterstützt die Verwendung eines Multiplexing-Handlers nicht.

  • Der mit Glue-Connection erstellte AWS CMDB-Connector unterstützt nur ConnectionSchemaVersion 2.

Anmerkung

Athena-Datenquellenkonnektoren, die am 3. Dezember 2024 und später erstellt wurden, verwenden AWS Glue-Verbindungen.

Die unten aufgeführten Parameternamen und Definitionen beziehen sich auf Athena-Datenquellenkonnektoren, die ohne eine zugehörige Glue-Connection erstellt wurden. Verwenden Sie die folgenden Parameter nur, wenn Sie eine frühere Version eines Athena-Datenquellenkonnektors manuell bereitstellen oder wenn die glue_connection-Umgebungseigenschaft nicht angegeben ist.

Lambda-Umgebungseigenschaften

  • spill_bucket – Gibt den Amazon S3-Bucket für Daten an, die die Lambda-Funktionsgrenzen überschreiten.

  • spill_prefix – (Optional) Ist standardmäßig ein Unterordner im angegebenen spill_bucket genannt athena-federation-spill. Wir empfehlen Ihnen, einen Amazon-S3-Speicher-Lebenszyklus an dieser Stelle zu konfigurieren, um die Überlaufe zu löschen, die älter als eine festgelegte Anzahl von Tagen oder Stunden sind.

  • spill_put_request_headers – (Optional) Eine JSON-codierte Zuordnung von Anforderungsheadern und Werten für die Amazon-S3-putObject-Anforderung, die für den Überlauf verwendet wird (z. B. {"x-amz-server-side-encryption" : "AES256"}). Andere mögliche Header finden Sie unter PutObject in der API-Referenz zu Amazon Simple Storage Service.

  • kms_key_id – (Optional) Standardmäßig werden alle Daten, die an Amazon S3 gesendet werden, mit dem AES-GCM-authentifizierten Verschlüsselungsmodus und einem zufällig generierten Schlüssel verschlüsselt. Damit Ihre Lambda-Funktion stärkere Verschlüsselungsschlüssel verwendet, die von KMS generiert werden, wiea7e63k4b-8loc-40db-a2a1-4d0en2cd8331, können Sie eine ID einer Verschlüsselung angeben.

  • disable_spill_encryption – (Optional) Bei Einstellung auf True, wird die Spill-Verschlüsselung deaktiviert. Die Standardeinstellung ist False, sodass Daten, die an S3 übertrragen werden, mit AES-GCM verschlüsselt werden - entweder mit einem zufällig generierten Schlüssel oder mit KMS zum Generieren von Schlüsseln. Das Deaktivieren der Überlauf-Verschlüsselung kann die Leistung verbessern, insbesondere wenn Ihr Überlauf-Standort eine serverseitige Verschlüsselung verwendet.

  • default_ec2_image_owner – (Optional) Wenn festgelegt, steuert es den standardmäßigen Amazon EC2-Image-Eigentümer, der Amazon Machine Images (AMI) filtert. Wenn Sie diesen Wert nicht festlegen und Ihre Abfrage für die EC2-Image-Tabelle keinen Filter für Besitzer enthält, enthalten Ihre Ergebnisse alle öffentlichen Images.

Datenbanken und Tabellen

Die Athena-AWS-CMDB-Konnektor stellt die folgenden Datenbanken und Tabellen für die Abfrage Ihres AWS-Bestands der Ressourcen bereit. Um weitere Informationen zu den in den einzelnen Tabellen verfügbaren Spalten zu erhalten, führen Sie eine DESCRIBE database.table-Anweisung mithilfe der Athena-Konsole oder -API aus.

  • ec2 – Diese Datenbank enthält Amazon EC2-bezogene Ressourcen, einschließlich der Folgenden.

  • ebs_volumes – Enthält Details Ihrer Amazon EBS-Volumes.

  • ec2_instances – Enthält Details zu Ihren EC2-Instances.

  • ec2_images – Enthält Details zu Ihren EC2-Instance-Images.

  • routing_tables – Enthält Details zu Ihren VPC-Routing-Tabellen.

  • security_groups – Enthält Details zu Ihren Sicherheitsgruppen.

  • subnets – Enthält Details zu Ihren VPC-Subnetzen.

  • vpcs – Enthält Details zu Ihren VPCs.

  • emr – Diese Datenbank enthält Amazon EMR-bezogene Ressourcen, einschließlich der Folgenden.

  • emr_cluster – Enthält Details zu Ihren EMR-Clustern.

  • rds – Diese Datenbank enthält Amazon RDS-bezogene Ressourcen, einschließlich der Folgenden.

  • rds_instances – Enthält Details zu Ihren RDS-Instances.

  • S3 – Diese Datenbank enthält RDS-bezogene Ressourcen, einschließlich der Folgenden.

  • buckets – Enthält Details Ihrer Amazon-S3-Buckets.

  • objects – Enthält Details zu Ihren Amazon-S3-Objekten, ausgenommen deren Inhalt.

Erforderliche Berechtigungen

Ausführliche Informationen zu den für diesen Konnektor erforderlichen IAM-Richtlinien finden Sie im Policies-Abschnitt der athena-aws-cmdb.yaml-Datei. In der folgenden Liste sind die erforderlichen Berechtigungen zusammengefasst.

  • Amazon-S3-Schreibzugriff – Der Konnektor benötigt Schreibzugriff auf einen Speicherort in Amazon S3, um Ergebnisse aus großen Abfragen zu übertragen.

  • Athena GetQueryExecution – Der Konnektor verwendet diese Berechtigung, um ein Fast-Fail durchzuführen, wenn die vorgeschaltete Athena-Abfrage beendet wurde.

  • S3 List – Der Konnektor verwendet diese Berechtigung, um Ihre Amazon-S3-Buckets und -Objekte aufzulisten.

  • EC2 Describe – Der Konnektor verwendet diese Berechtigung, um Ressourcen wie Ihre Amazon EC2-Instances, Sicherheitsgruppen, VPCs und Amazon EBS-Volumes zu beschreiben.

  • EMR Describe / List – Der Konnektor verwendet diese Berechtigung, um Ihre EMR-Cluster zu beschreiben.

  • RDS Describe – Der Konnektor verwendet diese Berechtigung, um Ihre RDS-Instanzen zu beschreiben.

Leistung

Aktuell unterstützt der AWS-CMDB-Konnektor von Athena keine parallel Scans. Der Prädikat-Pushdown wird innerhalb der Lambda-Funktion ausgeführt. Wenn möglich, werden Teilprädikate an die abgefragten Dienste übertragen. Beispielsweise ruft eine Abfrage nach den Details einer bestimmten Amazon EC2-Instance die EC2-API mit der spezifischen Instance-ID auf, um einen gezielten Beschreibungsvorgang auszuführen.

Lizenzinformationen

Die AWS-CMDB-Konnektor-Projekt von Amazon Athena ist lizenziert unter der Apache-2.0-Lizenz.

Weitere Ressourcen

Weitere Informationen zu diesem Konnektor finden Sie unter der entsprechenden Seite auf GitHub.com.