Automatische Inventarisierung von AWS Ressourcen für mehrere Konten und Regionen - AWS Prescriptive Guidance
ZusammenfassungVoraussetzungen und EinschränkungenArchitekturToolsBest PracticesEpenFehlerbehebungZugehörige Ressourcen

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Automatische Inventarisierung von AWS Ressourcen für mehrere Konten und Regionen

Matej Macek, Amazon Web Services

Zusammenfassung

Dieses Muster beschreibt einen automatisierten Ansatz zur Verwaltung eines umfassenden AWS Ressourcenbestands für mehrere Konten und. AWS-Regionen Es soll Infrastruktur- und Sicherheitsingenieuren dabei helfen, ihre Ressourcenmanagementpraktiken zu verbessern. Es dient AWS Config zur Nachverfolgung von Ressourcenänderungen, Amazon Athena für Abfragen und Amazon Quick Sight für interaktive Dashboards. Sie implementieren diese Lösung, indem Sie einen Stack bereitstellen. AWS CloudFormation

Diese Lösung ähnelt der in Visualisieren von AWS Config Daten mit Amazon Athena und Amazon Quick Sight (AWS Blogbeitrag) vorgestellten Lösung. Dieses Muster erweitert diese Lösung, um die folgenden allgemeinen Anforderungen zu erfüllen und die folgenden Hauptvorteile zu bieten:

  • Compliance-orientiert — Dieser Ansatz kann Ihnen helfen, regulatorische Anforderungen wie PCI DSS, NIST SP 800-53, ISO/IEC 27001, HIPAA, GDPR und andere zu erfüllen, die genaue Inventarisierungen von Anlagen vorschreiben.

  • Anpassungsframework — Es bietet eine Grundlage für die Erstellung von Quick Sight-Dashboards für verschiedene AWS Ressourcen, sodass Sie die Lösung an Ihre spezifischen Anforderungen anpassen können.

  • Benutzerorientierte Verbesserungen — Dieser Ansatz berücksichtigt Feedback aus realen Anwendungsfällen und geht auf Anfragen nach einer umfassenderen Lösung ein.

Infrastruktur-, Sicherheits- und Finanzteams stehen in dynamischen Umgebungen mit mehreren Konten oder Regionen häufig vor Herausforderungen in Bezug auf Transparenz und Zusammenarbeit. Diese Lösung wurde entwickelt, um diesen Herausforderungen zu begegnen und den Zeit- und Arbeitsaufwand für die Erstellung und Pflege eines Ressourceninventars erheblich zu reduzieren. Das Ergebnis ist eine zentrale Ansicht der Ressourcen, die Ihnen hilft, Entscheidungen zur Ressourcenzuweisung zu treffen, Risiken zu identifizieren und zu mindern, Kosten zu optimieren und die allgemeine Transparenz und Zusammenarbeit zu verbessern. Dieser Ansatz schließt die Lücke zwischen konzeptionellen Lösungen und realen Implementierungsanforderungen für Sicherheits-, Compliance- und Betriebszwecke.

Voraussetzungen und Einschränkungen

Voraussetzungen

  • Folgendes ist aktiv AWS-Konten:

    • Verwaltungskonto — Ein zentrales Konto für die Rechnungsstellung, die Erstellung von Konten und die Steuerung des Zugriffs im gesamten Unternehmen

    • Auditkonto — Ein zentraler Knotenpunkt für Sicherheitsüberwachung, Konformitätsprüfungen und Drift-Benachrichtigungen

    • Protokollarchivkonto — Ein zentrales Konto zum Speichern und Analysieren der gesammelten Daten

  • Im Auditkonto ein AWS Config Aggregator, der Konfigurationsdaten aus Ihren Zielkonten und Regionen sammelt und aggregiert

  • Richten Sie im Protokollarchivkonto Folgendes ein:

  • AWS Command Line Interface (AWS CLI), installiert und konfiguriert

  • Berechtigungen zur Bereitstellung eines CloudFormation Stacks, der die folgenden Ressourcen bereitstellt:

    • Eine AWS Lambda Funktion

    • Eine Amazon S3 S3-Benachrichtigungskonfiguration

    • Athena-Datenbank, Tabellen und Ansichten

    • Quick Sight-Datensätze und Datenquellen

  • Berechtigungen zum Ausführen von Automatisierungen in AWS Systems Manager

  • Berechtigungen für den Zugriff auf Quick Suite

Einschränkungen

  • Die Lösung stützt sich auf AWS Config. AWS Config In der Regel werden Konfigurationsänderungen an Ihren Ressourcen unmittelbar nach dem Erkennen einer Änderung oder in der von Ihnen angegebenen Häufigkeit aufgezeichnet. Dies erfolgt jedoch nach bestem Wissen und kann manchmal länger dauern.

  • Diese Lösung verfolgt nur Ressourcentypen, die AWS Config unterstützt werden.

  • Die Lösung verfolgt nicht den Ressourcenbestand anderer Cloud-Anbieter oder lokaler Umgebungen.

  • Einige AWS-Services sind nicht in allen AWS-Regionen verfügbar. Informationen zur regionalen Verfügbarkeit finden Sie auf der Seite Dienstendpunkte und Kontingente in der AWS Dokumentation. Wählen Sie dort den Link für den Dienst.

Architektur

Das folgende Diagramm zeigt einen optimierten Prozess zum Sammeln, Organisieren, Analysieren und Visualisieren von Konfigurations- und Compliance-Daten für mehrere Konten in einer Organisation. AWS

Erfassung und Visualisierung von Konfigurations- und Compliance-Daten innerhalb einer Organisation.

Das Diagramm zeigt den folgenden Workflow:

  1. In regelmäßigen Abständen sammelt der AWS Config Aggregator Konfigurations- und Compliance-Daten zu den Ressourcen in den Zielkonten und Regionen und übermittelt die Daten dann an den Amazon S3 S3-Bucket im Protokollarchivkonto.

  2. Das Hinzufügen neuer AWS Config Daten zum Amazon S3 S3-Bucket ruft eine AWS Lambda Funktion auf.

  3. Die Lambda-Funktion partitioniert die Daten, indem Schlüssel mit Werten konfiguriert werden, die der Region und dem Datum jeder Snapshot-Datei entsprechen. Dies hilft dabei, die Konfigurations- und Compliance-Daten AWS Glue effizient abzufragen und zu verarbeiten.

  4. Amazon Athena verwendet ein AWS Glue Schema, um SQL-Abfragen für die im Amazon S3 S3-Bucket gespeicherten Daten auszuführen. Es verwendet die Schema-Metadaten von AWS Glue , um die Struktur der Daten zu verstehen.

  5. Ansichten in Athena definieren und extrahieren die Zieldatensätze.

  6. Dashboards in Quick Sight helfen Ihnen, die Datensätze zu visualisieren und zu analysieren.

Tools

AWS-Services

  • Amazon Athena ist ein interaktiver Abfrageservice, mit dem Sie Daten mithilfe von Standard-SQL direkt in Amazon S3 analysieren können.

  • AWS CloudFormationhilft Ihnen dabei, AWS Ressourcen einzurichten, sie schnell und konsistent bereitzustellen und sie während ihres gesamten Lebenszyklus über AWS-Konten und AWS-Regionen zu verwalten.

  • AWS Configbietet einen detaillierten Überblick über die Ressourcen in Ihrem System AWS-Konto und darüber, wie sie konfiguriert sind. Es hilft Ihnen zu erkennen, wie Ressourcen miteinander zusammenhängen und wie sich ihre Konfigurationen im Laufe der Zeit geändert haben. Ein AWS Config Aggregator sammelt AWS Config Konfigurations- und Compliance-Daten aus mehreren AWS-Konten Regionen.

  • AWS Glueist ein vollständig verwalteter Dienst zum Extrahieren, Transformieren und Laden (ETL). Er hilft Ihnen dabei, Daten zuverlässig zu kategorisieren, zu bereinigen, anzureichern und zwischen Datenspeichern und Datenströmen zu verschieben. Dieses Muster verwendet einen AWS Glue Datenkatalog und eine Schemaregistrierung.

  • AWS Lambda ist ein Datenverarbeitungsservice, mit dem Sie Code ausführen können, ohne dass Sie Server bereitstellen oder verwalten müssen. Es führt Ihren Code nur bei Bedarf aus und skaliert automatisch, sodass Sie nur für die tatsächlich genutzte Rechenzeit zahlen.

  • AWS Organizationsist ein Kontoverwaltungsservice, mit dem Sie mehrere Konten zu einer Organisation AWS-Konten zusammenfassen können, die Sie erstellen und zentral verwalten.

  • Amazon Quick Sight ist ein Business Intelligence (BI) -Service, mit dem Sie Rohdaten mithilfe interaktiver Visualisierungen, Dashboards und Berichte in aussagekräftige Erkenntnisse umwandeln können. Quick Sight ist eine Kernkomponente von Amazon Quick Suite.

  • Amazon Simple Storage Service (Amazon S3) ist ein cloudbasierter Objektspeicherservice, der Sie beim Speichern, Schützen und Abrufen beliebiger Datenmengen unterstützt.

  • AWS Systems Managerhilft Ihnen bei der Verwaltung Ihrer Anwendungen und Infrastruktur, die in der ausgeführt AWS Cloud werden. Es vereinfacht das Anwendungs- und Ressourcenmanagement, verkürzt die Zeit für die Erkennung und Lösung betrieblicher Probleme und hilft Ihnen, Ihre AWS Ressourcen sicher und in großem Umfang zu verwalten.AWS Systems Manager Die Automatisierung vereinfacht häufig auftretende Wartungs-, Bereitstellungs- und Problembehebungsaufgaben für viele. AWS-Services

Code-Repository

Die AWS CloudFormation Vorlage für dieses Muster ist im AWS Config GitHub Visualisierungs-Repository verfügbar. Diese CloudFormation Vorlage stellt ein AWS Systems Manager Automatisierungs-Runbook bereit, das AWS Config für die Verwendung mit Amazon Athena eingerichtet ist. Diese Automatisierung bereitet die AWS Glue Verbindung mit dem angegebenen Amazon S3 S3-Bucket vor, erstellt Ansichten in Amazon Athena und konfiguriert Quick Sight für die Dashboard-Visualisierung.

Best Practices

Epen

AufgabeDescriptionErforderliche Fähigkeiten

Laden Sie die CloudFormation Vorlage herunter.

Laden Sie die Vorlage Config- QuickSight CloudFormation -Visualization-SSM-Automation.yaml herunter.

AWS-Administrator, Cloud-Administrator, DevOps Ingenieur

Ändern Sie die CloudFormation Vorlage.

Führen Sie diesen Schritt nur aus, wenn Sie ihn verwenden AWS Control Towerund AWS Config von verwaltet werden AWS Control Tower. Sie müssen die CloudFormation Vorlage ändern.

  1. Melden Sie sich beim -Verwaltungskonto an.

  2. Öffnen Sie die AWS Organizations -Konsole.

  3. Navigieren Sie zur Seite Einstellungen. Auf dieser Seite werden Details zur Organisation angezeigt, einschließlich der Organisations-ID.

  4. Kopieren Sie die Organisations-ID.

  5. Öffnen Sie in Ihrem bevorzugten Texteditor die Datei Config- QuickSight -Visualization-SSM-Automation.yaml.

  6. Suchen Sie die folgende Zeile:

    return re.match('^AWSLogs/(\d+)/Config/([\w-]+)/(\d+)/(\d+)/(\d+)/ConfigSnapshot/[^\\\]+$', object_key)

  7. Ersetzen Sie diese Zeile durch die folgende, wobei sich die ID <ORGANIZATION_ID> befindet, die Sie zuvor kopiert haben:

    return re.match('^<ORGANIZATION_ID>/AWSLogs/(\d+)/Config/([\w-]+)/(\d+)/(\d+)/(\d+)/ConfigSnapshot/[^\\\]+$', object_key)

  8. Speichern und schließen Sie die Datei Config- QuickSight -Visualization-SSM-Automation.yaml.

DevOps Ingenieur, AWS-Administrator

Erstellen Sie einen CloudFormation Stack.

Folgen Sie den Anweisungen unter Einen Stack von der CloudFormation Konsole aus erstellen. Beachten Sie Folgendes:

  1. Wählen Sie Eine Vorlagendatei hochladen und wählen Sie dann die YAML-Datei aus, die Sie heruntergeladen haben.

  2. Geben Sie unter Stack name (Stack-Name) Config-QuickSight-Visualization-SSM-Automation ein.

  3. Wählen Sie Absenden aus.

AWS-Administrator, Cloud-Administrator, DevOps Ingenieur
AufgabeDescriptionErforderliche Fähigkeiten

Finden Sie Ihren Quick Suite-Benutzernamen.

  1. Öffnen Sie die Quick Suite-Konsole.

  2. Öffnen Sie das Profilmenü.

  3. Notieren Sie sich den Benutzernamen. Sie benötigen diesen Wert später.

AWS-Administrator, Cloud-Administrator, DevOps Ingenieur

Suchen Sie den Namen des Lieferkanals und den Namen des Amazon S3 S3-Buckets.

  1. Geben Sie im AWS CLI den folgenden Befehl ein:

    aws configservice describe-delivery-channels

  2. Notieren Sie sich den Namen des Amazon S3 S3-Buckets und den Namen Ihres AWS Config Lieferkanals. Sie benötigen diese Werte später.

AWS-Administrator, Cloud-Administrator, DevOps Ingenieur

Führen Sie die Automatisierung im Systems Manager aus.

  1. Öffnen Sie die AWS Systems Manager -Konsole.

  2. Wählen Sie im Navigationsbereich die Option Dokumente aus.

  3. Wählen Sie Owned by me (In meinem Besitz) aus.

  4. Wählen Sie Config- QuickSight -Visualization.

  5. Wählen Sie Automatisierung ausführen.

  6. Geben Sie im Abschnitt Eingabeparameter Ihre Werte für die folgenden Parameter ein:

    • ConfigDeliveryChannelName— Geben Sie den Namen Ihres AWS Config Lieferkanals ein. Dieser Parameter muss angegeben werden.

    • ConfigS3BucketLocation— Geben Sie den Namen des Amazon S3 S3-Buckets ein, in dem Sie die AWS Config Konfigurationsdaten speichern. Dieser Parameter muss angegeben werden.

    • QuickSightUserName— Geben Sie einen Benutzernamen ein, der Administratorzugriff auf Quick Suite hat. Dieser Parameter muss angegeben werden.

    • AutomationAssumeRole— Der Amazon-Ressourcenname (ARN) der Rolle AWS Identity and Access Management (IAM), der es Systems Manager Automation ermöglicht, die Aktionen in Ihrem Namen durchzuführen. Dieser Parameter ist optional. Lassen Sie diesen Parameter leer.

    • DeleteConfigVisualization— Wählen Siefalse.

  7. Wählen Sie Ausführen.

AWS-Administrator, Cloud-Administrator, DevOps Ingenieur
AufgabeDescriptionErforderliche Fähigkeiten

Daten aktualisieren.

Um Datensatzaktualisierungen gemäß Ihren spezifischen Anforderungen zu planen, folgen Sie den Anweisungen unter SPICE-Daten aktualisieren.

AWS-Administrator, DevOps Ingenieur, Cloud-Administrator

Erstellen Sie eine -Analyse.

Um in Quick Sight ein Dashboard zu erstellen, mit dem Sie die Ressourcen visualisieren können, folgen Sie den Anweisungen unter Starten einer Analyse in Quick Sight.

Quick Suite-Administrator

Erstellen Sie ein Dashboard.

  1. Wenn Sie mit der Bearbeitung Ihrer Quick Sight-Analyse fertig sind, folgen Sie den Anweisungen unter Dashboards veröffentlichen, um ein Dashboard zu erstellen. Ein Dashboard ist eine Analyse, die Sie mit anderen Quick Suite-Benutzern teilen können.

  2. Folgen Sie den Anweisungen unter Zugriff auf ein Dashboard gewähren, um das Dashboard mit Ihren Quick Suite-Zielbenutzern zu teilen.

Quick Suite-Administrator
AufgabeDescriptionErforderliche Fähigkeiten

Löschen Sie die Ressourcen, die durch die Systems Manager Manager-Automatisierung erstellt wurden.

  1. Öffnen Sie die AWS Systems Manager -Konsole.

  2. Wählen Sie im Navigationsbereich die Option Dokumente aus.

  3. Wählen Sie Owned by me (In meinem Besitz) aus.

  4. Wählen Sie Config- QuickSight -Visualization.

  5. Wählen Sie Automatisierung ausführen.

  6. Geben Sie im Abschnitt Eingabeparameter für den DeleteConfigVisualization Parameter Folgendes eintrue.

  7. Wählen Sie Ausführen.

AWS-Administrator, Cloud-Administrator, DevOps Ingenieur

Löschen Sie den CloudFormation Stack.

Folgen Sie den Anweisungen unter Löschen eines Config-QuickSight-Visualization-SSM-Automation Stacks aus der CloudFormation Konsole, um die Ressourcen im Stack zu löschen.

AWS-Administrator, Cloud-Administrator, DevOps Ingenieur

Fehlerbehebung

ProblemLösung

Amazon Quick Suite versucht, eine Verbindung mit der herzustellen us-east-1 AWS-Region, aber die Erstellung von Ressourcen in dieser Region ist nicht zulässig.

Eine Servicekontrollrichtlinie schränkt Ihr Abonnement für Amazon Quick Suite in dieser Region ein. Geben Sie in der Servicesteuerungsrichtlinie das Ziel AWS-Region manuell an. <REGION_ID>Ersetzen Sie es durch die entsprechende Regionskennung:

https://<REGION_ID>.quicksight.aws.amazon.com/sn/start/dashboards

Im Folgenden wird ein Beispiel gezeigt:

https://eu-central-1.quicksight.aws.amazon.com/sn/start/dashboards

In Amazon Athena wird die folgende Meldung angezeigt:

Before you run your first query, you need to set up a query result location in Amazon S3.

Stellen Sie sicher, dass Sie einen Amazon S3 S3-Bucket vorbereitet haben, in dem Sie die Abfrageergebnisse von Amazon Athena speichern werden. Folgen Sie dann den Anweisungen unter Geben Sie einen Speicherort für Abfrageergebnisse mithilfe der Amazon Athena Athena-Konsole an.

Zugehörige Ressourcen

AWS Dokumentation

AWS Blogbeitrag

Sonstige Ressourcen