Inventario automático de AWS los recursos en varias cuentas y regiones - Recomendaciones de AWS
ResumenRequisitos previos y limitacionesArquitecturaTools (Herramientas)Prácticas recomendadasEpicsResolución de problemasRecursos relacionados

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Inventario automático de AWS los recursos en varias cuentas y regiones

Matej Macek, Amazon Web Services

Resumen

Este patrón describe un enfoque automatizado para mantener un inventario integral de AWS recursos en varias cuentas y Regiones de AWS. Está diseñado para ayudar a los ingenieros de infraestructura y seguridad a mejorar sus prácticas de administración de recursos. Se utiliza AWS Config para realizar un seguimiento de los cambios en los recursos, Amazon Athena para realizar consultas y Amazon Quick Sight para paneles interactivos. Para implementar esta solución, debe implementar una pila. AWS CloudFormation

Esta solución es similar a la presentada en Visualización de AWS Config datos con Amazon Athena y Amazon Quick Sight AWS (entrada del blog). Este patrón amplía esa solución para abordar los siguientes requisitos comunes y ofrecer los siguientes beneficios clave:

  • Fundamentado en el cumplimiento: este enfoque puede ayudarlo a cumplir requisitos normativos como PCI DSS, NIST SP 800-53, ISO/IEC 27001, HIPAA y GDPR, entre otros, que exigen inventarios precisos de recursos.

  • Marco de personalización: proporciona una base para crear paneles de Quick Sight para varios AWS recursos, de modo que pueda personalizar la solución según sus requisitos específicos.

  • Mejoras impulsadas por los usuarios: este enfoque incorpora comentarios de casos de uso reales y responde a las solicitudes de una solución más completa.

Los equipos de infraestructura, seguridad y finanzas suelen enfrentarse a desafíos de visibilidad y colaboración en entornos dinámicos que cuentan con varias cuentas o regiones. Esta solución está diseñada para abordar esos desafíos y reducir significativamente el tiempo y el esfuerzo necesarios para crear y mantener un inventario de recursos. El resultado es una visión centralizada de los recursos que lo ayuda a mejorar las decisiones de asignación de recursos, identificar y mitigar los riesgos, optimizar los costos y mejorar la visibilidad y la colaboración en general. Este enfoque cierra la brecha entre las soluciones conceptuales y las necesidades de implementación reales para fines operativos, de seguridad y de cumplimiento.

Requisitos previos y limitaciones

Requisitos previos 

  • La siguiente Cuentas de AWS activa:

    • Cuenta de administración: cuenta centralizada para facturar, crear cuentas y controlar el acceso en toda la organización

    • Cuenta de auditoría: centro unificado para la supervisión de la seguridad, controles de cumplimiento y notificaciones de desviaciones

    • Cuenta de archivo de registros: cuenta centralizada para almacenar y analizar los datos recopilados

  • En la cuenta de auditoría, un AWS Config agregador que recopila y agrega datos de configuración de las cuentas y regiones de destino

  • En la cuenta de archivo de registros, configure lo siguiente:

    • Un depósito de Amazon Simple Storage Service (Amazon S3) en el que se almacenan los datos del agregador AWS Config

    • Una suscripción a Amazon Quick Suite

    • Una conexión autorizada entre Quick Sight y Amazon Athena

    • Permisos para acceder al bucket de Amazon S3 mediante una consulta de Athena

  • AWS Command Line Interface (AWS CLI), instalado y configurado

  • Permisos para implementar una CloudFormation pila que aprovisione los siguientes recursos:

    • Una AWS Lambda función

    • Una configuración de notificaciones de Amazon S3

    • Base de datos, tablas y vistas de Athena

    • Conjuntos de datos y fuentes de datos de Quick Sight

  • Permisos para ejecutar automatizaciones en AWS Systems Manager

  • Permisos para acceder a Quick Suite

Limitaciones

  • La solución se basa en. AWS Config AWS Config por lo general, registra los cambios de configuración de los recursos inmediatamente después de que se detecta un cambio o con la frecuencia que usted especifique. Aunque el sistema hace todo lo posible porque sea así, a veces puede tardar más tiempo.

  • Esta solución solo rastrea los tipos de recursos AWS Config compatibles.

  • La solución no realiza un seguimiento del inventario de recursos de otros proveedores de nube o en entornos en las instalaciones.

  • Algunos Servicios de AWS no están disponibles en todos Regiones de AWS. Para conocer la disponibilidad regional, consulta la página de límites y cuotas del servicio en la AWS documentación y elige el enlace correspondiente al servicio.

Arquitectura

El siguiente diagrama muestra un proceso simplificado para recopilar, organizar, analizar y visualizar los datos de configuración y conformidad de varias cuentas de una organización. AWS

Recopilación y visualización de los datos de configuración y cumplimiento en toda la organización.

En el diagrama, se muestra el siguiente flujo de trabajo:

  1. De forma periódica, el AWS Config agregador recopila datos de configuración y conformidad sobre los recursos de las cuentas y regiones de destino y, a continuación, entrega los datos al depósito de Amazon S3 de la cuenta de archivo de registros.

  2. Al añadir nuevos AWS Config datos al bucket de Amazon S3, se invoca una AWS Lambda función.

  3. La función de Lambda divide los datos configurando claves con valores que corresponden a la región y la fecha de cada archivo de la instantánea. Esto ayuda a consultar y procesar de AWS Glue manera eficiente los datos de configuración y conformidad.

  4. Amazon Athena utiliza un AWS Glue esquema para ejecutar consultas SQL en los datos almacenados en el bucket de Amazon S3. Utiliza los metadatos del esquema AWS Glue para comprender la estructura de los datos.

  5. Las vistas de Athena definen y extraen los conjuntos de datos de destino.

  6. Los paneles de Quick Sight le ayudan a visualizar y analizar los conjuntos de datos.

Tools (Herramientas)

Servicios de AWS

  • Amazon Athena es un servicio de consultas interactivo que facilita el análisis de datos en Amazon S3 con SQL estándar.

  • AWS CloudFormationle ayuda a configurar AWS los recursos, aprovisionarlos de forma rápida y coherente y gestionarlos a lo largo de su ciclo de vida en Cuentas de AWS todo el mundo. Regiones de AWS

  • AWS Configproporciona una vista detallada de los recursos que tiene Cuenta de AWS y de cómo están configurados. Le ayuda a identificar cómo se relacionan los recursos entre sí y cómo han cambiado sus configuraciones a lo largo del tiempo. Un AWS Config agregador recopila datos AWS Config de configuración y conformidad de varias Cuentas de AWS regiones.

  • AWS Glue es un servicio de extracción, transformación y carga (ETL) completamente administrado. Ayuda a clasificar, limpiar, enriquecer y mover datos de forma fiable entre almacenes de datos y flujos de datos. Este patrón utiliza un catálogo de AWS Glue datos y un registro de esquemas.

  • AWS Lambda es un servicio de computación que ayuda a ejecutar código sin necesidad de aprovisionar ni administrar servidores. Ejecuta el código solo cuando es necesario y amplía la capacidad de manera automática, por lo que solo pagará por el tiempo de procesamiento que utilice.

  • AWS Organizationses un servicio de administración de cuentas que le ayuda a consolidar múltiples cuentas Cuentas de AWS en una organización que puede crear y administrar de forma centralizada.

  • Amazon Quick Sight es un servicio de inteligencia empresarial (BI) que le ayuda a transformar los datos sin procesar en información significativa mediante visualizaciones, paneles e informes interactivos. Quick Sight es un componente fundamental de Amazon Quick Suite.

  • Amazon Simple Storage Service (Amazon S3) es un servicio de almacenamiento de objetos basado en la nube que lo ayuda a almacenar, proteger y recuperar cualquier cantidad de datos.

  • AWS Systems Manager lo ayuda a administrar las aplicaciones y la infraestructura que se ejecutan en la Nube de AWS. Simplifica la administración de aplicaciones y recursos, reduce el tiempo necesario para detectar y resolver problemas operativos y le ayuda a administrar sus AWS recursos de forma segura y a escala. AWS Systems Manager La automatización simplifica las tareas habituales de mantenimiento, implementación y corrección para muchas personas. Servicios de AWS

Repositorio de código

La AWS CloudFormation plantilla para este patrón está disponible en el repositorio de AWS Config visualización GitHub . Esta CloudFormation plantilla implementa un manual de AWS Systems Manager automatización que se configura AWS Config para su uso con Amazon Athena. Esta automatización se prepara AWS Glue para conectarse con el bucket de Amazon S3 designado, crea vistas en Amazon Athena y configura Quick Sight para la visualización del panel.

Prácticas recomendadas

Epics

TareaDescripciónHabilidades requeridas

Descarga la CloudFormation plantilla.

Descarga la plantilla Config- QuickSight CloudFormation -Visualization-SSM-Automation.yaml.

Administrador de AWS, administrador de la nube, DevOps ingeniero

Modifique la CloudFormation plantilla.

Complete este paso solo si está utilizando AWS Control Towery AWS Config está gestionado por AWS Control Tower. Debe modificar la CloudFormation plantilla.

  1. Inicie sesión en la cuenta de administración de .

  2. Abra la consola de AWS Organizations.

  3. Vaya a la página Configuración. En esta página se muestran detalles sobre la organización, incluido el ID de la organización.

  4. Copie el ID de organización.

  5. En el editor de texto que prefieras, abre el archivo Config- QuickSight -Visualization-SSM-Automation.yaml.

  6. Busque la siguiente línea:

    return re.match('^AWSLogs/(\d+)/Config/([\w-]+)/(\d+)/(\d+)/(\d+)/ConfigSnapshot/[^\\\]+$', object_key)

  7. Sustituya esta línea por la siguiente, donde <ORGANIZATION_ID> es el ID que copió anteriormente:

    return re.match('^<ORGANIZATION_ID>/AWSLogs/(\d+)/Config/([\w-]+)/(\d+)/(\d+)/(\d+)/ConfigSnapshot/[^\\\]+$', object_key)

  8. Guarda y cierra el archivo Config- QuickSight -Visualization-SSM-Automation.yaml.

DevOps ingeniero, administrador de AWS

Crea una CloudFormation pila.

Sigue las instrucciones de Cómo crear una pila desde la CloudFormation consola. Tenga en cuenta lo siguiente:

  1. Elija Cargar un archivo de plantilla y seleccione el archivo YAML que ha descargado.

  2. En Nombre de pila, escriba Config-QuickSight-Visualization-SSM-Automation.

  3. Elija Enviar.

Administrador de AWS, administrador de la nube, DevOps ingeniero
TareaDescripciónHabilidades requeridas

Busque su nombre de usuario de Quick Suite.

  1. Abra la consola de Quick Suite.

  2. Abra el menú del perfil.

  3. Anote el nombre de usuario. Necesitará este valor más tarde.

Administrador de AWS, administrador de la nube, DevOps ingeniero

Busque el nombre del canal de entrega y el nombre del bucket de Amazon S3.

  1. En el AWS CLI, introduzca el siguiente comando:

    aws configservice describe-delivery-channels

  2. Anote el nombre del bucket de Amazon S3 y el nombre de su canal de entrega de AWS Config. Necesitará estos valores más adelante.

Administrador de AWS, administrador de la nube, DevOps ingeniero

Ejecute la automatización en Systems Manager.

  1. Abra la consola de AWS Systems Manager.

  2. En el panel de navegación, elija Documentos.

  3. Seleccione Owned by me (De mi propiedad).

  4. Elija Config- QuickSight -Visualization.

  5. Elija Ejecutar automatización.

  6. En la sección Parámetros de entrada, proporcione los valores para los parámetros siguientes:

    • ConfigDeliveryChannelName— Introduzca el nombre de su canal de AWS Config entrega. Este parámetro es obligatorio.

    • ConfigS3BucketLocation— Introduzca el nombre del depósito de Amazon S3 en el que almacena los datos AWS Config de configuración. Este parámetro es obligatorio.

    • QuickSightUserName: introduzca un nombre de usuario que tenga acceso administrativo a Quick Suite. Este parámetro es obligatorio.

    • AutomationAssumeRole— El nombre del recurso de Amazon (ARN) del rol AWS Identity and Access Management (IAM) que permite a Systems Manager Automation realizar las acciones en su nombre. Este parámetro es opcional. Deje en blanco este parámetro.

    • DeleteConfigVisualization— Elige. false

  7. Elija Ejecutar.

Administrador de AWS, administrador de la nube, DevOps ingeniero
TareaDescripciónHabilidades requeridas

Actualice los datos.

Para programar las actualizaciones de los conjuntos de datos de acuerdo con sus requisitos específicos, siga las instrucciones de la sección Actualización de datos de SPICE.

Administrador, DevOps ingeniero y administrador de la nube de AWS

Cree un análisis de .

Para crear un panel en Quick Sight que le ayude a visualizar los recursos, siga las instrucciones que se indican en Cómo iniciar un análisis en Quick Sight.

Administrador de Quick Suite

Cree un panel de control.

  1. Cuando termine de modificar el análisis de Quick Sight, siga las instrucciones de Publicación de paneles para crear un panel. Un panel es un análisis que puede compartir con otros usuarios de Quick Suite.

  2. Siga las instrucciones que se indican en Concesión de acceso a un panel para compartirlo con los usuarios de destino de Quick Suite.

Administrador de Quick Suite
TareaDescripciónHabilidades requeridas

Elimine los recursos creados por la automatización de Systems Manager.

  1. Abra la consola de AWS Systems Manager.

  2. En el panel de navegación, elija Documentos.

  3. Seleccione Owned by me (De mi propiedad).

  4. Elija Config- QuickSight -Visualization.

  5. Elija Ejecutar automatización.

  6. En la sección Parámetros de entrada, en el parámetro DeleteConfigVisualization, especifique true.

  7. Elija Ejecutar.

Administrador de AWS, administrador de la nube, DevOps ingeniero

Elimine la CloudFormation pila.

Para eliminar los recursos de la Config-QuickSight-Visualization-SSM-Automation pila, sigue las instrucciones de Eliminar una pila de la CloudFormation consola.

Administrador de AWS, administrador de la nube, DevOps ingeniero

Resolución de problemas

ProblemaSolución

Amazon Quick Suite está intentando conectarse a esa región us-east-1 Región de AWS, pero no está permitida la creación de recursos en esa región.

Una política de control de servicios restringe su suscripción a Amazon Quick Suite en esta región. En la política de control de servicios, especifique el destino manualmente Región de AWS. Sustituya <REGION_ID> por el identificador de región correspondiente:

https://<REGION_ID>.quicksight.aws.amazon.com/sn/start/dashboards

A continuación, se muestra un ejemplo:

https://eu-central-1.quicksight.aws.amazon.com/sn/start/dashboards

En Amazon Athena, aparece el siguiente mensaje:

Before you run your first query, you need to set up a query result location in Amazon S3.

Asegúrese de haber preparado un bucket de Amazon S3 en el que almacenará los resultados de las consultas de Amazon Athena. A continuación, siga las instrucciones de Especificación de una ubicación de resultados de consulta mediante la consola de Athena.

Recursos relacionados

AWS documentación

AWS entrada de blog

Otros recursos