Faça o inventário automático de AWS recursos em várias contas e regiões - Recomendações da AWS
ResumoPré-requisitos e limitaçõesArquiteturaFerramentasPráticas recomendadasÉpicosSolução de problemasRecursos relacionados

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Faça o inventário automático de AWS recursos em várias contas e regiões

Matej Macek, Amazon Web Services

Resumo

Esse padrão descreve uma abordagem automatizada para manter um inventário abrangente de AWS recursos em várias contas e. Regiões da AWS O padrão foi desenvolvido para ajudar engenheiros de infraestrutura e de segurança a aprimorar as práticas de gerenciamento de recursos. Ele usa AWS Config para monitorar alterações de recursos, o Amazon Athena para consultas e o Amazon Quick Sight para painéis interativos. Você implementa essa solução implantando uma AWS CloudFormation pilha.

Essa solução é semelhante à apresentada em Visualização de AWS Config dados usando o Amazon Athena e o Amazon Quick Sight AWS (postagem do blog). Esse padrão amplia a solução mencionada para atender aos seguintes requisitos comuns e fornecer os benefícios principais listados abaixo:

  • Foco em conformidade: essa abordagem pode ajudar você a atender a requisitos regulatórios, como PCI DSS, NIST SP 800-53, ISO/IEC 27001, HIPAA, GDPR e outros requisitos que exigem inventários precisos de ativos.

  • Estrutura de personalização — Ela fornece uma base para a criação de painéis do Quick Sight para vários AWS recursos, para que você possa personalizar a solução de acordo com seus requisitos específicos.

  • Aprimoramentos orientados pelo usuário: essa abordagem incorpora feedback de casos de uso reais e atende a solicitações por uma solução mais abrangente.

As equipes de infraestrutura, segurança e finanças frequentemente enfrentam desafios de visibilidade e de colaboração em ambientes dinâmicos com várias contas ou regiões. Esta solução foi desenvolvida para enfrentar esses desafios e reduzir significativamente o tempo e o esforço necessários para criar e manter um inventário de recursos. Isso resulta em uma visão centralizada dos recursos, auxiliando na melhoria das decisões de alocação de recursos, na identificação e mitigação de riscos, na otimização de custos e no aumento da visibilidade e da colaboração de maneira geral. Essa abordagem reduz a distância entre soluções conceituais e as necessidades reais de implementação, voltadas à segurança, à conformidade e às operações.

Pré-requisitos e limitações

Pré-requisitos

  • As seguintes Contas da AWS devem estar ativas:

    • Conta gerencial: uma conta centralizada para faturamento, criação de contas e controle de acesso em toda a organização

    • Conta de auditoria: um hub centralizado para monitoramento de segurança, verificações de conformidade e notificações de divergências

    • Conta de arquivamento de log: uma conta centralizada para armazenar e analisar os dados coletados

  • Na conta de auditoria, um AWS Config agregador que coleta e agrega dados de configuração de suas contas e regiões de destino

  • Na conta de arquivamento de log, configure o seguinte:

    • Um bucket do Amazon Simple Storage Service (Amazon S3) onde você armazena os dados do agregador AWS Config

    • Uma assinatura do Amazon Quick Suite

    • Uma conexão autorizada entre o Quick Sight e o Amazon Athena

    • As permissões para acessar o bucket do Amazon S3 por meio de uma consulta do Athena

  • AWS Command Line Interface (AWS CLI), instalado e configurado

  • Permissões para implantar uma CloudFormation pilha que provisiona os seguintes recursos:

    • Uma AWS Lambda função

    • Uma configuração de notificação do Amazon S3

    • Banco de dados, tabelas e visualizações do Athena

    • Conjuntos de dados e fontes de dados do Quick Sight

  • Permissões para executar automações em AWS Systems Manager

  • As permissões para acessar o Quick Suite

Limitações

  • A solução depende de. AWS Config AWS Config geralmente registra as alterações de configuração em seus recursos logo após a detecção de uma alteração ou na frequência especificada por você. Entretanto, esse registro é feito em caráter de melhor esforço e, às vezes, pode demorar mais tempo.

  • Essa solução rastreia somente os tipos de recursos AWS Config compatíveis.

  • A solução não rastreia o inventário de recursos em outros provedores de nuvem ou em ambientes on-premises.

  • Alguns Serviços da AWS não estão disponíveis em todos Regiões da AWS. Para saber a disponibilidade da região, consulte a página de endpoints e cotas do serviço na AWS documentação e escolha o link para o serviço.

Arquitetura

O diagrama a seguir mostra um processo simplificado para coletar, organizar, analisar e visualizar dados de configuração e conformidade em várias contas em uma AWS organização.

Coleta e visualização de dados de configuração e de conformidade em toda a organização.

O diagrama mostra o seguinte fluxo de trabalho:

  1. Em um cronograma periódico, o AWS Config agregador coleta dados de configuração e conformidade sobre os recursos nas contas e regiões de destino e, em seguida, entrega os dados ao bucket do Amazon S3 na conta de arquivamento de registros.

  2. Adicionar novos AWS Config dados ao bucket do Amazon S3 invoca uma função. AWS Lambda

  3. A função do Lambda particiona os dados ao configurar chaves com valores que correspondem à região e à data de cada arquivo de snapshot. Isso ajuda a consultar e processar AWS Glue com eficiência os dados de configuração e conformidade.

  4. O Amazon Athena usa um AWS Glue esquema para executar consultas SQL nos dados armazenados no bucket do Amazon S3. Ele utiliza os metadados do esquema AWS Glue para entender a estrutura dos dados.

  5. As visualizações no Athena definem e extraem os conjuntos de dados de destino.

  6. Os painéis no Quick Sight ajudam você a visualizar e analisar os conjuntos de dados.

Ferramentas

Serviços da AWS

  • O Amazon Athena é um serviço de consultas interativas que facilita a análise de dados diretamente no Amazon S3 usando SQL padrão.

  • AWS CloudFormationajuda você a configurar AWS recursos, provisioná-los de forma rápida e consistente e gerenciá-los durante todo o ciclo de vida em Contas da AWS e. Regiões da AWS

  • AWS Configfornece uma visão detalhada dos recursos em seu computador Conta da AWS e de como eles estão configurados. Ajuda a identificar como os recursos estão relacionados entre si e como suas configurações foram alteradas ao longo do tempo. Um AWS Config agregador coleta dados AWS Config de configuração e conformidade de várias regiões Contas da AWS .

  • O AWS Glue é um serviço totalmente gerenciado de extração, transformação e carregamento (ETL). Ele ajuda você a categorizar de forma confiável, limpar, enriquecer e mover dados de forma confiável entre armazenamento de dados e fluxos de dados. Esse padrão usa um registro AWS Gluede catálogo de dados e esquema.

  • O AWS Lambda é um serviço de computação que ajuda a executar código sem exigir provisionamento ou gerenciamento de servidores. Ele executa o código somente quando necessário e dimensiona automaticamente, assim, você paga apenas pelo tempo de computação usado.

  • AWS Organizationsé um serviço de gerenciamento de contas que ajuda você a consolidar várias Contas da AWS em uma organização que você cria e gerencia centralmente.

  • O Amazon Quick Sight é um serviço de inteligência de negócios (BI) que ajuda você a transformar dados brutos em insights significativos por meio de visualizações, painéis e relatórios interativos. O Quick Sight é um componente essencial do Amazon Quick Suite.

  • O Amazon Simple Storage Service (Amazon S3) é um serviço de armazenamento de objetos baseado na nuvem que ajuda você a armazenar, proteger e recuperar qualquer quantidade de dados.

  • O AWS Systems Manager ajuda você a gerenciar suas aplicações e infraestrutura em execução na Nuvem AWS. Ele simplifica o gerenciamento de aplicativos e recursos, reduz o tempo para detectar e resolver problemas operacionais e ajuda você a gerenciar seus AWS recursos com segurança em grande escala. AWS Systems Manager A automação simplifica as tarefas comuns de manutenção, implantação e remediação para muitos. Serviços da AWS

Repositório de código

O AWS CloudFormation modelo para esse padrão está disponível no GitHub repositório de AWS Config visualização. Este CloudFormation modelo implanta um runbook AWS Systems Manager de automação configurado AWS Config para uso com o Amazon Athena. Essa automação se prepara AWS Glue para se conectar ao bucket designado do Amazon S3, cria visualizações no Amazon Athena e configura o Quick Sight para visualização do painel.

Práticas recomendadas

Épicos

TarefaDescriptionHabilidades necessárias

Faça o download do CloudFormation modelo.

Baixe o modelo Config- QuickSight CloudFormation -Visualization-ssm-automation.yaml.

Administrador da AWS, administrador de nuvem, DevOps engenheiro

Modifique o CloudFormation modelo.

Conclua esta etapa somente se você estiver usando AWS Control Towere AWS Config for gerenciado por AWS Control Tower. Você precisa modificar o CloudFormation modelo.

  1. Faça login na conta de gerenciamento do .

  2. Abra o console do AWS Organizations.

  3. Acesse a página Configurações. Nesta página são mostrados os detalhes da organização, incluindo o ID da organização.

  4. Copie o ID da organização.

  5. No editor de texto de sua preferência, abra o arquivo Config- QuickSight -Visualization-ssm-automation.yaml.

  6. Localize a seguinte linha:

    return re.match('^AWSLogs/(\d+)/Config/([\w-]+)/(\d+)/(\d+)/(\d+)/ConfigSnapshot/[^\\\]+$', object_key)

  7. Substitua esta linha pela linha apresentada abaixo, em que <ORGANIZATION_ID> é o ID que você copiou anteriormente:

    return re.match('^<ORGANIZATION_ID>/AWSLogs/(\d+)/Config/([\w-]+)/(\d+)/(\d+)/(\d+)/ConfigSnapshot/[^\\\]+$', object_key)

  8. Salve e feche o arquivo Config- QuickSight -Visualization-ssm-automation.yaml.

DevOps engenheiro, administrador da AWS

Crie uma CloudFormation pilha.

Siga as instruções em Criar uma pilha a partir do CloudFormation console. Observe o seguinte:

  1. Escolha Fazer upload de um arquivo de modelo e, em seguida, selecione o arquivo YAML que você baixou.

  2. Para Stack name (Nome da pilha), insira Config-QuickSight-Visualization-SSM-Automation.

  3. Selecione Enviar.

Administrador da AWS, administrador de nuvem, DevOps engenheiro
TarefaDescriptionHabilidades necessárias

Localize o seu nome de usuário do Quick Suite.

  1. Abra o console do Quick Suite.

  2. Abra o menu de perfil.

  3. Faça uma anotação do nome de usuário. Você precisará desse valor posteriormente.

Administrador da AWS, administrador de nuvem, DevOps engenheiro

Localize o nome do canal de entrega e o nome do bucket do Amazon S3.

  1. No AWS CLI, insira o seguinte comando:

    aws configservice describe-delivery-channels

  2. Faça uma anotação do nome do bucket do Amazon S3 e do nome do canal de entrega do AWS Config. Esses valores serão necessários posteriormente.

Administrador da AWS, administrador de nuvem, DevOps engenheiro

Execute a automação no Systems Manager.

  1. Abra o console do AWS Systems Manager.

  2. No painel de navegação, escolha Documents.

  3. Escolha Owned by me (De minha propriedade).

  4. Escolha Config- -Visualization. QuickSight

  5. Escolha Execute automation.

  6. Na seção Parâmetros de entrada, insira seus valores para os seguintes parâmetros:

    • ConfigDeliveryChannelName— Insira o nome do seu canal AWS Config de entrega. Esse parâmetro é obrigatório.

    • ConfigS3BucketLocation— Insira o nome do bucket do Amazon S3 em que você armazena os dados de AWS Config configuração. Esse parâmetro é obrigatório.

    • QuickSightUserName: insira um nome de usuário que tenha acesso administrativo ao Quick Suite. Esse parâmetro é obrigatório.

    • AutomationAssumeRole— O Amazon Resource Name (ARN) da função AWS Identity and Access Management (IAM) que permite que o Systems Manager Automation execute as ações em seu nome. Esse parâmetro é opcional. Mantenha esse parâmetro em branco.

    • DeleteConfigVisualization— Escolhafalse.

  7. Clique em Executar.

Administrador da AWS, administrador de nuvem, DevOps engenheiro
TarefaDescriptionHabilidades necessárias

Atualize os dados.

Para agendar a atualização de conjuntos de dados de acordo com suas necessidades específicas, siga as instruções apresentadas em Refreshing SPICE data.

Administrador da AWS, DevOps engenheiro, administrador de nuvem

Crie uma análise do .

Para criar um painel no Quick Sight que ajude você a visualizar os recursos, siga as instruções em Iniciando uma análise no Quick Sight.

Administrador do Quick Suite

Crie um dashboard.

  1. Depois de concluir a modificação da análise do Quick Sight, siga as instruções em Publicação de painéis para criar um painel. Um painel consiste em uma análise que você pode compartilhar com outros usuários do Quick Suite.

  2. Siga as instruções apresentadas em Granting access to a dashboard para compartilhar o painel com os usuários de destino do Quick Suite.

Administrador do Quick Suite
TarefaDescriptionHabilidades necessárias

Exclua os recursos criados pela automação do Systems Manager.

  1. Abra o console do AWS Systems Manager.

  2. No painel de navegação, escolha Documents.

  3. Escolha Owned by me (De minha propriedade).

  4. Escolha Config- -Visualization. QuickSight

  5. Escolha Execute automation.

  6. Na seção Parâmetros de entrada, para o parâmetro DeleteConfigVisualization, insira true.

  7. Clique em Executar.

Administrador da AWS, administrador de nuvem, DevOps engenheiro

Exclua a CloudFormation pilha.

Para excluir os recursos na Config-QuickSight-Visualization-SSM-Automation pilha, siga as instruções em Excluir uma pilha do CloudFormation console.

Administrador da AWS, administrador de nuvem, DevOps engenheiro

Solução de problemas

ProblemaSolução

O Amazon Quick Suite está tentando se conectar ao us-east-1 Região da AWS, mas a criação de recursos nessa região não é permitida.

Uma política de controle de serviço está restringindo sua assinatura do Amazon Quick Suite nesta região. Na política de controle de serviço, especifique manualmente o alvo Região da AWS. Substitua <REGION_ID> pelo identificador da região apropriada:

https://<REGION_ID>.quicksight.aws.amazon.com/sn/start/dashboards

Este é um exemplo:

https://eu-central-1.quicksight.aws.amazon.com/sn/start/dashboards

Ao usar o Amazon Athena, você recebe a seguinte mensagem:

Before you run your first query, you need to set up a query result location in Amazon S3.

Certifique-se de ter preparado um bucket do Amazon S3 no qual você armazenará os resultados das consultas do Amazon Athena. Em seguida, siga as instruções apresentadas em Especificar um local para resultados de consultas com uso do console do Amazon Athena.

Recursos relacionados

AWS documentação

AWS postagem no blog

Outros recursos