Crie pull requests automatizados para a AWS infraestrutura gerenciada pelo Terraform usando Actions GitHub - Recomendações da AWS
ResumoPré-requisitos e limitaçõesArquiteturaFerramentasPráticas recomendadasÉpicosRecursos relacionados

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Crie pull requests automatizados para a AWS infraestrutura gerenciada pelo Terraform usando Actions GitHub

Matt Padgett, Ashish Bhatt, Ashwin Divakaran, Sandip Gangapadhyay e Prafful Gupta, Amazon Web Services

Resumo

Este padrão apresenta um utilitário de automação projetado para eliminar o trabalho manual e repetitivo envolvido no gerenciamento de alterações em diversos repositórios do Terraform. Várias organizações usam repositórios do Terraform para gerenciar a infraestrutura como código (IaC) que, frequentemente, conta com centenas de repositórios distintos que representam variados ambientes, serviços ou equipes. O gerenciamento desses repositórios em grande escala representa um desafio operacional significativo. Tarefas rotineiras, como atualizar um parâmetro, atualizar versões de módulos ou aplicar alterações na configuração, geralmente exigem a criação e o gerenciamento de pull requests (PRs) em vários repositórios várias vezes ao dia.

Até mesmo para pequenas alterações, esse processo manual e repetitivo é demorado e sujeito a erros. É necessário que os engenheiros apliquem de forma consistente a mesma alteração em todos os repositórios de destino e elaborem títulos e descrições de PR relevantes. Além disso, esses profissionais frequentemente precisam interagir com ferramentas externas, como o Jira, para buscar ou incluir referências de rastreamento de problemas. Embora necessárias, essas tarefas são trabalhos pesados e padronizados que ocupam tempo valioso dos engenheiros e comprometem a eficiência geral. A ausência de automação neste fluxo de trabalho cria problemas, diminui a velocidade de entrega e eleva a sobrecarga mental das equipes encarregadas da manutenção de infraestruturas do Terraform em grande escala.

Visão geral da solução

Para enfrentar esse desafio, este padrão oferece um utilitário totalmente orientado por configuração, permitindo que os usuários definam as alterações desejadas em um arquivo de configuração estruturado. Neste arquivo, os repositórios de destino, módulos, parâmetros e valores são especificados com base em um esquema claramente definido.

Uma vez configurado, o utilitário executa as seguintes etapas automatizadas:

  1. Realiza a leitura da configuração definida pelo usuário para determinar o escopo e a natureza das alterações

  2. Cria uma nova ramificação em cada repositório de destino com as atualizações necessárias aplicadas

  3. Gera uma PR para cada alteração, garantindo consistência entre todos os repositórios

  4. Envia notificações do Slack (opcional) para alertar as partes interessadas com links diretos para o criado PRs

Ao automatizar essas tarefas repetitivas, o utilitário reduz significativamente o tempo, o esforço e o risco associados ao gerenciamento de atualizações de infraestrutura em grande escala. O utilitário permite que as equipes se concentrem em trabalhos de engenharia de maior valor, ao mesmo tempo em que ajuda a garantir que as alterações sejam aplicadas de forma consistente e possam ser rastreadas em todos os repositórios.

Pré-requisitos e limitações

Pré-requisitos

  • Um ativo Conta da AWS.

  • Python versão 3.8 ou posterior.

  • Um token de acesso GitHub pessoal (PAT). Para obter mais informações, consulte Criação de um token de acesso pessoal (clássico) na GitHub documentação.

  • O GitHub PAT pode acessar seus repositórios de destino para que o utilitário possa realizar operações como criar ramificações e pull requests. Para obter mais informações, consulte o repositório de GitHub código desse padrão.

Limitações

  • A complexidade da configuração representa o principal desafio. A eficácia da automação é limitada pelas funcionalidades presentes no arquivo de configuração. Enquanto alterações padrão são tratadas de forma eficiente pelo sistema, modificações complexas na infraestrutura podem exigir intervenção manual, e alguns casos específicos permanecem fora do escopo da automação.

  • A segurança e o acesso apresentam considerações significativas, especialmente no gerenciamento de tokens de GitHub acesso e limites de taxa de API. É fundamental que as organizações conciliem cuidadosamente a necessidade de automação com o armazenamento e o gerenciamento seguros de credenciais, garantindo controles de acesso adequados sem comprometer a eficiência operacional.

  • As restrições de validação representam outra limitação significativa, pois o sistema automatizado tem capacidade limitada para validar a lógica de negócio e os requisitos específicos de cada ambiente. As dependências complexas e as interações entre serviços frequentemente requerem supervisão humana, já que a validação automatizada não consegue capturar integralmente todas as nuances contextuais e as regras de negócios.

  • Problemas de escala e de performance surgem ao lidar com alterações em infraestrutura de grande escala. O sistema deve operar dentro dos limites GitHub da API enquanto gerencia vários repositórios simultaneamente. As operações intensivas em recursos que são realizadas em uma infraestrutura extensa podem causar gargalos de performance, requerendo gerenciamento cuidadoso.

  • Os limites de integração restringem a flexibilidade do sistema porque ele foi projetado principalmente para funcionar com ferramentas específicas, como GitHub o Slack. As organizações que usam ferramentas distintas podem precisar de soluções customizadas, e as possibilidades de customização do fluxo de trabalho deste padrão estão limitadas aos pontos de integração compatíveis.

Arquitetura

O diagrama apresentado a seguir ilustra o fluxo de trabalho e os componentes para esta solução.

Fluxo de trabalho para criar pull requests automatizados usando GitHub Ações.

O fluxo de trabalho consiste nas seguintes etapas:

  1. O desenvolvedor aciona GitHub ações especificando o repositório do Terraform.

  2. O utilitário de automação lê as configurações que foram definidas.

  3. O utilitário de automação também extrai o repositório do Terraform fornecido.

  4. O utilitário de automação cria uma nova ramificação e realiza atualizações nos modelos do Terraform localmente.

  5. O utilitário de automação envia a nova ramificação ao repositório e cria uma nova PR.

  6. O utilitário de automação usa notificações do Slack que incluem links de relações públicas para notificar os desenvolvedores e habilita a implantação de modelos do Terraform. Nuvem AWS

Ferramentas

  • GitHubé uma plataforma para desenvolvedores que os desenvolvedores podem usar para criar, armazenar, gerenciar e compartilhar seu código.

  • GitHub O Actions é uma plataforma de integração contínua e entrega contínua (CI/CD) totalmente integrada aos GitHub repositórios. Você pode usar o GitHub Actions para automatizar seu pipeline de criação, teste e implantação.

  • HashiCorp O Terraform é uma ferramenta de infraestrutura como código (IaC) que ajuda você a criar e gerenciar recursos na nuvem e no local.

  • O Slack, uma solução da Salesforce, consiste em uma plataforma de conversação com tecnologia de IA que oferece colaboração por chat e vídeo, automatiza processos no-code e facilita o compartilhamento de informações.

Repositório de código

O código desse padrão está disponível no fluxo de trabalho GitHub automatizado de atualização da infraestrutura do Terraform usando o repositório GitHub Actions.

Práticas recomendadas

  • O gerenciamento eficaz de alterações é essencial para uma implementação com êxito. As organizações devem adotar uma estratégia de implementação gradual para mudanças em grande escala. Mantenha convenções consistentes de nomenclatura para as ramificações e descrições de PRs, e assegure que todas as alterações estejam devidamente documentadas.

  • Os controles de segurança devem ser implementados rigorosamente, com foco nos princípios de acesso com privilégios mínimos e no gerenciamento seguro de credenciais. Habilite regras de proteção para ramificações com a finalidade de impedir alterações não autorizadas. Realize auditorias de segurança regularmente para manter a integridade do sistema.

  • Um protocolo de testes robusto deve incluir a execução automatizada do terraform plan em pipelines de integração e de implantação contínuas (CI/CD). Além disso, o protocolo deve contemplar verificações de validação anteriores à confirmação e ambientes de análise dedicados a alterações críticas. Essa abordagem de testes em várias camadas contribui para a identificação antecipada de problemas e assegura a estabilidade da infraestrutura.

  • A estratégia de monitoramento precisa abranger mecanismos de alerta abrangentes, rastreamento detalhado de success/failure métricas e mecanismos automatizados de repetição para operações com falha. Essa estratégia ajuda a garantir visibilidade operacional e permite uma resposta rápida a quaisquer problemas que surgirem.

  • Os padrões de configuração devem enfatizar o controle de versão de todas as configurações, mantendo a modularidade para reutilização e escalabilidade. A documentação clara do esquema e a inclusão de exemplos ajudam as equipes a compreender e aplicar corretamente o sistema de automação.

Épicos

TarefaDescriptionHabilidades necessárias

Configure o repositório.

Para configurar o repositório, execute os seguintes comandos:

# Clone the automation tool repository
git clone https://github.com/aws-samples/sample-terraform-pr-automation-utility
cd sample-terraform-pr-automation-utility

# Copy example configuration
cp config.example.yaml config.yaml
AWS DevOps

Instale as dependências.

Para instalar e verificar as dependências do Python, execute os seguintes comandos:

# Install Python dependencies
pip3 install -r requirements.txt

# Verify installation
python3 -c "import github; import hcl2; import yaml; import requests; print('All packages installed successfully')"
AWS DevOps

Configure o GitHub token.

Para configurar o GitHub token e verificar se ele funciona, execute os seguintes comandos:

# Set GitHub token environment variable
export GITHUB_TOKEN="your_github_token_here"

# Verify token works
curl -H "Authorization: token $GITHUB_TOKEN" https://api.github.com/user
AWS DevOps
TarefaDescriptionHabilidades necessárias

Configure o arquivo config.yaml.

Para definir os repositórios de destino e as alterações desejadas, edite o arquivo config.yaml conforme mostrado a seguir:

repositories:
  - owner: "your-org"
    repo: "your-terraform-repo"
    files:
      - path: "variables.tf"
        changes:
          variables:
            - app_version:
                default:
                  update:
                    - from: ["1.0.0"]
                      to: "1.1.0"

settings:
  pr_title_template: "Infrastructure Update - {{timestamp}}"
  slack:
    username: "Terraform Bot"
    icon_emoji: ":terraform:"
    notify_on_success: true
    notify_on_error: true
    notify_batch_summary: true
AWS DevOps
TarefaDescriptionHabilidades necessárias

Realize testes preliminares.

Sempre teste sua configuração antes de executá-la em repositórios de produção. Use os seguintes comandos:

# 1. Test configuration syntax
python3 -c "from main import get_config_content; get_config_content()"

# 2. Run in dry-run mode first
DRY_RUN=true python3 main.py

# 3. Test with minimal configuration
# Use a simple config.yaml with just one repository and one change
AWS DevOps

Verifique o acesso ao repositório.

Para verificar se o GitHub token pode acessar o repositório, execute o seguinte comando:

# Test GitHub token access
curl -H "Authorization: token $GITHUB_TOKEN" \
  https://api.github.com/repos/owner/repo-name

# Should return repository information, not 404
AWS DevOps
TarefaDescriptionHabilidades necessárias

Execute o utilitário de automação usando a interface de usuário do GitHub Actions.

Para executar o utilitário de automação usando a interface de usuário do GitHub Actions, faça o seguinte:

  1. Navegue até seu repositório em. GitHub

  2. Escolha a guia Ações.

  3. Escolha o fluxo de trabalho Terraform Infrastructure Update Automation.

  4. Selecione Executar fluxo de trabalho.

  5. Configure as seguintes entradas referentes ao fluxo de trabalho:

    • Configuração da origem:

      • Selecione a ramificação de destino para a automação.

      • Especifique o caminho para o arquivo de configuração (config.yaml) que contém as alterações desejadas.

    • Controles de pré-visualização:

      • Escolha a opção Pré-visualizar para analisar as alterações sem aplicá-las.

    • Gerenciamento de ramificações:

      • Insira a ramificação de base para criar novas ramificações de recursos.

      • Insira a configuração do prefixo da ramificação.

      • Marque a caixa de seleção Fechar automaticamente solicitações de pull obsoletas.

    • Configuração de notificações:

      • Insira o URL para URL do webhook do Slack para notificações enriquecidas (substitui o segredo configurado no repositório).

      • Marque a caixa de seleção Testar integração com o Slack antes do processamento (somente simulação).

      • Digite as informações para Substituir o canal do Slack padrão (por exemplo, #infrastructure-test).

    • Configurações avançadas:

      • Marque a caixa de seleção Habilitar registro de depuração em log para a solução de problemas.

AWS DevOps

(Como alternativa) Execute o utilitário de automação usando a linha de comando.

Se preferir, você pode executar o utilitário de automação na linha de comando em vez de usar a interface do usuário do GitHub Actions. Use o seguinte comando:

# Run actual automation
python3 main.py
AWS DevOps
TarefaDescriptionHabilidades necessárias

Revise o criado PRs e as alterações.

Para monitorar os resultados da execução do GitHub fluxo de trabalho, faça o seguinte:

AWS DevOps
TarefaDescriptionHabilidades necessárias

(Opcional) Limpe PRs.

Feche abandonado ou desnecessário PRs.

AWS DevOps

Recursos relacionados

AWS Orientação prescritiva

GitHub documentação