Semplifica le implementazioni di PostgreSQL su Amazon EKS utilizzando PGO - Prontuario AWS
RiepilogoPrerequisiti e limitazioniArchitetturaStrumentiBest practiceEpicheRisoluzione dei problemiRisorse correlate

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Semplifica le implementazioni di PostgreSQL su Amazon EKS utilizzando PGO

Creato da Shalaka Dengale (AWS)

Riepilogo

Questo modello integra Postgres Operator di Crunchy Data (PGO) con Amazon Elastic Kubernetes Service (Amazon EKS) per semplificare le implementazioni di PostgreSQL in ambienti nativi del cloud. PGO offre automazione e scalabilità per la gestione dei database PostgreSQL in Kubernetes. Combinando PGO con Amazon EKS, si forma una solida piattaforma per la distribuzione, la gestione e la scalabilità efficiente dei database PostgreSQL.

Questa integrazione offre i seguenti vantaggi chiave:

  • Distribuzione automatizzata: semplifica l'implementazione e la gestione dei cluster PostgreSQL.

  • Definizioni di risorse personalizzate (CRDs): utilizza le primitive Kubernetes per la gestione di PostgreSQL.

  • Alta disponibilità: supporta il failover automatico e la replica sincrona.

  • Backup e ripristini automatizzati: semplifica i processi di backup e ripristino.

  • Scalabilità orizzontale: consente il ridimensionamento dinamico dei cluster PostgreSQL.

  • Aggiornamenti di versione: facilita gli aggiornamenti continui con tempi di inattività minimi.

  • Sicurezza: applica la crittografia, i controlli di accesso e i meccanismi di autenticazione.

Prerequisiti e limitazioni

Prerequisiti

Versioni del prodotto

Limitazioni

Architettura

Stack tecnologico Target

  • Amazon EKS

  • Amazon Virtual Private Cloud (Amazon VPC) (Amazon VPC)

  • Amazon Elastic Compute Cloud (Amazon EC2)

Architettura Target

Architettura per l'utilizzo di PGO con tre zone di disponibilità e due repliche e PgBouncer operatore PGO.

Questo modello crea un'architettura che contiene un cluster Amazon EKS con tre nodi. Ogni nodo viene eseguito su un set di EC2 istanze nel backend. Questa configurazione di PostgreSQL segue un'architettura di replica primaria, particolarmente efficace per i casi d'uso che richiedono una lettura intensiva. L'architettura include i seguenti componenti:

  • Il contenitore del database primario (pg-primary) ospita l'istanza PostgreSQL principale in cui sono dirette tutte le operazioni di scrittura.

  • I contenitori di replica secondari (pg-replica) ospitano le istanze PostgreSQL che replicano i dati dal database primario e gestiscono le operazioni di lettura.

  • PgBouncerè un pool di connessioni leggero per database PostgreSQL incluso in PGO. Si colloca tra il client e il server PostgreSQL e funge da intermediario per le connessioni al database.

  • PGO automatizza l'implementazione e la gestione dei cluster PostgreSQL in questo ambiente Kubernetes.

  • Patroni è uno strumento open source che gestisce e automatizza le configurazioni ad alta disponibilità per PostgreSQL. È incluso in PGO. Quando usi Patroni con PGO in Kubernetes, svolge un ruolo cruciale nel garantire la resilienza e la tolleranza ai guasti di un cluster PostgreSQL. Per ulteriori informazioni, consulta la documentazione di Patroni.

Il flusso di lavoro include i seguenti passaggi:

  • Implementa l'operatore PGO. Implementa l'operatore PGO sul tuo cluster Kubernetes eseguito su Amazon EKS. Questo può essere fatto utilizzando i manifesti di Kubernetes o i grafici Helm. Questo modello utilizza i manifesti di Kubernetes.

  • Definisci le istanze PostgreSQL. Quando l'operatore è in esecuzione, si creano risorse personalizzate (CRs) per specificare lo stato desiderato delle istanze PostgreSQL. Ciò include configurazioni come archiviazione, replica e impostazioni di alta disponibilità.

  • Gestione degli operatori. Interagisci con l'operatore tramite oggetti API Kubernetes, ad esempio CRs per creare, aggiornare o eliminare istanze PostgreSQL.

  • Monitoraggio e manutenzione. Puoi monitorare lo stato e le prestazioni delle istanze PostgreSQL in esecuzione su Amazon EKS. Gli operatori spesso forniscono metriche e registrazioni per scopi di monitoraggio. Se necessario, è possibile eseguire attività di manutenzione di routine come aggiornamenti e patch. Per ulteriori informazioni, consulta Monitoraggio delle prestazioni del cluster e visualizzazione dei log nella documentazione di Amazon EKS.

  • Scalabilità e backup: è possibile utilizzare le funzionalità fornite dall'operatore per ridimensionare le istanze PostgreSQL e gestire i backup.

Questo modello non copre le operazioni di monitoraggio, manutenzione e backup.

Automazione e scalabilità

  • È possibile utilizzare AWS CloudFormation per automatizzare la creazione dell'infrastruttura. Per ulteriori informazioni, consulta Creare risorse Amazon EKS AWS CloudFormation nella documentazione di Amazon EKS.

  • Puoi utilizzare GitVersion o Jenkins build Numbers per automatizzare la distribuzione delle istanze di database.

Strumenti

Servizi AWS

Altri strumenti

  • eksctl è un semplice strumento da riga di comando per la creazione di cluster su Amazon EKS.

  • kubectl è un'utilità da riga di comando per eseguire comandi su cluster Kubernetes.

  • PGO automatizza e ridimensiona la gestione dei database PostgreSQL in Kubernetes.

Best practice

Segui queste best practice per garantire un'implementazione fluida ed efficiente:

  • Proteggi il tuo cluster EKS. Implementa le migliori pratiche di sicurezza per il tuo cluster EKS, come l'utilizzo di ruoli AWS Identity and Access Management (IAM) per account di servizio (IRSA), policy di rete e gruppi di sicurezza VPC. Limita l'accesso al server API del cluster EKS e crittografa le comunicazioni tra i nodi e il server API utilizzando TLS.

  • Garantisci la compatibilità delle versioni tra PGO e Kubernetes in esecuzione su Amazon EKS. Alcune funzionalità di PGO potrebbero richiedere versioni specifiche di Kubernetes o introdurre limitazioni di compatibilità. Per ulteriori informazioni, consulta Componenti e compatibilità nella documentazione di PGO.

  • Pianifica l'allocazione delle risorse per la tua implementazione PGO, tra cui CPU, memoria e archiviazione. Considera i requisiti di risorse sia di PGO che delle istanze PostgreSQL che gestisce. Monitora l'utilizzo delle risorse e ridimensionale in base alle esigenze.

  • Progettato per un'elevata disponibilità. Progetta la tua implementazione PGO per un'elevata disponibilità per ridurre al minimo i tempi di inattività e garantire l'affidabilità. Implementa più repliche di PGO su più zone di disponibilità per la tolleranza agli errori.

  • Implementa procedure di backup e ripristino per i database PostgreSQL gestiti da PGO. Utilizza le funzionalità fornite da PGO o soluzioni di backup di terze parti compatibili con Kubernetes e Amazon EKS.

  • Configura il monitoraggio e la registrazione per la tua implementazione PGO per tenere traccia delle prestazioni, dello stato e degli eventi. Utilizza strumenti come Prometheus per il monitoraggio delle metriche e Grafana per la visualizzazione. Configura la registrazione per acquisire i registri PGO per la risoluzione dei problemi e il controllo.

  • Configura correttamente la rete per consentire le comunicazioni tra PGO, istanze PostgreSQL e altri servizi nel tuo cluster Kubernetes. Utilizza le funzionalità di rete Amazon VPC e i plug-in di rete Kubernetes come Calico o Amazon VPC CNI per l'applicazione delle politiche di rete e l'isolamento del traffico.

  • Scegli le opzioni di storage appropriate per i tuoi database PostgreSQL, considerando fattori quali prestazioni, durabilità e scalabilità. Usa volumi Amazon Elastic Block Store (Amazon EBS) AWS o servizi di storage gestito per lo storage persistente. Per ulteriori informazioni, consulta Archivia volumi Kubernetes con Amazon EBS nella documentazione di Amazon EKS.

  • Utilizza strumenti Infrastructure as Code (IaC) AWS CloudFormation per automatizzare la distribuzione e la configurazione di PGO su Amazon EKS. Definisci i componenti dell'infrastruttura, tra cui il cluster EKS, il networking e le risorse PGO, come codice per garantire coerenza, ripetibilità e controllo delle versioni.

Epiche

AttivitàDescrizioneCompetenze richieste

Crea un ruolo IAM.

  1. Crea un ruolo IAM utilizzando il seguente comando in AWS CLI:

    aws iam create-role \
    --role-name {YourRoleName} \
    --assume-role-policy-document '{
        "Version": "2012-10-17",
        "Statement": [
            {
                "Effect": "Allow",
                "Principal": {
                    "Service": "eks.amazonaws.com"
                },
                "Action": "sts:AssumeRole"
            }
        ]
    }' && \
aws iam attach-role-policy \
    --role-name {YourRoleName}\
    --policy-arn arn:aws:iam::aws:policy/AmazonEKSClusterPolicy && \
aws iam attach-role-policy \
    --role-name {YourRoleName}\
    --policy-arn arn:aws:iam::aws:policy/AmazonEKSServicePolicy && \
aws iam attach-role-policy \
    --role-name {YourRoleName}\
	    --policy-arn arn:aws:iam::aws:policy/CloudWatchFullAccess

  2. Esamina il ruolo in AWS Management Console:

    1. Apri la console IAM.

    2. Scegli Ruoli e cerca il nome del ruolo che hai creato.

    3. Verifica che siano allegate le seguenti politiche:

      AmazonEKSClusterPolicy

      AmazonEKSServicePolicy

      CloudWatchFullAccess

Amministratore AWS
AttivitàDescrizioneCompetenze richieste

Crea un cluster Amazon EKS.

Se hai già distribuito un cluster, salta questo passaggio. Altrimenti, distribuisci un cluster Amazon EKS nel tuo ambiente attuale Account AWS utilizzando eksctl Terraform o. AWS CloudFormation Questo modello viene utilizzato eksctl per la distribuzione in cluster.

Nota

Questo modello utilizza Amazon EC2 come gruppo di nodi per Amazon EKS. Se desideri utilizzarlo AWS Fargate, consulta la managedNodeGroups configurazione nella documentazione di eksctl.

  1. Usa il seguente file eksctl di input per generare il cluster.

    sample-cluster.yaml:

    apiVersion: eksctl.io/v1alpha5
kind: ClusterConfig
metadata:
  name: postgresql
  region: us-east-1
  version: "1.29"
accessConfig:
  authenticationMode: API_AND_CONFIG_MAP
availabilityZones:
- us-east-1a
- us-east-1b
- us-east-1c
nodeGroups:
  - name: ng-1
    instanceType: m5.16xlarge
    desiredCapacity: 2
  - name: ng-2
    instanceType: m5.16xlarge
    desiredCapacity: 2
  - name: ng-3
    instanceType: m5.16xlarge
    desiredCapacity: 2
vpc:
  cidr: 192.168.0.0/16
  clusterEndpoints:
    publicAccess: true
  nat:
    gateway: HighlyAvailable
iamIdentityMappings:
  - arn: arn:aws:iam::<account-id>:role/<role-name> # update the IAM role ARN created in step 1
    username: <user-name> # Enter the user name per your choice
    noDuplicateARNs: false

  2. Esegui il comando seguente per creare il cluster (fornisci il percorso sample-cluster.yaml del file):

    eksctl create cluster -f sample-cluster.yaml
Amministratore AWS, amministratore Terraform o eksctl, amministratore Kubernetes

Convalida lo stato del cluster.

Esegui il comando seguente per visualizzare lo stato corrente dei nodi nel cluster:

kubectl get nodes

Se riscontri errori, consulta la sezione sulla risoluzione dei problemi della documentazione di Amazon EKS.

Amministratore AWS, amministratore Terraform o eksctl, amministratore Kubernetes
AttivitàDescrizioneCompetenze richieste

Abilita il provider IAM OIDC.

Come prerequisito per il driver Amazon EBS Container Storage Interface (CSI), devi disporre di un provider IAM OpenID Connect (OIDC) esistente per il tuo cluster.

Abilita il provider IAM OIDC utilizzando il seguente comando:

eksctl utils associate-iam-oidc-provider --region={region} --cluster={YourClusterNameHere} --approve

Per ulteriori informazioni su questo passaggio, consulta la documentazione di Amazon EKS.

Amministratore AWS

Crea un ruolo IAM per il driver CSI di Amazon EBS.

Usa il seguente eksctl comando per creare il ruolo IAM per il driver CSI:

eksctl create iamserviceaccount \
  --region {RegionName} \
  --name ebs-csi-controller-sa \
  --namespace kube-system \
  --cluster {YourClusterNameHere} \
  --attach-policy-arn arn:aws:iam::aws:policy/service-role/AmazonEBSCSIDriverPolicy \
  --approve \
  --role-only \
  --role-name AmazonEKS_EBS_CSI_DriverRole

Se utilizzi unità Amazon EBS crittografate, devi configurare ulteriormente la policy. Per istruzioni, consulta la documentazione del driver Amazon EBS SCI.

Amministratore AWS

Aggiungi il driver Amazon EBS CSI.

Usa il seguente eksctl comando per aggiungere il driver Amazon EBS CSI:

eksctl create addon \
  --name aws-ebs-csi-driver \
  --cluster <YourClusterName> service-account-role-arn arn:aws:iam::$(aws sts get-caller-identity \
  --query Account \
  --output text):role/AmazonEKS_EBS_CSI_DriverRole \
  --force
Amministratore AWS
AttivitàDescrizioneCompetenze richieste

Clona il repository PGO.

Clona il repository per PGO GitHub :

git clone https://github.com/CrunchyData/postgres-operator-examples.git
AWS DevOps

Fornisci i dettagli del ruolo per la creazione dell'account di servizio.

Per concedere al cluster Amazon EKS l'accesso alle AWS risorse richieste, specifica l'Amazon Resource Name (ARN) del ruolo OIDC che hai creato in precedenza nel file. service_account.yaml Questo file si trova nella cartella namespace del repository. 

cd postgres-operator-examples
---
metadata:
  annotations:
    eks.amazonaws.com/role-arn: arn:aws:iam::<accountId>:role/<role_name> # Update the OIDC role ARN created earlier
Amministratore AWS, amministratore Kubernetes

Crea il namespace e i prerequisiti PGO.

  1. Esegui il comando seguente per creare lo spazio dei nomi .

    kubectl apply -k kustomize/install/namespace

    Questo stabilisce uno spazio dei nomi dedicato per PGO. Se necessario, è possibile modificare il namespace.yml file e assegnare allo spazio dei nomi un nome diverso.

  2. Esegui il comando seguente per applicare la configurazione predefinita al cluster:

    kubectl apply --server-side -k kustomize/install/default

    kustomize/install/defaultfornisce la configurazione predefinita per i file RBAC (Role-Based Access Control) di Kubernetes, Custom Resource Definition (CRD) e Kubernetes Manager.

Amministratore Kunernetes

Verifica la creazione dei pod.

Verifica che lo spazio dei nomi e la configurazione predefinita siano stati creati:

kubectl get pods -n postgres-operator
Amministratore AWS, amministratore Kubernetes

Verifica. PVCs

Utilizzate il seguente comando per verificare le dichiarazioni di volume persistenti (PVCs):

kubectl describe pvc -n postgres-operator
Amministratore AWS, amministratore Kubernetes
AttivitàDescrizioneCompetenze richieste

Crea un operatore.

Modifica il contenuto del file che si trova in /kustomize/postgres/postgres.yaml modo che corrisponda a quanto segue:

spec:
  instances:
    - name: pg-1
      replicas: 3
  patroni:
    dynamicConfiguration:
      postgresql:
      pg_hba:
        - "host all all 0.0.0.0/0 trust" # this line enabled logical replication with programmatic access
        - "host all postgres 127.0.0.1/32 md5"
      synchronous_mode: true
  users:
  - name: replicator
    databases:
      - testdb
    options: "REPLICATION"

Questi aggiornamenti eseguono le seguenti operazioni:

  • Modifica le impostazioni di configurazione di PostgreSQL per facilitare l'accesso all'istanza PostgreSQL.

  • Includi configurazioni per utente di replica, utente del database e superutente per abilitare la replica in streaming, l'accesso al database e la gestione dei cluster.

Amministratore AWS, DBA, amministratore Kubernetes

Implementa l'operatore.

Implementa l'operatore PGO per consentire la gestione e il funzionamento semplificati dei database PostgreSQL negli ambienti Kubernetes:

kubectl apply -k kustomize/postgres
Amministratore AWS, DBA, amministratore Kubernetes

Verifica la distribuzione.

  1. Verifica che l'operatore sia stato schierato:

    kubectl get pods -n postgres-operator --selector=postgres-operator.crunchydata.com/instance-set \   -L postgres-operator.crunchydata.com/role

  2. Verifica che la risorsa di servizio associata al pod dell'operatore sia stata creata:

    kubectl get svc -n postgres-operator

Dall'output del comando, annota la replica principale (primary_pod_name) e leggi replica (read_pod_name). Li utilizzerai nei passaggi successivi.

Amministratore AWS, DBA, amministratore Kubernetes
AttivitàDescrizioneCompetenze richieste

Scrive i dati sulla replica principale.

Usa i seguenti comandi per connetterti alla replica primaria di PostgreSQL e scrivere dati nel database:

kubectl exec -it <primary_pod_name> bash -n postgres-operator
psql
CREATE TABLE customers (firstname text, customer_id serial, date_created timestamp);
\dt
Amministratore AWS, amministratore Kubernetes

Verifica che la replica letta contenga gli stessi dati.

Connect alla replica di lettura PostgreSQL e verifica se la replica in streaming funziona correttamente:

kubectl exec -it {read_pod_name} bash -n postgres-operator
psql
\dt

La replica di lettura dovrebbe contenere la tabella creata nella replica primaria nel passaggio precedente.

Amministratore AWS, amministratore Kubernetes

Risoluzione dei problemi

ProblemaSoluzione

Il pod non si avvia.

  • Usa il seguente comando per controllare lo stato del pod:

    kubectl get pods -n your-namespace

  • Ispeziona i log per eventuali errori:

    kubectl logs your-pod-name -n your-namespace

  • Controlla gli eventi dei pod per eventuali eventi anomali correlati ai tuoi pod:

    kubectl describe pod your-pod-name -n your-namespace

Le repliche sono notevolmente inferiori rispetto al database principale.

  • Verifica il ritardo di replica:

    SELECT * FROM pg_stat_replication;

  • Assicurati che le repliche abbiano risorse di CPU e memoria sufficienti. Verifica i limiti delle risorse:

    kubectl describe pod your-replica-pod -n your-namespace

  • Verifica che il backend di archiviazione funzioni in modo ottimale. L'I/O lento del disco può causare ritardi nella replica.

Non hai visibilità sulle prestazioni e sullo stato del cluster PostgreSQL.

  • Abilita Amazon CloudWatch Logs e assicurati che i log vengano inviati ad Amazon CloudWatch per l'analisi. Per ulteriori informazioni, consulta la documentazione di Amazon EKS.

  • Controlla pg_stat_activity:

    SELECT * FROM pg_stat_activity;

La replica non funziona.

  • Controlla la configurazione principale visualizzando le impostazioni di replica in: postgresql.conf

    wal_level = replica
    max_wal_senders = 10
    wal_keep_size = 64  # or wal_keep_segments in older versions

  • Verifica che pg_hba.conf includa le autorizzazioni di replica:

    host replication replica_user all md5

  • Controlla la configurazione della replica. Assicurati che le impostazioni recovery.conf o le impostazioni equivalenti (standby.signaleprimary_conninfo) siano configurate correttamente sulle repliche.

Risorse correlate