使用 PGO 在 Amazon EKS 上簡化 PostgreSQL 部署 - AWS 方案指引
Summary先決條件和限制架構工具最佳實務史詩故障診斷相關資源

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

使用 PGO 在 Amazon EKS 上簡化 PostgreSQL 部署

由 Shalaka Dengale (AWS) 建立

Summary

此模式整合來自 Crunchy Data (PGO) 的 Postgres Operator 與 Amazon Elastic Kubernetes Service (Amazon EKS)，以簡化雲端原生環境中的 PostgreSQL 部署。PGO 提供在 Kubernetes 中管理 PostgreSQL 資料庫的自動化和可擴展性。當您將 PGO 與 Amazon EKS 結合時，它會形成強大的平台，以有效率地部署、管理和擴展 PostgreSQL 資料庫。

此整合提供下列主要優點：

  • 自動化部署：簡化 PostgreSQL 叢集部署和管理。

  • 自訂資源定義 (CRDs)： 使用 Kubernetes 基本概念進行 PostgreSQL 管理。

  • 高可用性：支援自動容錯移轉和同步複寫。

  • 自動化備份和還原： 簡化備份和還原程序。

  • 水平擴展： 啟用 PostgreSQL 叢集的動態擴展。

  • 版本升級：促進滾動升級，將停機時間降至最低。

  • 安全性：強制執行加密、存取控制和身分驗證機制。

先決條件和限制

先決條件

產品版本

  • Kubernetes 1.21–1.24 版或更新版本 （請參閱 PGO 文件)。

  • PostgreSQL 第 10 版或更新版本。此模式使用 PostgreSQL 第 16 版。

限制

架構

目標技術堆疊

  • Amazon EKS

  • Amazon Virtual Private Cloud (Amazon VPC)

  • Amazon Elastic Compute Cloud (Amazon EC2)

目標架構

搭配三個可用區域和兩個複本、PgBouncer 和 PGO 運算子使用 PGO 的架構。

此模式建置的架構包含具有三個節點的 Amazon EKS 叢集。每個節點在後端的一組 EC2 執行個體上執行。此 PostgreSQL 設定遵循主要複本架構，對於大量讀取的使用案例特別有效。架構包含下列元件：

  • 主要資料庫容器 (pg-primary) 託管主 PostgreSQL 執行個體，其中所有寫入操作都會導向。

  • 次要複本容器 (pg-replica) 託管從主要資料庫複寫資料並處理讀取操作的 PostgreSQL 執行個體。

  • PgBouncer 是 PGO 隨附的 PostgreSQL 資料庫輕量型連線集區器。它位於用戶端和 PostgreSQL 伺服器之間，並充當資料庫連線的媒介。

  • PGO 可在此 Kubernetes 環境中自動化 PostgreSQL 叢集的部署和管理。

  • Patroni 是一種開放原始碼工具，可管理和自動化 PostgreSQL 的高可用性組態。它包含在 PGO 中。當您在 Kubernetes 中使用 Patroni 搭配 PGO 時，它在確保 PostgreSQL 叢集的彈性和容錯能力方面扮演重要角色。如需詳細資訊，請參閱 Patroni 文件。

工作流程包含以下步驟：

  • 部署 PGO 運算子。您可以在在 Amazon EKS 上執行的 Kubernetes 叢集上部署 PGO 運算子。這可以透過使用 Kubernetes 資訊清單或 Helm Chart 來完成。此模式使用 Kubernetes 資訊清單。

  • 定義 PostgreSQL 執行個體。當運算子執行時，您可以建立自訂資源 CRs)，以指定 PostgreSQL 執行個體的所需狀態。這包括儲存、複寫和高可用性設定等組態。

  • 運算子管理。您可以透過 CRs 等 Kubernetes API 物件與運算子互動，以建立、更新或刪除 PostgreSQL 執行個體。

  • 監控和維護。您可以監控在 Amazon EKS 上執行的 PostgreSQL 執行個體的運作狀態和效能。運算子通常會為監控目的提供指標和記錄。您可以視需要執行例行維護任務，例如升級和修補。如需詳細資訊，請參閱 Amazon EKS 文件中的監控叢集效能和檢視日誌。

  • 擴展和備份：您可以使用運算子提供的功能來擴展 PostgreSQL 執行個體和管理備份。

此模式不包含監控、維護和備份操作。

自動化和擴展

工具

AWS 服務

其他工具

  • eksctl 是在 Amazon EKS 上建立叢集的簡單命令列工具。

  • kubectl 是命令列公用程式，用於對 Kubernetes 叢集執行命令。

  • PGO 可自動化和擴展 Kubernetes 中 PostgreSQL 資料庫的管理。

最佳實務

遵循下列最佳實務，以確保部署順暢且有效率：

  • 保護您的 EKS 叢集。實作 EKS 叢集的安全最佳實務，例如針對服務帳戶 AWS Identity and Access Management (IRSA)、網路政策和 VPC 安全群組使用 (IAM) 角色。限制對 EKS 叢集 API 伺服器的存取，並使用 TLS 加密節點和 API 伺服器之間的通訊。

  • 確保在 Amazon EKS 上執行的 PGO 和 Kubernetes 之間的版本相容性。有些 PGO 功能可能需要特定的 Kubernetes 版本或引入相容性限制。如需詳細資訊，請參閱 PGO 文件中的元件與相容性。

  • 規劃 PGO 部署的資源配置，包括 CPU、記憶體和儲存。考慮 PGO 及其管理的 PostgreSQL 執行個體的資源需求。監控資源用量並視需要擴展資源。

  • 專為高可用性而設計。設計您的 PGO 部署以獲得高可用性，以盡可能減少停機時間並確保可靠性。跨多個可用區域部署多個 PGO 複本，以實現容錯能力。

  • 為 PGO 管理的 PostgreSQL 資料庫實作備份和還原程序。使用 PGO 或第三方備份解決方案提供的功能，這些功能與 Kubernetes 和 Amazon EKS 相容。

  • 為您的 PGO 部署設定監控和記錄，以追蹤效能、運作狀態和事件。使用 Prometheus 等工具來監控指標，並使用 Grafana 來視覺化。設定記錄以擷取 PGO 日誌以進行疑難排解和稽核。

  • 正確設定聯網，以允許 PGO、PostgreSQL 執行個體和 Kubernetes 叢集中其他服務之間的通訊。使用 Amazon VPC 網路功能和 Kubernetes 網路外掛程式，例如 Calico 或 Amazon VPC CNI，以進行網路政策強制執行和流量隔離。

  • 考慮效能、耐用性和可擴展性等因素，為您的 PostgreSQL 資料庫選擇適當的儲存選項。使用 Amazon Elastic Block Store (Amazon EBS) 磁碟區或 AWS 受管儲存服務進行持久性儲存。如需詳細資訊，請參閱 Amazon EKS 文件中的使用 Amazon EBS 存放 Kubernetes 磁碟區。

  • 使用基礎設施做為程式碼 (IaC) 工具 AWS CloudFormation ，例如 在 Amazon EKS 上自動化 PGO 的部署和組態。定義基礎設施元件，包括 EKS 叢集、聯網和 PGO 資源，做為一致性、可重複性和版本控制的程式碼。

史詩

任務描述所需的技能

建立 IAM 角色。

  1. 在 中使用下列命令建立 IAM 角色 AWS CLI：

    aws iam create-role \
    --role-name {YourRoleName} \
    --assume-role-policy-document '{
        "Version": "2012-10-17",
        "Statement": [
            {
                "Effect": "Allow",
                "Principal": {
                    "Service": "eks.amazonaws.com"
                },
                "Action": "sts:AssumeRole"
            }
        ]
    }' && \
aws iam attach-role-policy \
    --role-name {YourRoleName}\
    --policy-arn arn:aws:iam::aws:policy/AmazonEKSClusterPolicy && \
aws iam attach-role-policy \
    --role-name {YourRoleName}\
    --policy-arn arn:aws:iam::aws:policy/AmazonEKSServicePolicy && \
aws iam attach-role-policy \
    --role-name {YourRoleName}\
	    --policy-arn arn:aws:iam::aws:policy/CloudWatchFullAccess

  2. 在 中檢閱角色 AWS Management Console：

    1. 開啟 IAM 主控台。

    2. 選擇角色，然後搜尋您建立的角色名稱。

    3. 驗證是否已連接下列政策：

      AmazonEKSClusterPolicy

      AmazonEKSServicePolicy

      CloudWatchFullAccess

AWS 管理員
任務描述所需的技能

建立 Amazon EKS 叢集。

如果您已部署叢集，請略過此步驟。否則， AWS 帳戶 請使用 eksctl、Terraform 或 在您目前的 中部署 Amazon EKS 叢集 AWS CloudFormation。此模式使用 eksctl進行叢集部署。

注意

此模式使用 Amazon EC2 做為 Amazon EKS 的節點群組。如果您想要使用 AWS Fargate，請參閱 eksctl 文件中的managedNodeGroups組態。

  1. 使用下列eksctl輸入檔案來產生叢集。

    sample-cluster.yaml:

    apiVersion: eksctl.io/v1alpha5
kind: ClusterConfig
metadata:
  name: postgresql
  region: us-east-1
  version: "1.29"
accessConfig:
  authenticationMode: API_AND_CONFIG_MAP
availabilityZones:
- us-east-1a
- us-east-1b
- us-east-1c
nodeGroups:
  - name: ng-1
    instanceType: m5.16xlarge
    desiredCapacity: 2
  - name: ng-2
    instanceType: m5.16xlarge
    desiredCapacity: 2
  - name: ng-3
    instanceType: m5.16xlarge
    desiredCapacity: 2
vpc:
  cidr: 192.168.0.0/16
  clusterEndpoints:
    publicAccess: true
  nat:
    gateway: HighlyAvailable
iamIdentityMappings:
  - arn: arn:aws:iam::<account-id>:role/<role-name> # update the IAM role ARN created in step 1
    username: <user-name> # Enter the user name per your choice
    noDuplicateARNs: false

  2. 執行下列命令來建立叢集 （提供 檔案的檔案路徑sample-cluster.yaml)：

    eksctl create cluster -f sample-cluster.yaml
AWS 管理員、Terraform 或 eksctl 管理員、Kubernetes 管理員

驗證叢集的狀態。

執行下列命令以查看叢集中節點的目前狀態：

kubectl get nodes

如果您遇到錯誤，請參閱 Amazon EKS 文件的故障診斷一節。

AWS 管理員、Terraform 或 eksctl 管理員、Kubernetes 管理員
任務描述所需的技能

啟用 IAM OIDC 提供者。

作為 Amazon EBS 容器儲存介面 (CSI) 驅動程式的先決條件，您必須為叢集擁有現有的 IAM OpenID Connect (OIDC) 提供者。

使用下列命令啟用 IAM OIDC 提供者：

eksctl utils associate-iam-oidc-provider --region={region} --cluster={YourClusterNameHere} --approve

如需此步驟的詳細資訊，請參閱 Amazon EKS 文件。

AWS 管理員

為 Amazon EBS CSI 驅動程式建立 IAM 角色。

使用下列eksctl命令為 CSI 驅動程式建立 IAM 角色：

eksctl create iamserviceaccount \
  --region {RegionName} \
  --name ebs-csi-controller-sa \
  --namespace kube-system \
  --cluster {YourClusterNameHere} \
  --attach-policy-arn arn:aws:iam::aws:policy/service-role/AmazonEBSCSIDriverPolicy \
  --approve \
  --role-only \
  --role-name AmazonEKS_EBS_CSI_DriverRole

如果您使用加密的 Amazon EBS 磁碟機，則必須進一步設定政策。如需說明，請參閱 Amazon EBS SCI 驅動程式文件。

AWS 管理員

新增 Amazon EBS CSI 驅動程式。

使用下列eksctl命令來新增 Amazon EBS CSI 驅動程式：

eksctl create addon \
  --name aws-ebs-csi-driver \
  --cluster <YourClusterName> service-account-role-arn arn:aws:iam::$(aws sts get-caller-identity \
  --query Account \
  --output text):role/AmazonEKS_EBS_CSI_DriverRole \
  --force
AWS 管理員
任務描述所需的技能

複製 PGO 儲存庫。

複製 PGO 的 GitHub 儲存庫：

git clone https://github.com/CrunchyData/postgres-operator-examples.git
AWS DevOps

提供建立服務帳戶的角色詳細資訊。

若要授予 Amazon EKS 叢集對所需 AWS 資源的存取權，請指定您先前在 service_account.yaml 檔案中建立之 OIDC 角色的 Amazon Resource Name (ARN)。此檔案位於 儲存庫的命名空間資料夾中。

cd postgres-operator-examples
---
metadata:
  annotations:
    eks.amazonaws.com/role-arn: arn:aws:iam::<accountId>:role/<role_name> # Update the OIDC role ARN created earlier
AWS 管理員、Kubernetes 管理員

建立命名空間和 PGO 先決條件。

  1. 執行以下命令來建立 命名空間：

    kubectl apply -k kustomize/install/namespace

    這會建立 PGO 的專用命名空間。如有必要，您可以修改namespace.yml檔案，並將不同的名稱指派給命名空間。

  2. 執行下列命令，將預設組態套用至叢集：

    kubectl apply --server-side -k kustomize/install/default

    kustomize/install/default 提供 Kubernetes 角色型存取控制 (RBAC)、自訂資源定義 (CRD) 和 Kubernetes Manager 檔案的預設組態。

Kunernetes 管理員

驗證 Pod 的建立。

確認命名空間和預設組態已建立：

kubectl get pods -n postgres-operator
AWS 管理員、Kubernetes 管理員

驗證 PVCs。

使用下列命令來驗證持久性磁碟區宣告 PVCs)：

kubectl describe pvc -n postgres-operator
AWS 管理員、Kubernetes 管理員
任務描述所需的技能

建立運算子。

修改位於 的檔案內容/kustomize/postgres/postgres.yaml以符合下列項目：

spec:
  instances:
    - name: pg-1
      replicas: 3
  patroni:
    dynamicConfiguration:
      postgresql:
      pg_hba:
        - "host all all 0.0.0.0/0 trust" # this line enabled logical replication with programmatic access
        - "host all postgres 127.0.0.1/32 md5"
      synchronous_mode: true
  users:
  - name: replicator
    databases:
      - testdb
    options: "REPLICATION"

這些更新會執行下列動作：

  • 調整 PostgreSQL 組態設定，以方便存取 PostgreSQL 執行個體。

  • 包含複寫使用者、資料庫使用者和超級使用者的組態，以啟用串流複寫、資料庫存取和叢集管理。

AWS 管理員、DBA、Kubernetes 管理員

部署 運算子。

部署 PGO 運算子，以在 Kubernetes 環境中啟用 PostgreSQL 資料庫的簡化管理和操作：

kubectl apply -k kustomize/postgres
AWS 管理員、DBA、Kubernetes 管理員

驗證部署。

  1. 驗證是否已部署運算子：

    kubectl get pods -n postgres-operator --selector=postgres-operator.crunchydata.com/instance-set \   -L postgres-operator.crunchydata.com/role

  2. 確認已建立與運算子 Pod 相關聯的服務資源：

    kubectl get svc -n postgres-operator

從命令輸出中，記下主要複本 (primary_pod_name) 和僅供讀取複本 (read_pod_name)。您將在後續步驟中使用這些項目。

AWS 管理員、DBA、Kubernetes 管理員
任務描述所需的技能

將資料寫入主要複本。

使用下列命令來連線至 PostgreSQL 主要複本，並將資料寫入資料庫：

kubectl exec -it <primary_pod_name> bash -n postgres-operator
psql
CREATE TABLE customers (firstname text, customer_id serial, date_created timestamp);
\dt
AWS 管理員、Kubernetes 管理員

確認僅供讀取複本具有相同的資料。

連線至 PostgreSQL 僅供讀取複本，並檢查串流複寫是否正常運作：

kubectl exec -it {read_pod_name} bash -n postgres-operator
psql
\dt

僅供讀取複本應具有您在上一個步驟中於主要複本中建立的資料表。

AWS 管理員、Kubernetes 管理員

故障診斷

問題解決方案

Pod 不會啟動。

  • 使用下列命令來檢查 Pod 狀態：

    kubectl get pods -n your-namespace

  • 檢查日誌是否有任何錯誤：

    kubectl logs your-pod-name -n your-namespace

  • 檢查 Pod 事件是否有任何與您的 Pod 相關的異常事件：

    kubectl describe pod your-pod-name -n your-namespace

複本明顯落後於主要資料庫。

  • 檢查複寫延遲：

    SELECT * FROM pg_stat_replication;

  • 請確定複本有足夠的 CPU 和記憶體資源。檢查資源限制：

    kubectl describe pod your-replica-pod -n your-namespace

  • 驗證儲存後端是否以最佳方式執行。慢速磁碟 I/O 可能會導致複寫延遲。

您無法查看 PostgreSQL 叢集的效能和運作狀態。

  • 啟用 Amazon CloudWatch Logs 並確認日誌已傳送至 Amazon CloudWatch 進行分析。如需詳細資訊，請參閱 Amazon EKS 文件。

  • 檢查 pg_stat_activity：

    SELECT * FROM pg_stat_activity;

複寫無法運作。

  • 檢視 中的複寫設定，以檢查主要組態postgresql.conf：

    wal_level = replica
    max_wal_senders = 10
    wal_keep_size = 64  # or wal_keep_segments in older versions

  • 確認 pg_hba.conf包含複寫許可：

    host replication replica_user all md5

  • 檢查複本組態。確定 recovery.conf或同等設定 (standby.signal 和 primary_conninfo) 已在複本上正確設定。

相關資源