使用 BMC AMI Cloud Data 將大型主機資料備份和封存至 Amazon S3 - AWS 方案指引

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

使用 BMC AMI Cloud Data 將大型主機資料備份和封存至 Amazon S3

由 Santosh Kumar Singh (AWS)、Mikhael Liberman (Model9 大型主機軟體)、Gilberto Biondo (AWS) 和 Maggie Li (AWS) 建立

Summary

此模式示範如何將大型主機資料直接備份和封存至 Amazon Simple Storage Service (Amazon S3),然後使用 BMC AMI Cloud Data (先前稱為 Model9 Manager) 來回收和還原該資料至大型主機。如果您正在尋找一種方法將備份和封存解決方案現代化為大型主機現代化專案的一部分,或滿足合規要求,此模式有助於實現這些目標。

一般而言,在大型主機上執行核心業務應用程式的組織會使用虛擬磁帶庫 (VTL) 來備份資料存放區,例如檔案和日誌。此方法可能很昂貴,因為它會耗用計費 MIPS,而且無法存取存放在大型主機外部磁帶上的資料。若要避免這些問題,您可以使用 BMC AMI Cloud Data,以快速且經濟實惠的方式將操作和歷史大型主機資料直接傳輸至 Amazon S3。您可以使用 BMC AMI Cloud Data 透過 TCP/IP 備份和封存資料至 , AWS 同時利用 IBM z 整合式資訊處理器 (zIIP) 引擎來降低成本、平行處理和傳輸時間。

先決條件和限制

先決條件

  • 作用中的 AWS 帳戶

  • 具有有效授權金鑰的 BMC AMI 雲端資料

  • 大型主機與 AWS 之間的 TCP/IP 連線

  • 用於讀取/寫入存取 S3 儲存貯體的 AWS Identity and Access Management (IAM) 角色

  • 具備大型主機安全產品 (RACF) 存取權以執行 BMC AMI Cloud 程序

  • 具有可用網路連接埠、允許存取 S3 儲存貯體的防火牆規則,以及專用 z/FS 檔案系統的 BMC AMI Cloud z/OS 代理程式 (Java 版本 8 64 位元 SR5 FP16 或更新版本)

  • BMC AMI 雲端管理伺服器滿足的需求

限制

  • BMC AMI Cloud Data 將其操作資料存放在 PostgreSQL 資料庫中,該資料庫中以 Docker 容器的形式在與管理伺服器相同的 Amazon Elastic Compute Cloud (Amazon EC2) 執行個體上執行。Amazon Relational Database Service (Amazon RDS) 目前不支援做為 BMC AMI Cloud Data 的後端。如需最新產品更新的詳細資訊,請參閱《BMC 文件》中的最新消息?

  • 此模式只會備份和封存 z/OS 大型主機資料。BMC AMI Cloud Data 只會備份和封存大型主機檔案。

  • 此模式不會將資料轉換為標準開放格式,例如 JSON 或 CSV。使用額外的轉換服務,例如 BMC AMI Cloud Analytics (先前稱為 Model9 Gravity),將資料轉換為標準開放格式。雲端原生應用程式和資料分析工具可以在資料寫入雲端後存取資料。

產品版本

  • BMC AMI Cloud Data 2.x 版

架構

來源技術堆疊

  • 執行 z/OS 的大型主機

  • 大型主機檔案,例如資料集和 z/OS UNIX System Services (USS) 檔案

  • 大型主機磁碟,例如直接存取儲存裝置 (DASD)

  • 大型主機磁帶 (虛擬或實體磁帶庫)

目標技術堆疊

  • Amazon S3

  • 虛擬私有雲端 (VPC) 中的 Amazon EC2 執行個體

  • AWS Direct Connect

  • Amazon Elastic File System (Amazon EFS)

目標架構

下圖顯示參考架構,其中大型主機上的 BMC AMI Cloud Data 軟體代理程式會驅動將資料存放在 Amazon S3 中的舊版資料備份和封存程序。

大型主機上的 BMC AMI Cloud Data 軟體代理程式可驅動傳統資料備份和封存程序

該圖顯示以下工作流程:

  1. BMC AMI Cloud Data 軟體代理程式會在大型主機邏輯分割區 (LPARs) 上執行。軟體代理程式會透過 TCP/IP 從 DASD 或磁帶直接讀取和寫入大型主機資料至 Amazon S3。

  2. AWS Direct Connect 設定內部部署網路與 之間的實體隔離連線 AWS。為了增強安全性,請在 上執行site-to-site AWS Direct Connect 以加密傳輸中的資料。

  3. S3 儲存貯體會將大型主機檔案儲存為物件儲存資料,BMC AMI Cloud Data 代理程式會直接與 S3 儲存貯體通訊。憑證用於代理程式和 Amazon S3 之間所有通訊的 HTTPS 加密。Amazon S3 資料加密用於加密和保護靜態資料。

  4. 在 EC2 執行個體上,BMC AMI 雲端資料管理伺服器會以 Docker 容器的形式執行。執行個體會與在大型主機 LPARs代理程式通訊。 S3

  5. Amazon EFS 掛載在主動和被動 EC2 執行個體上,以共用網路檔案系統 (NFS) 儲存。這是為了確保與管理伺服器上建立的政策相關的中繼資料在容錯移轉時不會遺失。如果作用中伺服器發生容錯移轉,則可以存取被動伺服器,而不會遺失任何資料。如果被動伺服器失敗,則可以存取作用中伺服器,而不會遺失任何資料。

工具

AWS 服務

BMC 工具

  • BMC AMI 雲端管理伺服器是一種 GUI 應用程式,在 Amazon EC2 的 Amazon Linux Amazon Machine Image (AMI) 上執行為 Docker 容器。管理伺服器提供管理 BMC AMI Cloud 活動的功能,例如報告、建立和管理政策、執行封存,以及執行備份、召回和還原。

  • BMC AMI Cloud 代理程式會在內部部署大型主機 LPAR 上執行,該 LPAR 會使用 TCP/IP 直接讀取和寫入檔案至物件儲存體。已啟動的任務會在大型主機 LPAR 上執行,並負責讀取和寫入往返 Amazon S3 的備份和封存資料。

  • BMC AMI 雲端大型主機命令列界面 (M9CLI) 為您提供一組命令,讓您直接從 TSO/E 或在批次操作中執行 BMC AMI 雲端動作,而無需依賴管理伺服器。

史詩

任務描述所需的技能

建立 S3 儲存貯體。

建立 S3 儲存貯體,以存放您要從大型主機環境備份和封存的檔案和磁碟區。

一般 AWS

建立 IAM 政策。

所有 BMC AMI Cloud 管理伺服器和代理程式都需要存取您在上一個步驟中建立的 S3 儲存貯體。

若要授予必要的存取權,請建立下列 IAM 政策:

{ "Version": "2012-10-17", "Statement": [ { "Sid": "Listfolder", "Action": [ "s3:ListBucket", "s3:GetBucketLocation", "s3:ListBucketVersions" ], "Effect": "Allow", "Resource": [ "arn:aws:s3:::<Bucket Name>" ] }, { "Sid": "Objectaccess", "Effect": "Allow", "Action": [ "s3:PutObject", "s3:GetObjectAcl", "s3:GetObject", "s3:DeleteObjectVersion", "s3:DeleteObject", "s3:PutObjectAcl", "s3:GetObjectVersion" ], "Resource": [ "arn:aws:s3:::<Bucket Name>/*" ] } ] }
一般 AWS
任務描述所需的技能

取得 BMC AMI Cloud 軟體授權。

若要取得軟體授權金鑰,請聯絡 BMC AMI 雲端團隊。產生授權需要 z/OS D M=CPU命令的輸出。

建置潛在客戶

下載 BMC AMI Cloud 軟體和授權金鑰。

依照 BMC 文件的指示取得安裝檔案和授權金鑰。

大型主機基礎設施管理員
任務描述所需的技能

安裝 BMC AMI Cloud 軟體代理程式。

  1. 開始安裝程序之前,請確認已符合代理程式的最低軟體和硬體需求

  2. 若要安裝代理程式,請遵循 BMC 文件中的指示。

  3. 代理程式開始在大型主機 LPAR 上執行後,請檢查多工緩衝處理中的ZM91000I MODEL9 BACKUP AGENT INITIALIZED訊息。透過尋找代理程式 STDOUT 中的訊息,確認代理程式與 S3 儲存貯體之間已成功建立連線。 Object store connectivity has been established successfully

大型主機基礎設施管理員
任務描述所需的技能

建立 Amazon EC2 Linux 2 執行個體。

依照 Amazon EC2 文件中的步驟 1:啟動執行個體中的指示,在不同可用區域中啟動兩個 Amazon EC2 Linux 2 執行個體。 Amazon EC2

執行個體必須符合下列建議的硬體和軟體需求:

  • CPU – 最少 4 個核心

  • RAM – 最低 8 GB

  • 磁碟機 – 40 GB

  • 建議的 EC2 執行個體 – C5.xlarge

  • 作業系統 – Linux

  • 軟體 – Docker、Unzip、vi/VIM

  • 網路頻寬 – 最低 1 GB

如需詳細資訊,請參閱 BMC 文件

雲端架構師、雲端管理員

建立 Amazon EFS 檔案系統。

遵循 Amazon EFS 文件中的步驟 1:建立 Amazon EFS 檔案系統的指示來建立 Amazon EFS 檔案系統。 EFS

建立檔案系統時,請執行下列動作:

  • 選擇標準儲存類別。

  • 選擇您用來啟動 EC2 執行個體的相同 VPC。

雲端管理員、雲端架構師

安裝 Docker 並設定管理伺服器。

連線至 EC2 執行個體:

遵循 Amazon EC2 文件中來自連接至 Linux 執行個體的指示,連線至 EC2 執行個體。 Amazon EC2

設定 EC2 執行個體:

針對每個 EC2 執行個體,執行下列動作:

  1. 若要安裝 Docker,請執行 命令:

    sudo yum install docker
  2. 若要啟動 Docker,請執行 命令:

    sudo service docker start
  3. 若要驗證 Docker 的狀態,請執行 命令:

    sudo service docker status
  4. /etc/selinux資料夾中,將config檔案變更為 SELINUX=permissive

  5. model9-v2.x.y_build_build-id-server.zipVerificationScripts.zip 檔案 (您先前下載的) 上傳到其中一個 EC2 執行個體中的暫存資料夾 (例如,上傳到執行個體中的 /var/tmp 資料夾)。

  6. 若要前往 tmp 資料夾,請執行 命令:

    cd/var/tmp
  7. 若要解壓縮驗證指令碼,請執行 命令:

    unzip VerificationScripts.zip
  8. 若要變更目錄,請執行 命令:

    cd /var/tmp/sysutils/PrereqsScripts
  9. 若要執行驗證指令碼,請執行 命令:

    ./M9VerifyPrereqs.sh
  10. 驗證指令碼提示輸入後,輸入 Amazon S3 URL 和連接埠號碼。然後,輸入 z/OS IP/DNS 和連接埠號碼。

    注意

    指令碼會執行檢查,以確認 EC2 執行個體可與在大型主機上執行的 S3 儲存貯體和代理程式連線。如果已建立連線,則會顯示成功訊息。

雲端架構師、雲端管理員

安裝 Management Server 軟體。

  1. 在您計劃建立作用中伺服器的 EC2 執行個體的根目錄 (例如 /data/model9) 中建立資料夾和子資料夾。

  2. 若要安裝套件amazon-efs-utils和掛載先前建立的 Amazon EFS 檔案系統,請執行下列命令:

    sudo yum install -y amazon-efs-utils sudo mount -t efs -o tls <File System ID>:/ /data/model9
  3. 若要使用 Amazon EFS 檔案系統的項目更新 EC2 執行個體/etc/fstab的檔案 (以便在 Amazon EC2 重新啟動時自動重新掛載 Amazon EFS),請執行 命令: Amazon EC2

    <Amazon-EFS-file-system-id>:/ /data/model9 efs defaults,_netdev 0 0
  4. 若要定義 BMC AMI Cloud 安裝檔案的路徑和目標安裝位置,請執行下列命令來匯出變數:

    export MODEL9_HOME=/data/model9 export M9INSTALL=/var/tmp
    注意

    建議您將這些 EXPORT 命令新增至.bashrc指令碼。

  5. 若要變更目錄,請執行 cd $MODEL9_HOME命令,然後執行 mkdir diag命令來建立另一個子目錄。

  6. 若要解壓縮安裝檔案,請執行 命令:

    unzip $M9INSTALL/model9-<v2.x.y>_build_<build-id>-server.zip
    注意

    x.y(版本) 和 取代build-id為您的值。

  7. 若要部署應用程式,請執行下列命令:

    docker load -i $MODEL9_HOME/model9-<v2.x.y>_build_<build-id>.docker docker load -i $MODEL9_HOME/postgres-12.10-x86.docker.gz
    注意

    v2.x.y(版本) 和 取代build-id為您的值。

  8. $MODEL9_HOME/conf 資料夾中,更新model9-local.yml 檔案。

    注意

    有些參數具有預設值,其他參數則可視需要更新。如需詳細資訊,請參閱 model9-local.yml 檔案中的說明。

  9. 建立名為 的檔案$MODEL9_HOME/conf,然後將下列參數新增至檔案:

    TZ=America/New_York EXTRA_JVM_ARGS=-Xmx2048m
  10. 若要建立 Docker 網路橋接器,請執行 命令:

    docker network create -d bridge model9network
  11. 若要啟動適用於 BMC AMI Cloud 的 PostgreSQL 資料庫容器,請執行下列命令:

    docker run -p 127.0.0.1:5432:5432 \ -v $MODEL9_HOME/db/data:/var/lib/postgresql/data:z \ --name model9db --restart unless-stopped \ --network model9network \ -e POSTGRES_PASSWORD=model9 -e POSTGRES_DB=model9 -d postgres:12.10
  12. PostgreSQL 容器開始執行後,請執行下列命令來啟動應用程式伺服器:

    docker run -d -p 0.0.0.0:443:443 -p 0.0.0.0:80:80 \ --sysctl net.ipv4.tcp_keepalive_time=600 \ --sysctl net.ipv4.tcp_keepalive_intvl=30 \ --sysctl net.ipv4.tcp_keepalive_probes=10 \ -v $MODEL9_HOME:/model9:z -h $(hostname) --restart unless-stopped \ --env-file $MODEL9_HOME/conf/model9.env \ --network model9network \ --name model9-v2.x.y model9:<v2.x.y>.<build-id>
    注意

    v2.x.y(版本) 和 取代build-id為您的值。

  13. 若要檢查兩個容器的運作狀態,請執行 命令:

    docker ps -a
  14. 若要在被動 EC2 執行個體上安裝管理伺服器,請重複步驟 1–4、7 和 10–13。

注意

若要疑難排解問題,請前往存放在 /data/model9/logs/資料夾中的日誌。如需詳細資訊,請參閱 BMC 文件

雲端架構師、雲端管理員
任務描述所需的技能

新增客服人員。

新增客服人員之前,請確認下列事項:

  • BMC AMI Cloud 代理程式正在大型主機 LPAR 上執行,並已完全初始化。透過在多工緩衝處理中尋找ZM91000I MODEL9 BACKUP AGENT INITIALIZED初始化訊息來識別代理程式。

  • 管理伺服器的 Docker 容器已完全初始化並執行。

您必須先在管理伺服器上建立 代理程式,才能定義任何備份和封存政策。若要建立代理程式,請執行下列動作:

  1. 使用 Web 瀏覽器存取部署在 Amazon EC2 機器上的管理伺服器,然後使用您的大型主機登入資料登入。

  2. 選擇AGENTS 索引標籤,然後選擇新增代理程式

  3. 名稱中,輸入客服人員名稱。

  4. 針對主機名稱/IP 地址,輸入大型主機的主機名稱或 IP 地址。

  5. 連接埠中,輸入您的連接埠號碼。

  6. 選擇測試連線。如果連線成功建立,您可以看到成功訊息。

  7. 選擇 CREATE

建立代理程式後,您會在資料表中出現的新視窗中看到物件儲存體和大型主機代理程式的連線狀態。

大型主機儲存管理員或開發人員

建立備份或封存政策。

  1. 選擇政策

  2. ChooseCREATE 政策

  3. 建立新政策頁面上,輸入您的政策規格。

    注意

    如需可用規格的詳細資訊,請參閱《BMC 文件》中的建立新政策

  4. 選擇 Finish (完成)。

  5. 新政策現在會列為資料表。若要查看此表格,請選擇POLICIES 標籤。

大型主機儲存管理員或開發人員
任務描述所需的技能

執行備份或封存政策。

手動或自動 (根據排程) 執行您先前從管理伺服器建立的資料備份或封存政策。若要手動執行政策:

  1. 從導覽功能表中選擇POLICIES 標籤。

  2. 在您要執行之政策的資料表右側,選擇三點功能表。

  3. 選擇立即執行

  4. 在彈出式確認視窗中,選擇是、立即執行政策

  5. 政策執行後,請在政策活動區段中驗證執行狀態。

  6. 對於執行的政策,選擇三點功能表,然後選擇檢視執行日誌以查看日誌。

  7. 若要確認已建立備份,請檢查 S3 儲存貯體。

大型主機儲存管理員或開發人員

還原備份或封存政策。

  1. 在導覽功能表中,選擇POLICIES 標籤。

  2. 選擇要執行還原程序的政策。這將列出過去針對該特定政策執行的所有備份或封存活動。

  3. 若要選取您要還原的備份,請選擇日期時間欄。file/Volume/Storage 群組名稱會顯示政策的執行詳細資訊。

  4. 在資料表右側,選擇三點選單,然後選擇RESTORE

  5. 在快顯視窗中,輸入您的目標名稱、磁碟區和儲存群組,然後選擇 RESTORE

  6. 輸入您的大型主機登入資料,然後再次選擇 RESTORE

  7. 若要驗證還原是否成功,請檢查日誌或大型主機。

大型主機儲存管理員或開發人員
任務描述所需的技能

使用 M9CLI 執行備份或封存政策。

使用 M9CLI 從 TSO/E、REXX 或透過 JCLs 執行備份和還原程序,而無需在 BMC AMI 雲端管理伺服器上設定規則。

使用 TSO/E:

如果您使用 TSO/E,請確定 M9CLI REXX 與 串連TSO。若要透過 TSO/E 備份資料集,請使用 TSO M9CLI BACKDSN <DSNAME>命令。

注意

如需 M9CLI 命令的詳細資訊,請參閱《BMC 文件》中的 CLI 參考

使用 JCLs:

若要使用 JCLs 執行備份和封存政策,請執行 M9CLI命令。

使用批次操作:

下列範例示範如何透過批次執行 M9CLI命令來封存資料集:

//JOBNAME JOB … //M9CLI EXEC PGM=IKJEFT01 //STEPLIB DD DISP=SHR,DSN=<MODEL9 LOADLIB> //SYSEXEC DD DISP=SHR,DSN=<MODEL9 EXEC LIB> //SYSTSPRT DD SYSOUT=* //SYSPRINT DD SYSOUT=* //SYSTSIN DD TSO M9CLI ARCHIVE M9CLI ARCHIVE <DSNNAME OR DSN PATTERN> /
大型主機儲存管理員或開發人員

在 JCL 批次中執行備份或封存政策。

BMC AMI Cloud 提供名為 M9SAPIJ 的範例 JCL 常式。您可以自訂 M9SAPIJ,以使用 JCL 在管理伺服器上建立的特定政策。此任務也可以是批次排程器的一部分,用於自動執行備份和還原程序。

批次任務預期下列必要值:

  • 管理伺服器 IP 地址/主機名稱

  • 連接埠號碼

  • 政策 ID 或政策名稱 (在管理伺服器上建立)

注意

您也可以遵循範例任務的指示來變更其他值。

大型主機儲存管理員或開發人員

相關資源