使用 Connect from Precisely 将 VSAM 文件迁移和复制到 Amazon RDS 或 Amazon MSK

Prachi Khanna 和 Boopathy GOPALSAMY，Amazon Web Services

摘要

此模式向您展示了如何使用 Connect from Precisely 将虚拟存储访问方法 (VSAM) 文件从大型机迁移和复制到 Amazon Web Services Cloud 中的目标环境。此模式涵盖的目标环境包括 Amazon Relational Database Service (Amazon RDS) 和 Amazon Managed Streaming for Apache Kafka (Amazon MSK)。Connect 使用更改数据捕获 (CDC) 持续监控源 VSAM 文件的更新，然后将这些更新传输到您的一个或多个 AWS 目标环境。您可使用这种模式来实现应用程序现代化或数据分析目标。例如，您可使用 Connect 将您的 VSAM 应用程序文件以低延迟迁移到 Amazon Web Services Cloud，或者将 VSAM 数据迁移到 AWS 数据仓库或数据湖进行分析，以容限高于应用程序现代化所需同步延迟。

先决条件和限制

先决条件

限制

产品版本

架构

源技术堆栈

目标技术堆栈

目标架构

将 VSAM 文件迁移到 Amazon RDS

下图显示了如何通过在源环境（本地大型机）中使用 CDC 代理/Publisher，在目标环境 (AWS Cloud) 中使用 Apply Engine，实时或近乎实时地将 VSAM 文件迁移到关系数据库（例如 Amazon RDS）。

图表显示了以下批处理工作流：

图表显示了以下在线工作流：

将 VSAM 文件迁移到 Amazon MSK

下图显示了如何在高性能模式下将 VSAM 数据结构从大型机流式传输到 Amazon MSK，并自动生成与 Amazon MSK 集成的 JSON 或 AVRO 架构转换。

图表显示了以下批处理工作流：

图表显示了以下在线工作流：

工具

操作说明

 //STEP1 EXEC PGM=IDCAMS
 //SYSPRINT DD SYSOUT=*
 //SYSIN DD *
   ALTER SQDATA.CICS.FILEA -
   LOGSTREAMID(SQDATA.VSAMCDC.LOG1) -
   LOGREPLICATE

 Configure FCT Parms
   CEDA ALT FILE(name) GROUP(groupname)
   DSNAME(data set name)
   RECOVERY(NONE|BACKOUTONLY|ALL)
   FWDRECOVLOG(NO|1–99)
   BACKUPTYPE(STATIC|DYNAMIC)
   RECOVERY PARAMETERS
   RECOVery : None | Backoutonly | All
   Fwdrecovlog : No | 1-99
   BAckuptype : Static | Dynamic

builtin.features=SASL_SCRAM
  security.protocol=SASL_SSL
  sasl.mechanism=SCRAM-SHA-512
  sasl.username=
  sasl.password=
  metadata.broker.list=

相关资源

其他信息

配置文件示例

以下日志流的示例配置文件，其中源环境为大型机，目标环境是 Amazon MSK：

 
  -- JOBNAME -- PASS THE SUBSCRIBER NAME
  -- REPORT  progress report will be produced after "n" (number) of Source records processed.
  
  JOBNAME VSMTOKFK;
  --REPORT EVERY 100;
  -- Change Op has been ‘I’ for insert, ‘D’ for delete , and ‘R’ for Replace. For RDS it is 'U' for update
  -- Character Encoding on z/OS is Code Page 1047, on Linux and UNIX it is Code Page 819 and on Windows, Code Page 1252
  OPTIONS
  CDCOP('I', 'U', 'D'),
  PSEUDO NULL = NO,
  USE AVRO COMPATIBLE NAMES,
  APPLICATION ENCODING SCHEME = 1208;
  
  --       SOURCE DESCRIPTIONS
  
  BEGIN GROUP VSAM_SRC;
  DESCRIPTION COBOL ../copybk/ACCOUNT AS account_file;
  END GROUP;
  
  --       TARGET DESCRIPTIONS
  
  BEGIN GROUP VSAM_TGT;
  DESCRIPTION COBOL ../copybk/ACCOUNT AS account_file;
  END GROUP;
  
  --       SOURCE DATASTORE (IP & Publisher name)
  
  DATASTORE cdc://10.81.148.4:2626/vsmcdct/VSMTOKFK
  OF VSAMCDC
  AS CDCIN
  DESCRIBED BY GROUP VSAM_SRC ACCEPT ALL;
  
  --       TARGET DATASTORE(s) - Kafka and topic name
  
  DATASTORE 'kafka:///MSKTutorialTopic/key'
  OF JSON
  AS CDCOUT
  DESCRIBED BY GROUP VSAM_TGT FOR INSERT;
  
  --       MAIN SECTION
  
  PROCESS INTO
  CDCOUT
  SELECT
  {
  SETURL(CDCOUT, 'kafka:///MSKTutorialTopic/key')
  REMAP(CDCIN, account_file, GET_RAW_RECORD(CDCIN, AFTER), GET_RAW_RECORD(CDCIN, BEFORE))
  REPLICATE(CDCOUT, account_file)
  }
  FROM CDCIN;

密钥对示例

以下是关于如何运行 JCL 生成密钥对的示例：

//SQDUTIL EXEC PGM=SQDUTIL //SQDPUBL DD DSN=&USER..NACL.PUBLIC, // DCB=(RECFM=FB,LRECL=80,BLKSIZE=21200), // DISP=(,CATLG,DELETE),UNIT=SYSDA, // SPACE=(TRK,(1,1)) //SQDPKEY DD DSN=&USER..NACL.PRIVATE, // DCB=(RECFM=FB,LRECL=80,BLKSIZE=21200), // DISP=(,CATLG,DELETE),UNIT=SYSDA, // SPACE=(TRK,(1,1)) //SQDPARMS DD  keygen //SYSPRINT DD SYSOUT= //SYSOUT DD SYSOUT=* //SQDLOG DD SYSOUT=* //*SQDLOG8 DD DUMMY