Memigrasi dan mereplikasi file VSAM ke Amazon RDS atau Amazon MSK menggunakan Connect from Excently

Prachi Khanna dan Boopathy GOPALSAMY, Amazon Web Services

Ringkasan

Pola ini menunjukkan kepada Anda cara memigrasi dan mereplikasi file Metode Akses Penyimpanan Virtual (VSAM) dari mainframe ke lingkungan target di AWS Cloud dengan menggunakan Connect from Accurly. Lingkungan target yang tercakup dalam pola ini termasuk Amazon Relational Database Service (Amazon RDS) dan Amazon Managed Streaming for Apache Kafka (Amazon MSK). Connect menggunakan change data capture (CDC) untuk terus memantau pembaruan ke file VSAM sumber Anda dan kemudian mentransfer pembaruan ini ke satu atau beberapa lingkungan target AWS Anda. Anda dapat menggunakan pola ini untuk memenuhi tujuan modernisasi aplikasi atau analisis data Anda. Misalnya, Anda dapat menggunakan Connect untuk memigrasikan file aplikasi VSAM Anda ke AWS Cloud dengan latensi rendah, atau memigrasikan data VSAM Anda ke gudang data AWS atau data lake untuk analitik yang dapat mentolerir latensi sinkronisasi yang lebih tinggi dari yang diperlukan untuk modernisasi aplikasi.

Prasyarat dan batasan

Prasyarat

Batasan

Versi produk

Arsitektur

Tumpukan teknologi sumber

Tumpukan teknologi target

Arsitektur target

Memigrasi file VSAM ke Amazon RDS

Diagram berikut menunjukkan cara memigrasikan file VSAM ke database relasional, seperti Amazon RDS, secara real time atau mendekati waktu nyata dengan menggunakan CDC agent/publisher di lingkungan sumber (mainframe lokal) dan Apply Engine di lingkungan target (AWS Cloud).

Diagram menunjukkan alur kerja batch berikut:

Diagram menunjukkan alur kerja online berikut:

Migrasi file VSAM ke Amazon MSK

Diagram berikut menunjukkan cara mengalirkan struktur data VSAM dari mainframe ke Amazon MSK dalam mode kinerja tinggi dan secara otomatis menghasilkan konversi skema JSON atau AVRO yang terintegrasi dengan Amazon MSK.

Diagram menunjukkan alur kerja batch berikut:

Diagram menunjukkan alur kerja online berikut:

Alat

Epik

 //STEP1 EXEC PGM=IDCAMS
 //SYSPRINT DD SYSOUT=*
 //SYSIN DD *
   ALTER SQDATA.CICS.FILEA -
   LOGSTREAMID(SQDATA.VSAMCDC.LOG1) -
   LOGREPLICATE

 Configure FCT Parms
   CEDA ALT FILE(name) GROUP(groupname)
   DSNAME(data set name)
   RECOVERY(NONE|BACKOUTONLY|ALL)
   FWDRECOVLOG(NO|1–99)
   BACKUPTYPE(STATIC|DYNAMIC)
   RECOVERY PARAMETERS
   RECOVery : None | Backoutonly | All
   Fwdrecovlog : No | 1-99
   BAckuptype : Static | Dynamic

builtin.features=SASL_SCRAM
  security.protocol=SASL_SSL
  sasl.mechanism=SCRAM-SHA-512
  sasl.username=
  sasl.password=
  metadata.broker.list=

Sumber daya terkait

Informasi tambahan

Contoh file konfigurasi

Ini adalah contoh file konfigurasi untuk logstream di mana lingkungan sumber adalah mainframe dan lingkungan target adalah Amazon MSK:

 
  -- JOBNAME -- PASS THE SUBSCRIBER NAME
  -- REPORT  progress report will be produced after "n" (number) of Source records processed.
  
  JOBNAME VSMTOKFK;
  --REPORT EVERY 100;
  -- Change Op has been ‘I’ for insert, ‘D’ for delete , and ‘R’ for Replace. For RDS it is 'U' for update
  -- Character Encoding on z/OS is Code Page 1047, on Linux and UNIX it is Code Page 819 and on Windows, Code Page 1252
  OPTIONS
  CDCOP('I', 'U', 'D'),
  PSEUDO NULL = NO,
  USE AVRO COMPATIBLE NAMES,
  APPLICATION ENCODING SCHEME = 1208;
  
  --       SOURCE DESCRIPTIONS
  
  BEGIN GROUP VSAM_SRC;
  DESCRIPTION COBOL ../copybk/ACCOUNT AS account_file;
  END GROUP;
  
  --       TARGET DESCRIPTIONS
  
  BEGIN GROUP VSAM_TGT;
  DESCRIPTION COBOL ../copybk/ACCOUNT AS account_file;
  END GROUP;
  
  --       SOURCE DATASTORE (IP & Publisher name)
  
  DATASTORE cdc://10.81.148.4:2626/vsmcdct/VSMTOKFK
  OF VSAMCDC
  AS CDCIN
  DESCRIBED BY GROUP VSAM_SRC ACCEPT ALL;
  
  --       TARGET DATASTORE(s) - Kafka and topic name
  
  DATASTORE 'kafka:///MSKTutorialTopic/key'
  OF JSON
  AS CDCOUT
  DESCRIBED BY GROUP VSAM_TGT FOR INSERT;
  
  --       MAIN SECTION
  
  PROCESS INTO
  CDCOUT
  SELECT
  {
  SETURL(CDCOUT, 'kafka:///MSKTutorialTopic/key')
  REMAP(CDCIN, account_file, GET_RAW_RECORD(CDCIN, AFTER), GET_RAW_RECORD(CDCIN, BEFORE))
  REPLICATE(CDCOUT, account_file)
  }
  FROM CDCIN;

Contoh pasangan kunci

Ini adalah contoh bagaimana menjalankan JCL untuk menghasilkan key pair:

//SQDUTIL EXEC PGM=SQDUTIL //SQDPUBL DD DSN=&USER..NACL.PUBLIC, // DCB=(RECFM=FB,LRECL=80,BLKSIZE=21200), // DISP=(,CATLG,DELETE),UNIT=SYSDA, // SPACE=(TRK,(1,1)) //SQDPKEY DD DSN=&USER..NACL.PRIVATE, // DCB=(RECFM=FB,LRECL=80,BLKSIZE=21200), // DISP=(,CATLG,DELETE),UNIT=SYSDA, // SPACE=(TRK,(1,1)) //SQDPARMS DD  keygen //SYSPRINT DD SYSOUT= //SYSOUT DD SYSOUT=* //SQDLOG DD SYSOUT=* //*SQDLOG8 DD DUMMY