Pindahkan file mainframe langsung ke Amazon S3 menggunakan Transfer Family - AWS Prescriptive Guidance
RingkasanPrasyarat dan batasanArsitekturAlatEpikSumber daya terkait

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Pindahkan file mainframe langsung ke Amazon S3 menggunakan Transfer Family

Luis Gustavo Dantas, Amazon Web Services

Ringkasan

Sebagai bagian dari perjalanan modernisasi, Anda dapat menghadapi tantangan untuk mentransfer file antara server lokal dan Amazon Web Services (AWS) Cloud. Mentransfer data dari mainframe dapat menjadi tantangan yang signifikan karena mainframe biasanya tidak dapat mengakses penyimpanan data modern seperti Amazon Simple Storage Service (Amazon S3), Amazon Elastic Block Store (Amazon EBS), atau Amazon Elastic File System (Amazon EFS).

Banyak pelanggan menggunakan sumber daya pementasan menengah, seperti server Linux, Unix, atau Windows lokal, untuk mentransfer file ke AWS Cloud. Anda dapat menghindari metode tidak langsung ini dengan menggunakan AWS Transfer Family dengan Secure Shell (SSH) File Transfer Protocol (SFTP) untuk mengunggah file mainframe langsung ke Amazon S3.

Prasyarat dan batasan

Prasyarat

  • Akun AWS yang aktif

  • Virtual Private Cloud (VPC) dengan subnet yang dapat dijangkau oleh platform lama Anda

  • Endpoint Transfer Family untuk VPC Anda

  • File Metode Akses Penyimpanan Virtual Mainframe (VSAM) yang dikonversi ke file berurutan dengan panjang tetap (dokumentasi IBM)

Batasan

  • SFTP mentransfer file dalam mode biner secara default, yang berarti bahwa file diunggah ke Amazon S3 dengan encoding EBCDIC dipertahankan. Jika file Anda tidak berisi data biner atau dikemas, maka Anda dapat menggunakan subperintah sftp ascii (dokumentasi IBM) untuk mengonversi file Anda menjadi teks selama transfer.

  • Anda harus membongkar file mainframe (AWS Prescriptive Guidance) yang berisi konten yang dikemas dan biner untuk menggunakan file-file ini di lingkungan target Anda.

  • Objek Amazon S3 dapat berkisar dalam ukuran dari minimal 0 byte hingga maksimum 5 TB. Untuk informasi selengkapnya tentang kemampuan Amazon S3, lihat Amazon S3. FAQs

Arsitektur

Tumpukan teknologi sumber

  • Bahasa kontrol pekerjaan (JCL)

  • z/OS Unix shell dan ISPF

  • SFTP

  • VSAM dan file datar

Tumpukan teknologi target

  • Transfer Family

  • Amazon S3

  • Amazon Virtual Private Cloud (Amazon VPC)

Arsitektur target

Diagram berikut menunjukkan arsitektur referensi untuk menggunakan Transfer Family dengan SFTP untuk mengunggah file mainframe langsung ke bucket S3.

Menggunakan Transfer Family dengan SFTP untuk mengunggah file mainframe langsung ke bucket S3

Diagram menunjukkan alur kerja berikut:

  1. Anda menggunakan pekerjaan JCL untuk mentransfer file mainframe Anda dari mainframe lama ke AWS Cloud melalui Direct Connect.

  2. Direct Connect memungkinkan lalu lintas jaringan Anda tetap berada di jaringan global AWS dan melewati internet publik. Direct Connect juga meningkatkan kecepatan jaringan, mulai dari 50 Mbps dan skala hingga 100 Gbps.

  3. Titik akhir VPC memungkinkan koneksi antara sumber daya VPC Anda dan layanan yang didukung tanpa menggunakan internet publik. Akses ke Transfer Family dan Amazon S3 mencapai ketersediaan tinggi dengan berlangsung melalui antarmuka jaringan elastis yang terletak di dua subnet pribadi dan Availability Zone.

  4. Transfer Family mengautentikasi pengguna dan menggunakan SFTP untuk menerima file Anda dari lingkungan lama dan memindahkannya ke bucket S3.

Otomatisasi dan skala

Setelah layanan Transfer Family tersedia, Anda dapat mentransfer file dalam jumlah tak terbatas dari mainframe ke Amazon S3 dengan menggunakan pekerjaan JCL sebagai klien SFTP. Anda juga dapat mengotomatiskan transfer file dengan menggunakan penjadwal pekerjaan batch mainframe untuk menjalankan pekerjaan SFTP ketika Anda siap untuk mentransfer file mainframe.

Alat

  • Amazon Simple Storage Service (Amazon S3) adalah layanan penyimpanan objek berbasis cloud yang membantu Anda menyimpan, melindungi, dan mengambil sejumlah data.

  • Amazon Virtual Private Cloud (Amazon VPC) membantu Anda meluncurkan sumber daya AWS ke jaringan virtual yang telah Anda tentukan. Jaringan virtual ini menyerupai jaringan tradisional yang akan Anda operasikan di pusat data Anda sendiri, dengan manfaat menggunakan infrastruktur AWS yang dapat diskalakan.

  • AWS Transfer Family memungkinkan Anda menskalakan transfer business-to-business file berulang dengan aman ke Amazon S3 dan Amazon EFS dengan menggunakan protokol SFTP, FTPS, dan FTP.

Epik

TugasDeskripsiKeterampilan yang dibutuhkan

Buat ember S3.

Buat bucket S3 untuk meng-host file yang Anda transfer dari lingkungan lama Anda.

AWS Umum

Buat peran dan kebijakan IAM.

Transfer Family menggunakan peran AWS Identity and Access Management (IAM) untuk memberikan akses ke bucket S3 yang Anda buat sebelumnya.

Buat peran IAM yang mencakup kebijakan IAM berikut:

{
    "Version": "2012-10-17",		 	 	 
    "Statement": [
        {
            "Sid": "UserFolderListing",
            "Action": [
                "s3:ListBucket",
                "s3:GetBucketLocation"
            ],
            "Effect": "Allow",
            "Resource": [
                "arn:aws:s3:::<your-bucket-name>"
            ]
        },
        {
            "Sid": "HomeDirObjectAccess",
            "Effect": "Allow",
            "Action": [
                "s3:PutObject",
                "s3:GetObjectAcl",
                "s3:GetObject",
                "s3:DeleteObjectVersion",
                "s3:DeleteObject",
                "s3:PutObjectAcl",
                "s3:GetObjectVersion"
            ],
            "Resource": "arn:aws:s3:::<your-bucket-name>/*"
        }
    ]
}
catatan

Anda harus memilih kasus penggunaan Transfer saat Anda membuat peran IAM.

AWS Umum
TugasDeskripsiKeterampilan yang dibutuhkan

Buat server SFTP.

  1. Masuk ke konsol AWS Management, buka konsol Transfer Family, lalu pilih Buat server.

  2. Pilih hanya SFTP (SSH File Transfer Protocol) - transfer file melalui protokol Secure Shell dan kemudian pilih Berikutnya.

  3. Untuk penyedia Identitas, pilih Layanan dikelola dan kemudian pilih Berikutnya.

  4. Untuk tipe Endpoint, pilih VPC yang dihosting.

  5. Untuk Akses, pilih Internal.

  6. Untuk VPC, pilih VPC Anda.

  7. Di bagian Availability Zones, pilih Availability Zones dan subnet Anda.

  8. Di bagian Grup Keamanan, pilih grup keamanan Anda, lalu pilih Berikutnya.

  9. Untuk Domain, pilih Amazon S3 lalu pilih Berikutnya.

  10. Tinggalkan opsi default pada halaman Konfigurasi detail tambahan dan kemudian pilih Berikutnya.

  11. Pilih Buat server.

catatan

Untuk informasi selengkapnya tentang cara menyiapkan server SFTP, lihat Membuat server berkemampuan SFTP (Panduan Pengguna AWS Transfer Family).

AWS Umum

Dapatkan alamat server.

  1. Buka konsol Transfer Family dan pilih ID server Anda di kolom Server ID.

  2. Di bagian Detail titik akhir, untuk tipe Endpoint, pilih ID endpoint. Ini membawa Anda ke konsol VPC Amazon.

  3. Pada tab Detail konsol VPC Amazon, temukan nama DNS di sebelah nama DNS.

AWS Umum

Buat key pair klien SFTP.

Buat key pair SSH untuk Microsoft Windows atau macOS/Linux/UNIX.

AWS Umum, SSH

Buat pengguna SFTP.

  1. Buka konsol Transfer Family, pilih Server dari panel navigasi, lalu pilih server Anda.

  2. Di kolom ID Server, pilih ID server untuk server Anda dan kemudian pilih Tambah pengguna.

  3. Untuk Username, masukkan nama pengguna yang cocok dengan nama pengguna key pair SSH Anda.

  4. Untuk Peran, pilih peran IAM yang Anda buat sebelumnya.

  5. Untuk direktori Home, pilih bucket S3 yang Anda buat sebelumnya.

  6. Untuk kunci publik SSH, masukkan key pair yang Anda buat sebelumnya.

  7. Pilih Tambahkan.

AWS Umum
TugasDeskripsiKeterampilan yang dibutuhkan

Kirim kunci pribadi SSH ke mainframe.

Gunakan SFTP atau SCP untuk mengirim kunci pribadi SSH ke lingkungan lama.

Contoh SFTP:

sftp [USERNAME@mainframeIP]
[password]
cd [/u/USERNAME]
put [your-key-pair-file]

Contoh SCP:

scp [your-key-pair-file] [USERNAME@MainframeIP]:/[u/USERNAME]

Selanjutnya, simpan kunci SSH dalam sistem file z/OS Unix di bawah nama pengguna yang nantinya akan menjalankan tugas batch transfer file (misalnya,/u/CONTROLM). 

catatan

Untuk informasi selengkapnya tentang z/OS Unix shell, lihat Pengantar z/OS shell (dokumentasi IBM).

Mainframe, shell z/OS Unix, FTP, SCP

Buat klien JCL SFTP.

Karena mainframe tidak memiliki klien SFTP asli, Anda harus menggunakan utilitas BPXBATCH untuk menjalankan klien SFTP dari shell Unix. z/OS

Di editor ISPF, buat klien JCL SFTP. Misalnya:

//JOBNAM JOB ...
//**********************************************************************
//SFTP EXEC PGM=BPXBATCH,REGION=0M 
//STDPARM DD * 
SH cp "//'MAINFRAME.FILE.NAME'" filename.txt; 
echo 'put filename.txt' > uplcmd; 
sftp -b uplcmd -i ssh_private_key_file ssh_username@<transfer service ip or DNS>; 
//SYSPRINT DD SYSOUT=* 
//STDOUT DD SYSOUT=* 
//STDENV DD * 
//STDERR DD SYSOUT=*
catatan

Untuk informasi selengkapnya tentang cara menjalankan perintah di shell z/OS Unix, lihat Utilitas BPXBATCH (dokumentasi IBM). Untuk informasi selengkapnya tentang cara membuat atau mengedit pekerjaan JCL di z/OS, lihat Apa itu ISPF? dan Editor ISPF (dokumentasi IBM).

JCL, Mainframe, z/OS cangkang Unix

Jalankan klien JCL SFTP.

  1. Di editor ISPF, masukkan SUB, lalu tekan tombol ENTER setelah pekerjaan JCL dibuat.

  2. Pantau aktivitas pekerjaan batch transfer file mainframe di SDSF.

catatan

Untuk informasi selengkapnya tentang cara memeriksa aktivitas pekerjaan batch, lihat Panduan Pengguna z/OS SDSF (dokumentasi IBM).

Mainframe, JCL, ISPF

Validasi transfer file.

  1. Masuk ke konsol AWS Management, buka konsol Amazon S3, lalu pilih Bucket dari panel navigasi.

  2. Pilih ember yang terkait dengan Transfer Family Anda.

  3. Di bagian Objek pada tab Objek, temukan file yang Anda transfer dari mainframe.

AWS Umum

Otomatiskan klien JCL SFTP.

Gunakan penjadwal pekerjaan untuk secara otomatis memicu klien JCL SFTP.

catatan

Anda dapat menggunakan penjadwal pekerjaan mainframe, seperti BMC Control-M atau CA Workload Automation, untuk mengotomatiskan pekerjaan batch untuk transfer file berdasarkan waktu dan dependensi pekerjaan batch lainnya.

Job scheduler

Sumber daya terkait