Konversi file mainframe dari format EBCDIC ke format ASCII yang dibatasi karakter di Amazon S3 menggunakan AWS Lambda

Buat variabel lingkungan.

Salin variabel lingkungan berikut ke editor teks, lalu ganti <placeholder> nilai dalam contoh berikut dengan nilai sumber daya Anda:

bucket=<your_bucket_name>
account=<your_account_number>
region=<your_region_code>

Untuk menentukan variabel lingkungan, buka CloudShell konsol, lalu salin dan tempel variabel lingkungan Anda yang diperbarui ke baris perintah.

Buat folder yang berfungsi.

Untuk menyederhanakan proses pembersihan sumber daya nanti, buat folder kerja CloudShell dengan menjalankan perintah berikut:

mkdir workdir; cd workdir

Buat kebijakan kepercayaan untuk fungsi Lambda.

Konverter EBCDIC berjalan dalam fungsi Lambda. Fungsi tersebut harus memiliki peran IAM. Sebelum Anda membuat peran IAM, Anda harus menentukan dokumen kebijakan kepercayaan yang memungkinkan sumber daya untuk mengambil kebijakan tersebut.

Dari folder CloudShell kerja, buat dokumen kebijakan dengan menjalankan perintah berikut:

E2ATrustPol=$(cat <<EOF
{
    "Version": "2012-10-17",		 	 	 
    "Statement": [
        {
            "Effect": "Allow",
            "Principal": {
                "Service": "lambda.amazonaws.com"
            },
            "Action": "sts:AssumeRole"
        }
    ]
}
EOF
)
printf "$E2ATrustPol" > E2ATrustPol.json

Buat peran IAM untuk konversi Lambda.

Untuk membuat peran IAM, jalankan AWS CLI perintah berikut dari folder CloudShell kerja:

aws iam create-role --role-name E2AConvLambdaRole --assume-role-policy-document file://E2ATrustPol.json

Buat dokumen kebijakan IAM untuk fungsi Lambda.

Fungsi Lambda harus memiliki akses baca-tulis ke bucket Amazon S3 dan izin tulis untuk Amazon Log. CloudWatch

Untuk membuat kebijakan IAM, jalankan perintah berikut dari folder CloudShell kerja:

E2APolicy=$(cat <<EOF
{
    "Version": "2012-10-17",		 	 	 
    "Statement": [
        {
            "Sid": "Logs",
            "Effect": "Allow",
            "Action": [
                "logs:PutLogEvents",
                "logs:CreateLogStream",
                "logs:CreateLogGroup"
            ],
            "Resource": [
                "arn:aws:logs:*:*:log-group:*",
                "arn:aws:logs:*:*:log-group:*:log-stream:*"
            ]
        },
        {
            "Sid": "S3",
            "Effect": "Allow",
            "Action": [
                "s3:GetObject",
                "s3:PutObject",
                "s3:GetObjectVersion"
            ],
            "Resource": [
                "arn:aws:s3:::%s/*",
                "arn:aws:s3:::%s"
            ]
        }
    ]
}
EOF
)
printf "$E2APolicy" "$bucket" "$bucket" > E2AConvLambdaPolicy.json

Lampirkan dokumen kebijakan IAM ke peran IAM.

Untuk melampirkan kebijakan IAM ke peran IAM, masukkan perintah berikut dari folder CloudShell kerja Anda:

aws iam put-role-policy --role-name E2AConvLambdaRole --policy-name E2AConvLambdaPolicy --policy-document file://E2AConvLambdaPolicy.json

Unduh kode sumber konversi EBCDIC.

Dari folder CloudShell kerja, jalankan perintah berikut untuk mengunduh kode mainframe-data-utilities sumber dari GitHub:

git clone https://github.com/aws-samples/mainframe-data-utilities.git mdu

Buat paket ZIP.

Dari folder CloudShell kerja, masukkan perintah berikut untuk membuat paket ZIP yang membuat fungsi Lambda untuk konversi EBCDIC:

cd mdu; zip ../mdu.zip *.py; cd ..

Buat fungsi Lambda.

Dari folder CloudShell kerja, masukkan perintah berikut untuk membuat fungsi Lambda untuk konversi EBCDIC:

aws lambda create-function \
--function-name E2A \
--runtime python3.9 \
--zip-file fileb://mdu.zip \
--handler extract_ebcdic_to_ascii.lambda_handler \
--role arn:aws:iam::$account:role/E2AConvLambdaRole \
--timeout 10 \
--environment "Variables={layout=$bucket/layout/}"

Buat kebijakan berbasis sumber daya untuk fungsi Lambda.

Dari folder CloudShell kerja, masukkan perintah berikut untuk mengizinkan pemberitahuan peristiwa Amazon S3 Anda memicu fungsi Lambda untuk konversi EBCDIC:

aws lambda add-permission \
--function-name E2A \
--action lambda:InvokeFunction \
--principal s3.amazonaws.com \
--source-arn arn:aws:s3:::$bucket \
--source-account $account \
--statement-id 1

Buat dokumen konfigurasi untuk pemberitahuan acara Amazon S3.

Pemberitahuan peristiwa Amazon S3 memulai fungsi Lambda konversi EBCDIC saat file ditempatkan di folder input.

Dari folder CloudShell kerja, jalankan perintah berikut untuk membuat dokumen JSON untuk pemberitahuan acara Amazon S3:

S3E2AEvent=$(cat <<EOF
{
"LambdaFunctionConfigurations": [
    {
      "Id": "E2A",
      "LambdaFunctionArn": "arn:aws:lambda:%s:%s:function:E2A",
      "Events": [ "s3:ObjectCreated:Put" ],
      "Filter": {
        "Key": {
          "FilterRules": [
            {
              "Name": "prefix",
              "Value": "input/"
            }
          ]
        }
      }
    }
  ]
}
EOF
)
printf "$S3E2AEvent" "$region" "$account" > S3E2AEvent.json

Buat notifikasi acara Amazon S3.

Dari folder CloudShell kerja, masukkan perintah berikut untuk membuat pemberitahuan acara Amazon S3:

aws s3api put-bucket-notification-configuration --bucket $bucket --notification-configuration file://S3E2AEvent.json

Mengurai copybook COBOL.

Dari folder CloudShell kerja, masukkan perintah berikut untuk mengurai contoh copybook COBOL ke dalam file JSON (yang mendefinisikan cara membaca dan mengiris file data dengan benar):

python3       mdu/parse_copybook_to_json.py \
-copybook     mdu/LegacyReference/COBKS05.cpy \
-output       CLIENT.json \
-output-s3key CLIENT.ASCII.txt \
-output-s3bkt $bucket \
-output-type  s3 \
-print        25

Tambahkan aturan transformasi.

File data sampel dan copybook COBOL yang sesuai adalah file multi-tata letak. Ini berarti bahwa konversi harus mengiris data berdasarkan aturan tertentu. Dalam hal ini, byte pada posisi 3 dan 4 di setiap baris menentukan tata letak.

Dari folder CloudShell kerja, edit CLIENT.json file dan ubah konten dari "transf-rule": [], yang berikut:

"transf-rule": [
{
"offset": 4,
"size": 2,
"hex": "0002",
"transf": "transf1"
},
{
"offset": 4,
"size": 2,
"hex": "0000",
"transf": "transf2"
}
],

Unggah metadata JSON ke bucket Amazon S3.

Dari folder CloudShell kerja, masukkan AWS CLI perintah berikut untuk mengunggah metadata JSON ke bucket Amazon S3 Anda:

aws s3 cp CLIENT.json s3://$bucket/layout/CLIENT.json

Kirim file EBCDIC ke bucket Amazon S3.

Dari folder CloudShell kerja, masukkan perintah berikut untuk mengirim file EBCDIC ke bucket Amazon S3:

aws s3 cp mdu/sample-data/CLIENT.EBCDIC.txt s3://$bucket/input/

Periksa outputnya.

Dari folder CloudShell kerja, masukkan perintah berikut untuk memeriksa apakah file ASCII dihasilkan di bucket Amazon S3 Anda:

aws s3 ls s3://$bucket/

Setelah file ASCII tersedia, masukkan perintah berikut untuk melihat konten file yang dikonversi di bucket Amazon S3. Sesuai kebutuhan, Anda dapat mengunduhnya atau menggunakannya langsung dari bucket Amazon S3:

aws s3 cp s3://$bucket/CLIENT.ASCII.txt - | head

Periksa konten file ASCII:

0|0|220|
1|1|HERBERT MOHAMED|1958-08-31|BACHELOR|0010000.00|
1|2|36|THE ROE AVENUE|
2|1|JAYLEN GEORGE|1969-05-29|ELEMENTARY|0020000.00|
2|2|365|HEATHFIELD ESPLANADE|
3|1|MIKAEEL WEBER|1982-02-17|MASTER|0030000.00|
3|2|4555|MORRISON STRAND|
4|1|APRIL BARRERA|1967-01-12|DOCTOR|0030000.00|
4|2|1311|MARMION PARK|
5|1|ALEEZA PLANT|1985-03-01|BACHELOR|0008000.00|

(Opsional) Siapkan variabel dan folder.

Jika Anda kehilangan koneksi dengan CloudShell, sambungkan kembali dan kemudian masukkan perintah berikut untuk mengubah direktori ke folder kerja:

cd workdir

Pastikan bahwa variabel lingkungan didefinisikan:

bucket=<your_bucket_name>
account=<your_account_number>
region=<your_region_code>

Hapus konfigurasi notifikasi untuk bucket.

Dari folder CloudShell kerja, jalankan perintah berikut untuk menghapus konfigurasi pemberitahuan acara Amazon S3:

aws s3api put-bucket-notification-configuration \
--bucket=$bucket \
--notification-configuration="{}"

Hapus fungsi Lambda.

Dari folder CloudShell kerja, masukkan perintah berikut untuk menghapus fungsi Lambda untuk konverter EBCDIC:

aws lambda delete-function \
--function-name E2A

Hapus peran dan kebijakan IAM.

Dari folder CloudShell kerja, masukkan perintah berikut untuk menghapus peran dan kebijakan konverter EBCDIC:

aws iam delete-role-policy \
--role-name E2AConvLambdaRole \
--policy-name E2AConvLambdaPolicy

aws iam delete-role \
--role-name E2AConvLambdaRole

Hapus file yang dihasilkan di bucket Amazon S3.

Dari folder CloudShell kerja, masukkan perintah berikut untuk menghapus file yang dihasilkan di bucket Amazon S3:

aws s3 rm s3://$bucket/layout --recursive
aws s3 rm s3://$bucket/input --recursive
aws s3 rm s3://$bucket/CLIENT.ASCII.txt

Hapus folder kerja.

Dari folder CloudShell kerja, masukkan perintah berikut untuk menghapus workdir dan isinya:

cd ..; rm -Rf workdir