Converti i file mainframe dal formato EBCDIC al formato ASCII delimitato da caratteri in Amazon S3 utilizzando AWS Lambda

Creare le variabili di ambiente.

Copiate le seguenti variabili di ambiente in un editor di testo, quindi sostituite i <placeholder> valori dell'esempio seguente con i valori delle risorse:

bucket=<your_bucket_name>
account=<your_account_number>
region=<your_region_code>

Per definire le variabili di ambiente, apri la CloudShell console, quindi copia e incolla le variabili di ambiente aggiornate nella riga di comando.

Crea una cartella di lavoro.

Per semplificare il processo di pulizia delle risorse in un secondo momento, crea una cartella di lavoro CloudShell eseguendo il seguente comando:

mkdir workdir; cd workdir

Crea una politica di fiducia per la funzione Lambda.

Il convertitore EBCDIC funziona con una funzione Lambda. La funzione deve avere un ruolo IAM. Prima di creare il ruolo IAM, è necessario definire un documento sulla politica di fiducia che consenta alle risorse di assumere tale politica.

Dalla cartella CloudShell di lavoro, crea un documento di policy eseguendo il seguente comando:

E2ATrustPol=$(cat <<EOF
{
    "Version": "2012-10-17",		 	 	 
    "Statement": [
        {
            "Effect": "Allow",
            "Principal": {
                "Service": "lambda.amazonaws.com"
            },
            "Action": "sts:AssumeRole"
        }
    ]
}
EOF
)
printf "$E2ATrustPol" > E2ATrustPol.json

Crea il ruolo IAM per la conversione Lambda.

Per creare un ruolo IAM, esegui il seguente AWS CLI comando dalla cartella di CloudShell lavoro:

aws iam create-role --role-name E2AConvLambdaRole --assume-role-policy-document file://E2ATrustPol.json

Crea il documento di policy IAM per la funzione Lambda.

La funzione Lambda deve disporre dell'accesso in lettura/scrittura al bucket Amazon S3 e delle autorizzazioni di scrittura per Amazon Logs. CloudWatch

Per creare una policy IAM, esegui il seguente comando dalla cartella di lavoro: CloudShell

E2APolicy=$(cat <<EOF
{
    "Version": "2012-10-17",		 	 	 
    "Statement": [
        {
            "Sid": "Logs",
            "Effect": "Allow",
            "Action": [
                "logs:PutLogEvents",
                "logs:CreateLogStream",
                "logs:CreateLogGroup"
            ],
            "Resource": [
                "arn:aws:logs:*:*:log-group:*",
                "arn:aws:logs:*:*:log-group:*:log-stream:*"
            ]
        },
        {
            "Sid": "S3",
            "Effect": "Allow",
            "Action": [
                "s3:GetObject",
                "s3:PutObject",
                "s3:GetObjectVersion"
            ],
            "Resource": [
                "arn:aws:s3:::%s/*",
                "arn:aws:s3:::%s"
            ]
        }
    ]
}
EOF
)
printf "$E2APolicy" "$bucket" "$bucket" > E2AConvLambdaPolicy.json

Allega il documento sulla policy IAM al ruolo IAM.

Per allegare la policy IAM al ruolo IAM, inserisci il seguente comando dalla tua cartella di CloudShell lavoro:

aws iam put-role-policy --role-name E2AConvLambdaRole --policy-name E2AConvLambdaPolicy --policy-document file://E2AConvLambdaPolicy.json

Scarica il codice sorgente della conversione EBCDIC.

Dalla cartella CloudShell di lavoro, esegui il seguente comando per scaricare il codice mainframe-data-utilities sorgente da: GitHub

git clone https://github.com/aws-samples/mainframe-data-utilities.git mdu

Crea il pacchetto ZIP.

Dalla cartella di CloudShell lavoro, immettete il seguente comando per creare il pacchetto ZIP che crea la funzione Lambda per la conversione EBCDIC:

cd mdu; zip ../mdu.zip *.py; cd ..

Creazione della funzione Lambda

Dalla cartella di CloudShell lavoro, immettete il seguente comando per creare la funzione Lambda per la conversione EBCDIC:

aws lambda create-function \
--function-name E2A \
--runtime python3.9 \
--zip-file fileb://mdu.zip \
--handler extract_ebcdic_to_ascii.lambda_handler \
--role arn:aws:iam::$account:role/E2AConvLambdaRole \
--timeout 10 \
--environment "Variables={layout=$bucket/layout/}"

Crea la politica basata sulle risorse per la funzione Lambda.

Dalla cartella di CloudShell lavoro, inserisci il seguente comando per consentire alla notifica degli eventi di Amazon S3 di attivare la funzione Lambda per la conversione EBCDIC:

aws lambda add-permission \
--function-name E2A \
--action lambda:InvokeFunction \
--principal s3.amazonaws.com \
--source-arn arn:aws:s3:::$bucket \
--source-account $account \
--statement-id 1

Crea il documento di configurazione per la notifica degli eventi di Amazon S3.

La notifica degli eventi di Amazon S3 avvia la funzione Lambda di conversione EBCDIC quando i file vengono inseriti nella cartella di input.

Dalla cartella di CloudShell lavoro, esegui il seguente comando per creare il documento JSON per la notifica degli eventi di Amazon S3:

S3E2AEvent=$(cat <<EOF
{
"LambdaFunctionConfigurations": [
    {
      "Id": "E2A",
      "LambdaFunctionArn": "arn:aws:lambda:%s:%s:function:E2A",
      "Events": [ "s3:ObjectCreated:Put" ],
      "Filter": {
        "Key": {
          "FilterRules": [
            {
              "Name": "prefix",
              "Value": "input/"
            }
          ]
        }
      }
    }
  ]
}
EOF
)
printf "$S3E2AEvent" "$region" "$account" > S3E2AEvent.json

Crea la notifica degli eventi di Amazon S3.

Dalla cartella di CloudShell lavoro, inserisci il seguente comando per creare la notifica degli eventi di Amazon S3:

aws s3api put-bucket-notification-configuration --bucket $bucket --notification-configuration file://S3E2AEvent.json

Analizza il quaderno COBOL.

Dalla cartella di CloudShell lavoro, immettete il seguente comando per analizzare un quaderno COBOL di esempio in un file JSON (che definisce come leggere e suddividere correttamente il file di dati):

python3       mdu/parse_copybook_to_json.py \
-copybook     mdu/LegacyReference/COBKS05.cpy \
-output       CLIENT.json \
-output-s3key CLIENT.ASCII.txt \
-output-s3bkt $bucket \
-output-type  s3 \
-print        25

Aggiungi la regola di trasformazione.

Il file di dati di esempio e il corrispondente quaderno COBOL sono un file a più layout. Ciò significa che la conversione deve suddividere i dati in base a determinate regole. In questo caso, i byte nelle posizioni 3 e 4 in ogni riga definiscono il layout.

Dalla cartella CloudShell di lavoro, modificate il CLIENT.json file e modificate il contenuto nel "transf-rule": [], modo seguente:

"transf-rule": [
{
"offset": 4,
"size": 2,
"hex": "0002",
"transf": "transf1"
},
{
"offset": 4,
"size": 2,
"hex": "0000",
"transf": "transf2"
}
],

Carica i metadati JSON nel bucket Amazon S3.

Dalla cartella di CloudShell lavoro, inserisci il seguente AWS CLI comando per caricare i metadati JSON nel tuo bucket Amazon S3:

aws s3 cp CLIENT.json s3://$bucket/layout/CLIENT.json

Invia il file EBCDIC al bucket Amazon S3.

Dalla cartella di CloudShell lavoro, inserisci il seguente comando per inviare il file EBCDIC al bucket Amazon S3:

aws s3 cp mdu/sample-data/CLIENT.EBCDIC.txt s3://$bucket/input/

Controlla l'output.

Dalla cartella di CloudShell lavoro, inserisci il seguente comando per verificare se il file ASCII è generato nel tuo bucket Amazon S3:

aws s3 ls s3://$bucket/

Una volta che il file ASCII è disponibile, inserisci il seguente comando per visualizzare il contenuto del file convertito nel bucket Amazon S3. Se necessario, puoi scaricarlo o utilizzarlo direttamente dal bucket Amazon S3:

aws s3 cp s3://$bucket/CLIENT.ASCII.txt - | head

Controlla il contenuto del file ASCII:

0|0|220|
1|1|HERBERT MOHAMED|1958-08-31|BACHELOR|0010000.00|
1|2|36|THE ROE AVENUE|
2|1|JAYLEN GEORGE|1969-05-29|ELEMENTARY|0020000.00|
2|2|365|HEATHFIELD ESPLANADE|
3|1|MIKAEEL WEBER|1982-02-17|MASTER|0030000.00|
3|2|4555|MORRISON STRAND|
4|1|APRIL BARRERA|1967-01-12|DOCTOR|0030000.00|
4|2|1311|MARMION PARK|
5|1|ALEEZA PLANT|1985-03-01|BACHELOR|0008000.00|

(Facoltativo) Prepara le variabili e la cartella.

Se perdete la connessione con CloudShell, riconnettetevi e immettete il seguente comando per spostare la directory nella cartella di lavoro:

cd workdir

Assicuratevi che le variabili di ambiente siano definite:

bucket=<your_bucket_name>
account=<your_account_number>
region=<your_region_code>

Rimuovi la configurazione di notifica per il bucket.

Dalla cartella di CloudShell lavoro, esegui il seguente comando per rimuovere la configurazione di notifica degli eventi di Amazon S3:

aws s3api put-bucket-notification-configuration \
--bucket=$bucket \
--notification-configuration="{}"

Elimina la funzione Lambda.

Dalla cartella di CloudShell lavoro, immettete il seguente comando per eliminare la funzione Lambda per il convertitore EBCDIC:

aws lambda delete-function \
--function-name E2A

Elimina il ruolo e la policy IAM.

Dalla cartella di CloudShell lavoro, inserisci il seguente comando per rimuovere il ruolo e la politica del convertitore EBCDIC:

aws iam delete-role-policy \
--role-name E2AConvLambdaRole \
--policy-name E2AConvLambdaPolicy

aws iam delete-role \
--role-name E2AConvLambdaRole

Elimina i file generati nel bucket Amazon S3.

Dalla cartella di CloudShell lavoro, inserisci il seguente comando per eliminare i file generati nel bucket Amazon S3:

aws s3 rm s3://$bucket/layout --recursive
aws s3 rm s3://$bucket/input --recursive
aws s3 rm s3://$bucket/CLIENT.ASCII.txt

Elimina la cartella di lavoro.

Dalla cartella di CloudShell lavoro, immettete il seguente comando per workdir rimuoverne il contenuto:

cd ..; rm -Rf workdir