Convertissez des fichiers mainframe du format EBCDIC au format ASCII délimité par des caractères dans Amazon S3 en utilisant AWS Lambda

Créez les variables d'environnement.

Copiez les variables d'environnement suivantes dans un éditeur de texte, puis remplacez les <placeholder> valeurs de l'exemple suivant par les valeurs de vos ressources :

bucket=<your_bucket_name>
account=<your_account_number>
region=<your_region_code>

Pour définir des variables d'environnement, ouvrez la CloudShell console, puis copiez-collez vos variables d'environnement mises à jour sur la ligne de commande.

Créez un dossier de travail.

Pour simplifier ultérieurement le processus de nettoyage des ressources, créez un dossier de travail en CloudShell exécutant la commande suivante :

mkdir workdir; cd workdir

Créez une politique de confiance pour la fonction Lambda.

Le convertisseur EBCDIC fonctionne selon une fonction Lambda. La fonction doit avoir un rôle IAM. Avant de créer le rôle IAM, vous devez définir un document de politique de confiance qui permet aux ressources d'assumer cette politique.

À partir du dossier de CloudShell travail, créez un document de politique en exécutant la commande suivante :

E2ATrustPol=$(cat <<EOF
{
    "Version": "2012-10-17",		 	 	 
    "Statement": [
        {
            "Effect": "Allow",
            "Principal": {
                "Service": "lambda.amazonaws.com"
            },
            "Action": "sts:AssumeRole"
        }
    ]
}
EOF
)
printf "$E2ATrustPol" > E2ATrustPol.json

Créez le rôle IAM pour la conversion Lambda.

Pour créer un rôle IAM, exécutez la AWS CLI commande suivante depuis le dossier de CloudShell travail :

aws iam create-role --role-name E2AConvLambdaRole --assume-role-policy-document file://E2ATrustPol.json

Créez le document de politique IAM pour la fonction Lambda.

La fonction Lambda doit disposer d'un accès en lecture-écriture au compartiment Amazon S3 et d'autorisations d'écriture pour Amazon Logs. CloudWatch

Pour créer une politique IAM, exécutez la commande suivante depuis le dossier de CloudShell travail :

E2APolicy=$(cat <<EOF
{
    "Version": "2012-10-17",		 	 	 
    "Statement": [
        {
            "Sid": "Logs",
            "Effect": "Allow",
            "Action": [
                "logs:PutLogEvents",
                "logs:CreateLogStream",
                "logs:CreateLogGroup"
            ],
            "Resource": [
                "arn:aws:logs:*:*:log-group:*",
                "arn:aws:logs:*:*:log-group:*:log-stream:*"
            ]
        },
        {
            "Sid": "S3",
            "Effect": "Allow",
            "Action": [
                "s3:GetObject",
                "s3:PutObject",
                "s3:GetObjectVersion"
            ],
            "Resource": [
                "arn:aws:s3:::%s/*",
                "arn:aws:s3:::%s"
            ]
        }
    ]
}
EOF
)
printf "$E2APolicy" "$bucket" "$bucket" > E2AConvLambdaPolicy.json

Joignez le document de politique IAM au rôle IAM.

Pour associer la politique IAM au rôle IAM, entrez la commande suivante depuis votre dossier de CloudShell travail :

aws iam put-role-policy --role-name E2AConvLambdaRole --policy-name E2AConvLambdaPolicy --policy-document file://E2AConvLambdaPolicy.json

Téléchargez le code source de conversion EBCDIC.

Dans le dossier de CloudShell travail, exécutez la commande suivante pour télécharger le code mainframe-data-utilities source depuis GitHub :

git clone https://github.com/aws-samples/mainframe-data-utilities.git mdu

Créez le package ZIP.

Dans le dossier de CloudShell travail, entrez la commande suivante pour créer le package ZIP qui crée la fonction Lambda pour la conversion EBCDIC :

cd mdu; zip ../mdu.zip *.py; cd ..

Créez la fonction Lambda.

Dans le dossier de CloudShell travail, entrez la commande suivante pour créer la fonction Lambda pour la conversion EBCDIC :

aws lambda create-function \
--function-name E2A \
--runtime python3.9 \
--zip-file fileb://mdu.zip \
--handler extract_ebcdic_to_ascii.lambda_handler \
--role arn:aws:iam::$account:role/E2AConvLambdaRole \
--timeout 10 \
--environment "Variables={layout=$bucket/layout/}"

Créez la politique basée sur les ressources pour la fonction Lambda.

Dans le dossier de CloudShell travail, entrez la commande suivante pour permettre à votre notification d'événement Amazon S3 de déclencher la fonction Lambda pour la conversion EBCDIC :

aws lambda add-permission \
--function-name E2A \
--action lambda:InvokeFunction \
--principal s3.amazonaws.com \
--source-arn arn:aws:s3:::$bucket \
--source-account $account \
--statement-id 1

Créez le document de configuration pour la notification d'événement Amazon S3.

La notification d'événement Amazon S3 lance la fonction Lambda de conversion EBCDIC lorsque des fichiers sont placés dans le dossier d'entrée.

À partir du dossier de CloudShell travail, exécutez la commande suivante pour créer le document JSON pour la notification d'événement Amazon S3 :

S3E2AEvent=$(cat <<EOF
{
"LambdaFunctionConfigurations": [
    {
      "Id": "E2A",
      "LambdaFunctionArn": "arn:aws:lambda:%s:%s:function:E2A",
      "Events": [ "s3:ObjectCreated:Put" ],
      "Filter": {
        "Key": {
          "FilterRules": [
            {
              "Name": "prefix",
              "Value": "input/"
            }
          ]
        }
      }
    }
  ]
}
EOF
)
printf "$S3E2AEvent" "$region" "$account" > S3E2AEvent.json

Créez la notification d'événement Amazon S3.

Dans le dossier de CloudShell travail, entrez la commande suivante pour créer la notification d'événement Amazon S3 :

aws s3api put-bucket-notification-configuration --bucket $bucket --notification-configuration file://S3E2AEvent.json

Analysez le cahier COBOL.

Dans le dossier de CloudShell travail, entrez la commande suivante pour analyser un exemple de cahier COBOL dans un fichier JSON (qui définit comment lire et découper correctement le fichier de données) :

python3       mdu/parse_copybook_to_json.py \
-copybook     mdu/LegacyReference/COBKS05.cpy \
-output       CLIENT.json \
-output-s3key CLIENT.ASCII.txt \
-output-s3bkt $bucket \
-output-type  s3 \
-print        25

Ajoutez la règle de transformation.

L'exemple de fichier de données et le cahier COBOL correspondant sont des fichiers à mises en page multiples. Cela signifie que la conversion doit découper les données en fonction de certaines règles. Dans ce cas, les octets situés aux positions 3 et 4 de chaque ligne définissent la mise en page.

Dans le dossier de CloudShell travail, modifiez le CLIENT.json fichier et modifiez le contenu comme suit : "transf-rule": [],

"transf-rule": [
{
"offset": 4,
"size": 2,
"hex": "0002",
"transf": "transf1"
},
{
"offset": 4,
"size": 2,
"hex": "0000",
"transf": "transf2"
}
],

Téléchargez les métadonnées JSON dans le compartiment Amazon S3.

Dans le dossier de CloudShell travail, entrez la AWS CLI commande suivante pour télécharger les métadonnées JSON dans votre compartiment Amazon S3 :

aws s3 cp CLIENT.json s3://$bucket/layout/CLIENT.json

Envoyez le fichier EBCDIC dans le compartiment Amazon S3.

Dans le dossier de CloudShell travail, entrez la commande suivante pour envoyer le fichier EBCDIC vers le compartiment Amazon S3 :

aws s3 cp mdu/sample-data/CLIENT.EBCDIC.txt s3://$bucket/input/

Vérifiez la sortie.

Dans le dossier de CloudShell travail, entrez la commande suivante pour vérifier si le fichier ASCII est généré dans votre compartiment Amazon S3 :

aws s3 ls s3://$bucket/

Une fois le fichier ASCII disponible, entrez la commande suivante pour afficher le contenu du fichier converti dans le compartiment Amazon S3. Si nécessaire, vous pouvez le télécharger ou l'utiliser directement depuis le compartiment Amazon S3 :

aws s3 cp s3://$bucket/CLIENT.ASCII.txt - | head

Vérifiez le contenu du fichier ASCII :

0|0|220|
1|1|HERBERT MOHAMED|1958-08-31|BACHELOR|0010000.00|
1|2|36|THE ROE AVENUE|
2|1|JAYLEN GEORGE|1969-05-29|ELEMENTARY|0020000.00|
2|2|365|HEATHFIELD ESPLANADE|
3|1|MIKAEEL WEBER|1982-02-17|MASTER|0030000.00|
3|2|4555|MORRISON STRAND|
4|1|APRIL BARRERA|1967-01-12|DOCTOR|0030000.00|
4|2|1311|MARMION PARK|
5|1|ALEEZA PLANT|1985-03-01|BACHELOR|0008000.00|

(Facultatif) Préparez les variables et le dossier.

Si vous perdez la connexion avec CloudShell, reconnectez-vous, puis entrez la commande suivante pour transformer le répertoire en dossier de travail :

cd workdir

Assurez-vous que les variables d'environnement sont définies :

bucket=<your_bucket_name>
account=<your_account_number>
region=<your_region_code>

Supprimez la configuration de notification pour le compartiment.

Depuis le dossier de CloudShell travail, exécutez la commande suivante pour supprimer la configuration des notifications d'événements Amazon S3 :

aws s3api put-bucket-notification-configuration \
--bucket=$bucket \
--notification-configuration="{}"

Supprimez la fonction Lambda.

Dans le dossier de CloudShell travail, entrez la commande suivante pour supprimer la fonction Lambda du convertisseur EBCDIC :

aws lambda delete-function \
--function-name E2A

Supprimez le rôle et la politique IAM.

Dans le dossier de CloudShell travail, entrez la commande suivante pour supprimer le rôle et la politique du convertisseur EBCDIC :

aws iam delete-role-policy \
--role-name E2AConvLambdaRole \
--policy-name E2AConvLambdaPolicy

aws iam delete-role \
--role-name E2AConvLambdaRole

Supprimez les fichiers générés dans le compartiment Amazon S3.

Dans le dossier de CloudShell travail, entrez la commande suivante pour supprimer les fichiers générés dans le compartiment Amazon S3 :

aws s3 rm s3://$bucket/layout --recursive
aws s3 rm s3://$bucket/input --recursive
aws s3 rm s3://$bucket/CLIENT.ASCII.txt

Supprimez le dossier de travail.

Dans le dossier de CloudShell travail, entrez la commande suivante pour supprimer workdir ainsi que son contenu :

cd ..; rm -Rf workdir