Convierta archivos de mainframe del formato EBCDIC al formato ASCII delimitado por caracteres en Amazon S3 mediante AWS Lambda

Crear variables de entorno.

Copie las siguientes variables de entorno en un editor de texto y, a continuación, sustituya los <placeholder> valores del siguiente ejemplo por los valores de sus recursos:

bucket=<your_bucket_name>
account=<your_account_number>
region=<your_region_code>

Para definir las variables de entorno, abra la CloudShell consola y, a continuación, copie y pegue las variables de entorno actualizadas en la línea de comandos.

Cree una carpeta de trabajo.

Para simplificar el proceso de limpieza de recursos más adelante, cree una carpeta de trabajo CloudShell ejecutando el siguiente comando:

mkdir workdir; cd workdir

Cree una política de confianza para la función de Lambda.

El convertidor EBCDIC se ejecuta en una función de Lambda. La función debe tener un rol de IAM. Antes de crear el rol de IAM, debe definir un documento de política de confianza que permita a los recursos asumir esa política.

Desde la carpeta de CloudShell trabajo, cree un documento de política ejecutando el siguiente comando:

E2ATrustPol=$(cat <<EOF
{
    "Version": "2012-10-17",		 	 	 
    "Statement": [
        {
            "Effect": "Allow",
            "Principal": {
                "Service": "lambda.amazonaws.com"
            },
            "Action": "sts:AssumeRole"
        }
    ]
}
EOF
)
printf "$E2ATrustPol" > E2ATrustPol.json

Crear el rol de IAM para la conversión de Lambda.

Para crear un rol de IAM, ejecute el siguiente AWS CLI comando desde la carpeta de CloudShell trabajo:

aws iam create-role --role-name E2AConvLambdaRole --assume-role-policy-document file://E2ATrustPol.json

Cree el documento de política de IAM para la función de Lambda.

La función Lambda debe tener acceso de lectura y escritura al bucket de Amazon S3 y permisos de escritura para Amazon Logs. CloudWatch

Para crear una política de IAM, ejecute el siguiente comando desde la carpeta de trabajo: CloudShell

E2APolicy=$(cat <<EOF
{
    "Version": "2012-10-17",		 	 	 
    "Statement": [
        {
            "Sid": "Logs",
            "Effect": "Allow",
            "Action": [
                "logs:PutLogEvents",
                "logs:CreateLogStream",
                "logs:CreateLogGroup"
            ],
            "Resource": [
                "arn:aws:logs:*:*:log-group:*",
                "arn:aws:logs:*:*:log-group:*:log-stream:*"
            ]
        },
        {
            "Sid": "S3",
            "Effect": "Allow",
            "Action": [
                "s3:GetObject",
                "s3:PutObject",
                "s3:GetObjectVersion"
            ],
            "Resource": [
                "arn:aws:s3:::%s/*",
                "arn:aws:s3:::%s"
            ]
        }
    ]
}
EOF
)
printf "$E2APolicy" "$bucket" "$bucket" > E2AConvLambdaPolicy.json

Adjuntar los documentos sobre la política de IAM al rol de IAM.

Para adjuntar la política de IAM a la función de IAM, introduzca el siguiente comando desde su CloudShell carpeta de trabajo:

aws iam put-role-policy --role-name E2AConvLambdaRole --policy-name E2AConvLambdaPolicy --policy-document file://E2AConvLambdaPolicy.json

Descargar el código fuente de conversión a EBCDIC.

Desde la carpeta de CloudShell trabajo, ejecute el siguiente comando para descargar el código mainframe-data-utilities fuente de: GitHub

git clone https://github.com/aws-samples/mainframe-data-utilities.git mdu

Crear el paquete ZIP.

Desde la carpeta de CloudShell trabajo, introduzca el siguiente comando para crear el paquete ZIP que crea la función Lambda para la conversión a EBCDIC:

cd mdu; zip ../mdu.zip *.py; cd ..

Crear la función de Lambda.

Desde la carpeta de CloudShell trabajo, introduzca el siguiente comando para crear la función Lambda para la conversión a EBCDIC:

aws lambda create-function \
--function-name E2A \
--runtime python3.9 \
--zip-file fileb://mdu.zip \
--handler extract_ebcdic_to_ascii.lambda_handler \
--role arn:aws:iam::$account:role/E2AConvLambdaRole \
--timeout 10 \
--environment "Variables={layout=$bucket/layout/}"

Crear la política basada en recursos para la función de Lambda.

En la carpeta de CloudShell trabajo, introduzca el siguiente comando para permitir que la notificación de eventos de Amazon S3 active la función Lambda para la conversión a EBCDIC:

aws lambda add-permission \
--function-name E2A \
--action lambda:InvokeFunction \
--principal s3.amazonaws.com \
--source-arn arn:aws:s3:::$bucket \
--source-account $account \
--statement-id 1

Cree el documento de configuración para la notificación de eventos de Amazon S3.

La notificación de eventos de Amazon S3 inicia la función de Lambda de conversión EBCDIC cuando los archivos se colocan en la carpeta de entrada.

Desde la carpeta de CloudShell trabajo, ejecute el siguiente comando para crear el documento JSON para la notificación de eventos de Amazon S3:

S3E2AEvent=$(cat <<EOF
{
"LambdaFunctionConfigurations": [
    {
      "Id": "E2A",
      "LambdaFunctionArn": "arn:aws:lambda:%s:%s:function:E2A",
      "Events": [ "s3:ObjectCreated:Put" ],
      "Filter": {
        "Key": {
          "FilterRules": [
            {
              "Name": "prefix",
              "Value": "input/"
            }
          ]
        }
      }
    }
  ]
}
EOF
)
printf "$S3E2AEvent" "$region" "$account" > S3E2AEvent.json

Crear notificaciones de eventos de Amazon S3.

Desde la carpeta de CloudShell trabajo, introduzca el siguiente comando para crear la notificación de eventos de Amazon S3:

aws s3api put-bucket-notification-configuration --bucket $bucket --notification-configuration file://S3E2AEvent.json

Analizar el cuaderno de COBOL.

Desde la carpeta de CloudShell trabajo, introduzca el siguiente comando para convertir un cuaderno de COBOL de muestra en un archivo JSON (que define cómo leer y dividir correctamente el archivo de datos):

python3       mdu/parse_copybook_to_json.py \
-copybook     mdu/LegacyReference/COBKS05.cpy \
-output       CLIENT.json \
-output-s3key CLIENT.ASCII.txt \
-output-s3bkt $bucket \
-output-type  s3 \
-print        25

Añada la regla de transformación.

El archivo de datos de ejemplo y su cuaderno de notas COBOL correspondiente son archivos de varios diseños. Esto significa que la conversión debe dividir los datos en función de determinadas reglas. En este caso, los bytes de las posiciones 3 y 4 de cada fila definen el diseño.

Desde la carpeta de CloudShell trabajo, edite el CLIENT.json archivo y cambie el contenido de la siguiente "transf-rule": [], manera:

"transf-rule": [
{
"offset": 4,
"size": 2,
"hex": "0002",
"transf": "transf1"
},
{
"offset": 4,
"size": 2,
"hex": "0000",
"transf": "transf2"
}
],

Cargue los metadatos de JSON en el bucket de Amazon S3.

Desde la carpeta de CloudShell trabajo, introduzca el siguiente AWS CLI comando para cargar los metadatos de JSON en su bucket de Amazon S3:

aws s3 cp CLIENT.json s3://$bucket/layout/CLIENT.json

Envíe el archivo EBCDIC al bucket de Amazon S3.

Desde la carpeta de CloudShell trabajo, introduzca el siguiente comando para enviar el archivo EBCDIC al bucket de Amazon S3:

aws s3 cp mdu/sample-data/CLIENT.EBCDIC.txt s3://$bucket/input/

Comprobar la salida.

Desde la carpeta de CloudShell trabajo, introduce el siguiente comando para comprobar si el archivo ASCII se genera en tu bucket de Amazon S3:

aws s3 ls s3://$bucket/

Cuando el archivo ASCII esté disponible, introduzca el siguiente comando para ver el contenido del archivo convertido en el bucket de Amazon S3. Según sea necesario, puede descargarlo o usarlo directamente desde el bucket de Amazon S3:

aws s3 cp s3://$bucket/CLIENT.ASCII.txt - | head

Comprobar el contenido del archivo ASCII:

0|0|220|
1|1|HERBERT MOHAMED|1958-08-31|BACHELOR|0010000.00|
1|2|36|THE ROE AVENUE|
2|1|JAYLEN GEORGE|1969-05-29|ELEMENTARY|0020000.00|
2|2|365|HEATHFIELD ESPLANADE|
3|1|MIKAEEL WEBER|1982-02-17|MASTER|0030000.00|
3|2|4555|MORRISON STRAND|
4|1|APRIL BARRERA|1967-01-12|DOCTOR|0030000.00|
4|2|1311|MARMION PARK|
5|1|ALEEZA PLANT|1985-03-01|BACHELOR|0008000.00|

(Opcional) Prepare las variables y la carpeta.

Si pierdes la conexión con CloudShell, vuelve a conectarte e introduce el siguiente comando para cambiar el directorio a la carpeta de trabajo:

cd workdir

Asegúrese de que las variables de entorno estén definidas:

bucket=<your_bucket_name>
account=<your_account_number>
region=<your_region_code>

Eliminar la configuración de notificación para el bucket.

Desde la carpeta de CloudShell trabajo, ejecute el siguiente comando para eliminar la configuración de notificaciones de eventos de Amazon S3:

aws s3api put-bucket-notification-configuration \
--bucket=$bucket \
--notification-configuration="{}"

Elimine la función de Lambda.

Desde la carpeta de CloudShell trabajo, introduzca el siguiente comando para eliminar la función Lambda del convertidor EBCDIC:

aws lambda delete-function \
--function-name E2A

Eliminar el rol y la política de IAM.

En la carpeta de CloudShell trabajo, introduzca el siguiente comando para eliminar la función y la política del conversor EBCDIC:

aws iam delete-role-policy \
--role-name E2AConvLambdaRole \
--policy-name E2AConvLambdaPolicy

aws iam delete-role \
--role-name E2AConvLambdaRole

Elimine los archivos generados en el bucket de Amazon S3.

Desde la carpeta de CloudShell trabajo, introduzca el siguiente comando para eliminar los archivos generados en el bucket de Amazon S3:

aws s3 rm s3://$bucket/layout --recursive
aws s3 rm s3://$bucket/input --recursive
aws s3 rm s3://$bucket/CLIENT.ASCII.txt

Elimine la carpeta de trabajo.

Desde la carpeta de CloudShell trabajo, introduzca el siguiente comando para eliminarlos workdir y su contenido:

cd ..; rm -Rf workdir