Converta arquivos de mainframe do formato EBCDIC para o formato ASCII delimitado por caracteres no Amazon S3 usando AWS Lambda

Crie as variáveis de ambiente.

Copie as seguintes variáveis de ambiente para um editor de texto e, em seguida, substitua <placeholder> os valores no exemplo a seguir pelos valores do seu recurso:

bucket=<your_bucket_name>
account=<your_account_number>
region=<your_region_code>

Para definir variáveis de ambiente, abra o CloudShell console e, em seguida, copie e cole suas variáveis de ambiente atualizadas na linha de comando.

Crie uma pasta de trabalho.

Para simplificar o processo de limpeza de recursos posteriormente, crie uma pasta de trabalho CloudShell executando o seguinte comando:

mkdir workdir; cd workdir

Crie uma política de confiança para a função do Lambda.

O conversor EBCDIC é executado em uma função do Lambda. A função deve ter um perfil do IAM. Antes de criar um perfil do IAM, você deve definir um documento de política de confiança que permita que os recursos assumam essa política.

Na pasta de CloudShell trabalho, crie um documento de política executando o seguinte comando:

E2ATrustPol=$(cat <<EOF
{
    "Version": "2012-10-17",		 	 	 
    "Statement": [
        {
            "Effect": "Allow",
            "Principal": {
                "Service": "lambda.amazonaws.com"
            },
            "Action": "sts:AssumeRole"
        }
    ]
}
EOF
)
printf "$E2ATrustPol" > E2ATrustPol.json

Crie o perfil do IAM para conversão do Lambda.

Para criar uma função do IAM, execute o seguinte AWS CLI comando na pasta de CloudShell trabalho:

aws iam create-role --role-name E2AConvLambdaRole --assume-role-policy-document file://E2ATrustPol.json

Crie o documento de política do IAM para a função do Lambda.

A função Lambda deve ter acesso de leitura e gravação ao bucket do Amazon S3 e permissões de gravação para o Amazon Logs. CloudWatch

Para criar uma política do IAM, execute o seguinte comando na pasta de CloudShell trabalho:

E2APolicy=$(cat <<EOF
{
    "Version": "2012-10-17",		 	 	 
    "Statement": [
        {
            "Sid": "Logs",
            "Effect": "Allow",
            "Action": [
                "logs:PutLogEvents",
                "logs:CreateLogStream",
                "logs:CreateLogGroup"
            ],
            "Resource": [
                "arn:aws:logs:*:*:log-group:*",
                "arn:aws:logs:*:*:log-group:*:log-stream:*"
            ]
        },
        {
            "Sid": "S3",
            "Effect": "Allow",
            "Action": [
                "s3:GetObject",
                "s3:PutObject",
                "s3:GetObjectVersion"
            ],
            "Resource": [
                "arn:aws:s3:::%s/*",
                "arn:aws:s3:::%s"
            ]
        }
    ]
}
EOF
)
printf "$E2APolicy" "$bucket" "$bucket" > E2AConvLambdaPolicy.json

Anexe o documento da política do IAM ao perfil do IAM.

Para anexar a política do IAM à função do IAM, digite o seguinte comando na sua pasta de CloudShell trabalho:

aws iam put-role-policy --role-name E2AConvLambdaRole --policy-name E2AConvLambdaPolicy --policy-document file://E2AConvLambdaPolicy.json

Baixe o código-fonte da conversão EBCDIC.

Na pasta de CloudShell trabalho, execute o comando a seguir para baixar o mainframe-data-utilities código-fonte de GitHub:

git clone https://github.com/aws-samples/mainframe-data-utilities.git mdu

Crie o pacote ZIP.

Na pasta de CloudShell trabalho, insira o seguinte comando para criar o pacote ZIP que cria a função Lambda para conversão EBCDIC:

cd mdu; zip ../mdu.zip *.py; cd ..

Criar a função do Lambda.

Na pasta de CloudShell trabalho, insira o seguinte comando para criar a função Lambda para conversão EBCDIC:

aws lambda create-function \
--function-name E2A \
--runtime python3.9 \
--zip-file fileb://mdu.zip \
--handler extract_ebcdic_to_ascii.lambda_handler \
--role arn:aws:iam::$account:role/E2AConvLambdaRole \
--timeout 10 \
--environment "Variables={layout=$bucket/layout/}"

Crie a política baseada em recursos para a função do Lambda.

Na pasta de CloudShell trabalho, insira o seguinte comando para permitir que sua notificação de eventos do Amazon S3 acione a função Lambda para conversão EBCDIC:

aws lambda add-permission \
--function-name E2A \
--action lambda:InvokeFunction \
--principal s3.amazonaws.com \
--source-arn arn:aws:s3:::$bucket \
--source-account $account \
--statement-id 1

Crie o documento de configuração para a notificação de evento do Amazon S3.

A notificação de evento do Amazon S3 inicia a função do Lambda de conversão do EBCDIC quando os arquivos são colocados na pasta de entrada.

Na pasta de CloudShell trabalho, execute o seguinte comando para criar o documento JSON para a notificação de eventos do Amazon S3:

S3E2AEvent=$(cat <<EOF
{
"LambdaFunctionConfigurations": [
    {
      "Id": "E2A",
      "LambdaFunctionArn": "arn:aws:lambda:%s:%s:function:E2A",
      "Events": [ "s3:ObjectCreated:Put" ],
      "Filter": {
        "Key": {
          "FilterRules": [
            {
              "Name": "prefix",
              "Value": "input/"
            }
          ]
        }
      }
    }
  ]
}
EOF
)
printf "$S3E2AEvent" "$region" "$account" > S3E2AEvent.json

Crie a notificação de evento do Amazon S3.

Na pasta de CloudShell trabalho, digite o seguinte comando para criar a notificação de evento do Amazon S3:

aws s3api put-bucket-notification-configuration --bucket $bucket --notification-configuration file://S3E2AEvent.json

Analise o copybook de COBOL.

Na pasta de CloudShell trabalho, insira o seguinte comando para analisar um exemplo de caderno COBOL em um arquivo JSON (que define como ler e dividir o arquivo de dados corretamente):

python3       mdu/parse_copybook_to_json.py \
-copybook     mdu/LegacyReference/COBKS05.cpy \
-output       CLIENT.json \
-output-s3key CLIENT.ASCII.txt \
-output-s3bkt $bucket \
-output-type  s3 \
-print        25

Adicione a regra de transformação.

O arquivo de dados de amostra e seu copybook de COBOL correspondente são arquivos com vários layouts. Isso significa que a conversão deve dividir os dados com base em determinadas regras. Nesse caso, os bytes nas posições 3 e 4 em cada linha definem o layout.

Na pasta de CloudShell trabalho, edite o CLIENT.json arquivo e altere o conteúdo "transf-rule": [], para o seguinte:

"transf-rule": [
{
"offset": 4,
"size": 2,
"hex": "0002",
"transf": "transf1"
},
{
"offset": 4,
"size": 2,
"hex": "0000",
"transf": "transf2"
}
],

Faça o upload dos metadados JSON para o bucket do Amazon S3.

Na pasta de CloudShell trabalho, insira o seguinte AWS CLI comando para fazer o upload dos metadados JSON em seu bucket do Amazon S3:

aws s3 cp CLIENT.json s3://$bucket/layout/CLIENT.json

Envie o arquivo EBCDIC para o bucket do Amazon S3.

Na pasta de CloudShell trabalho, digite o seguinte comando para enviar o arquivo EBCDIC para o bucket do Amazon S3:

aws s3 cp mdu/sample-data/CLIENT.EBCDIC.txt s3://$bucket/input/

Verifique a saída.

Na pasta de CloudShell trabalho, insira o seguinte comando para verificar se o arquivo ASCII foi gerado no seu bucket do Amazon S3:

aws s3 ls s3://$bucket/

Depois que o arquivo ASCII estiver disponível, digite o seguinte comando para visualizar o conteúdo do arquivo convertido no bucket do Amazon S3. Conforme necessário, você pode baixá-lo ou usá-lo diretamente do bucket do Amazon S3:

aws s3 cp s3://$bucket/CLIENT.ASCII.txt - | head

Verifique o conteúdo do arquivo ASCII:

0|0|220|
1|1|HERBERT MOHAMED|1958-08-31|BACHELOR|0010000.00|
1|2|36|THE ROE AVENUE|
2|1|JAYLEN GEORGE|1969-05-29|ELEMENTARY|0020000.00|
2|2|365|HEATHFIELD ESPLANADE|
3|1|MIKAEEL WEBER|1982-02-17|MASTER|0030000.00|
3|2|4555|MORRISON STRAND|
4|1|APRIL BARRERA|1967-01-12|DOCTOR|0030000.00|
4|2|1311|MARMION PARK|
5|1|ALEEZA PLANT|1985-03-01|BACHELOR|0008000.00|

(Opcional) Prepare as variáveis e a pasta.

Se você perder a conexão com CloudShell, reconecte-se e digite o seguinte comando para alterar o diretório para a pasta de trabalho:

cd workdir

Certifique-se de que as variáveis de ambiente estejam definidas:

bucket=<your_bucket_name>
account=<your_account_number>
region=<your_region_code>

Remova a configuração de notificação para o bucket.

Na pasta de CloudShell trabalho, execute o seguinte comando para remover a configuração de notificação de eventos do Amazon S3:

aws s3api put-bucket-notification-configuration \
--bucket=$bucket \
--notification-configuration="{}"

Exclua a função do Lambda.

Na pasta de CloudShell trabalho, digite o seguinte comando para excluir a função Lambda para o conversor EBCDIC:

aws lambda delete-function \
--function-name E2A

Exclua a política e o perfil do IAM.

Na pasta de CloudShell trabalho, digite o seguinte comando para remover a função e a política do conversor EBCDIC:

aws iam delete-role-policy \
--role-name E2AConvLambdaRole \
--policy-name E2AConvLambdaPolicy

aws iam delete-role \
--role-name E2AConvLambdaRole

Exclua os arquivos gerados no bucket do Amazon S3.

Na pasta de CloudShell trabalho, insira o seguinte comando para excluir os arquivos gerados no bucket do Amazon S3:

aws s3 rm s3://$bucket/layout --recursive
aws s3 rm s3://$bucket/input --recursive
aws s3 rm s3://$bucket/CLIENT.ASCII.txt

Exclua a pasta de trabalho.

Na pasta de CloudShell trabalho, digite o seguinte comando para remover workdir e seu conteúdo:

cd ..; rm -Rf workdir