` Werte im folgenden Beispiel durch Ihre Ressourcenwerte:bucket=
account=
region=
Sie erstellen Verweise auf Ihren Amazon S3 S3-Bucket und AWS-Region später. AWS-Konto
Um Umgebungsvariablen zu definieren, öffnen Sie die [CloudShell Konsole](https://console.aws.amazon.com/cloudshell/) und kopieren Sie dann Ihre aktualisierten Umgebungsvariablen und fügen Sie sie in die Befehlszeile ein.Sie müssen diesen Schritt bei jedem Neustart der CloudShell Sitzung wiederholen. | Allgemeines AWS |
| Erstellen Sie einen Arbeitsordner. | Um die spätere Bereinigung von Ressourcen zu vereinfachen, erstellen Sie einen Arbeitsordner in, CloudShell indem Sie den folgenden Befehl ausführen:mkdir workdir; cd workdir
Sie müssen jedes Mal, wenn Sie die Verbindung zu Ihrer CloudShell Sitzung verlieren, das Verzeichnis in das Arbeitsverzeichnis (`workdir`) ändern. | Allgemeines AWS |
### Definieren Sie eine IAM-Rolle und -Richtlinie
| Aufgabe | Description | Erforderliche Fähigkeiten |
| --- | --- | --- |
| Erstellen Sie eine Vertrauensrichtlinie für die Lambda-Funktion. | Der EBCDIC-Konverter läuft in einer Lambda-Funktion. Die Funktion muss eine IAM-Rolle haben. Bevor Sie die IAM-Rolle erstellen, müssen Sie ein Dokument mit einer Vertrauensrichtlinie definieren, das es Ressourcen ermöglicht, diese Richtlinie zu übernehmen.
Erstellen Sie im CloudShell Arbeitsordner ein Richtliniendokument, indem Sie den folgenden Befehl ausführen:E2ATrustPol=$(cat <{
"Version": "2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Principal": {
"Service": "lambda.amazonaws.com"
},
"Action": "sts:AssumeRole"
}
]
}
EOF
)
printf "$E2ATrustPol" > E2ATrustPol.json
| Allgemeines AWS |
| Erstellen Sie die IAM-Rolle für die Lambda-Konvertierung. | Um eine IAM-Rolle zu erstellen, führen Sie den folgenden AWS CLI Befehl im CloudShell Arbeitsordner aus:aws iam create-role --role-name E2AConvLambdaRole --assume-role-policy-document file://E2ATrustPol.json
| Allgemeines AWS |
| Erstellen Sie das IAM-Richtliniendokument für die Lambda-Funktion. | Die Lambda-Funktion muss Lese- und Schreibzugriff auf den Amazon S3 S3-Bucket und Schreibberechtigungen für Amazon Logs haben. CloudWatch
Um eine IAM-Richtlinie zu erstellen, führen Sie den folgenden Befehl im Arbeitsordner aus: CloudShell E2APolicy=$(cat <{
"Version": "2012-10-17",
"Statement": [
{
"Sid": "Logs",
"Effect": "Allow",
"Action": [
"logs:PutLogEvents",
"logs:CreateLogStream",
"logs:CreateLogGroup"
],
"Resource": [
"arn:aws:logs:*:*:log-group:*",
"arn:aws:logs:*:*:log-group:*:log-stream:*"
]
},
{
"Sid": "S3",
"Effect": "Allow",
"Action": [
"s3:GetObject",
"s3:PutObject",
"s3:GetObjectVersion"
],
"Resource": [
"arn:aws:s3:::%s/*",
"arn:aws:s3:::%s"
]
}
]
}
EOF
)
printf "$E2APolicy" "$bucket" "$bucket" > E2AConvLambdaPolicy.json
| Allgemeines AWS |
| Hängen Sie das IAM-Richtliniendokument an die IAM-Rolle an. | Um die IAM-Richtlinie an die IAM-Rolle anzuhängen, geben Sie den folgenden Befehl aus Ihrem Arbeitsordner ein: CloudShell aws iam put-role-policy --role-name E2AConvLambdaRole --policy-name E2AConvLambdaPolicy --policy-document file://E2AConvLambdaPolicy.json
| Allgemeines AWS |
### Erstellen Sie die Lambda-Funktion für die EBCDIC-Konvertierung
| Aufgabe | Description | Erforderliche Fähigkeiten |
| --- | --- | --- |
| Laden Sie den Quellcode für die EBCDIC-Konvertierung herunter. | Führen Sie im CloudShell Arbeitsordner den folgenden Befehl aus, um den mainframe-data-utilities Quellcode herunterzuladen: GitHubgit clone https://github.com/aws-samples/mainframe-data-utilities.git mdu
| Allgemeines AWS |
| Erstellen Sie das ZIP-Paket. | Geben Sie im CloudShell Arbeitsordner den folgenden Befehl ein, um das ZIP-Paket zu erstellen, das die Lambda-Funktion für die EBCDIC-Konvertierung erstellt:cd mdu; zip ../mdu.zip *.py; cd ..
| Allgemeines AWS |
| So erstellen Sie die Lambda-Funktion: | Geben Sie im CloudShell Arbeitsordner den folgenden Befehl ein, um die Lambda-Funktion für die EBCDIC-Konvertierung zu erstellen:aws lambda create-function \
--function-name E2A \
--runtime python3.9 \
--zip-file fileb://mdu.zip \
--handler extract_ebcdic_to_ascii.lambda_handler \
--role arn:aws:iam::$account:role/E2AConvLambdaRole \
--timeout 10 \
--environment "Variables={layout=$bucket/layout/}"
Das Layout der Umgebungsvariablen teilt der Lambda-Funktion mit, wo sich die JSON-Metadaten befinden. | Allgemeines AWS |
| Erstellen Sie die ressourcenbasierte Richtlinie für die Lambda-Funktion. | Geben Sie im CloudShell Arbeitsordner den folgenden Befehl ein, damit Ihre Amazon S3 S3-Ereignisbenachrichtigung die Lambda-Funktion für die EBCDIC-Konvertierung auslöst:aws lambda add-permission \
--function-name E2A \
--action lambda:InvokeFunction \
--principal s3.amazonaws.com \
--source-arn arn:aws:s3:::$bucket \
--source-account $account \
--statement-id 1
| Allgemeines AWS |
### Erstellen Sie die Amazon S3 S3-Ereignisbenachrichtigung
| Aufgabe | Description | Erforderliche Fähigkeiten |
| --- | --- | --- |
| Erstellen Sie das Konfigurationsdokument für die Amazon S3 S3-Ereignisbenachrichtigung. | Die Amazon S3 S3-Ereignisbenachrichtigung initiiert die Lambda-Funktion für die EBCDIC-Konvertierung, wenn Dateien im Eingabeordner platziert werden.
Führen Sie im CloudShell Arbeitsordner den folgenden Befehl aus, um das JSON-Dokument für die Amazon S3 S3-Ereignisbenachrichtigung zu erstellen:S3E2AEvent=$(cat <{
"LambdaFunctionConfigurations": [
{
"Id": "E2A",
"LambdaFunctionArn": "arn:aws:lambda:%s:%s:function:E2A",
"Events": [ "s3:ObjectCreated:Put" ],
"Filter": {
"Key": {
"FilterRules": [
{
"Name": "prefix",
"Value": "input/"
}
]
}
}
}
]
}
EOF
)
printf "$S3E2AEvent" "$region" "$account" > S3E2AEvent.json
| Allgemeines AWS |
| Erstellen Sie die Amazon S3 S3-Ereignisbenachrichtigung. | Geben Sie im CloudShell Arbeitsordner den folgenden Befehl ein, um die Amazon S3 S3-Ereignisbenachrichtigung zu erstellen:aws s3api put-bucket-notification-configuration --bucket $bucket --notification-configuration file://S3E2AEvent.json
| Allgemeines AWS |
### Erstellen Sie die JSON-Metadaten und laden Sie sie hoch
| Aufgabe | Description | Erforderliche Fähigkeiten |
| --- | --- | --- |
| Analysieren Sie das COBOL-Copybook. | Geben Sie im CloudShell Arbeitsordner den folgenden Befehl ein, um ein COBOL-Beispiel-Copybook in eine JSON-Datei zu parsen (die definiert, wie die Datendatei richtig gelesen und aufgeteilt wird):python3 mdu/parse_copybook_to_json.py \
-copybook mdu/LegacyReference/COBKS05.cpy \
-output CLIENT.json \
-output-s3key CLIENT.ASCII.txt \
-output-s3bkt $bucket \
-output-type s3 \
-print 25
| Allgemeines AWS |
| Fügen Sie die Transformationsregel hinzu. | Die Beispieldatendatei und das entsprechende COBOL-Copybook sind eine Datei mit mehreren Layouts. Das bedeutet, dass bei der Konvertierung Daten nach bestimmten Regeln aufgeteilt werden müssen. In diesem Fall definieren die Bytes an den Positionen 3 und 4 in jeder Zeile das Layout.
Bearbeiten Sie die `CLIENT.json` Datei im CloudShell Arbeitsordner und ändern Sie `"transf-rule": [],` den Inhalt wie folgt:"transf-rule": [
{
"offset": 4,
"size": 2,
"hex": "0002",
"transf": "transf1"
},
{
"offset": 4,
"size": 2,
"hex": "0000",
"transf": "transf2"
}
],
| Allgemein AWS, IBM Mainframe, Cobol |
| Laden Sie die JSON-Metadaten in den Amazon S3 S3-Bucket hoch. | Geben Sie im CloudShell Arbeitsordner den folgenden AWS CLI Befehl ein, um die JSON-Metadaten in Ihren Amazon S3 S3-Bucket hochzuladen:aws s3 cp CLIENT.json s3://$bucket/layout/CLIENT.json
| Allgemeines AWS |
### Konvertieren Sie die EBCDIC-Datei
| Aufgabe | Description | Erforderliche Fähigkeiten |
| --- | --- | --- |
| Senden Sie die EBCDIC-Datei an den Amazon S3 S3-Bucket. | Geben Sie im CloudShell Arbeitsordner den folgenden Befehl ein, um die EBCDIC-Datei an den Amazon S3 S3-Bucket zu senden:aws s3 cp mdu/sample-data/CLIENT.EBCDIC.txt s3://$bucket/input/
Wir empfehlen, unterschiedliche Ordner für Eingabe- (EBCDIC) und Ausgabedateien (ASCII) festzulegen, um zu vermeiden, dass die Lambda-Konvertierungsfunktion erneut aufgerufen wird, wenn die ASCII-Datei in den Amazon S3 S3-Bucket hochgeladen wird. | Allgemeines AWS |
| Überprüfen Sie die Ausgabe. | Geben Sie im CloudShell Arbeitsordner den folgenden Befehl ein, um zu überprüfen, ob die ASCII-Datei in Ihrem Amazon S3 S3-Bucket generiert wurde:aws s3 ls s3://$bucket/
Die Datenkonvertierung kann mehrere Sekunden dauern. Wir empfehlen Ihnen, einige Male nach der ASCII-Datei zu suchen.
Nachdem die ASCII-Datei verfügbar ist, geben Sie den folgenden Befehl ein, um den Inhalt der konvertierten Datei im Amazon S3 S3-Bucket anzuzeigen. Bei Bedarf können Sie es herunterladen oder direkt aus dem Amazon S3 S3-Bucket verwenden:aws s3 cp s3://$bucket/CLIENT.ASCII.txt - | head
Überprüfen Sie den Inhalt der ASCII-Datei:0|0|220|
1|1|HERBERT MOHAMED|1958-08-31|BACHELOR|0010000.00|
1|2|36|THE ROE AVENUE|
2|1|JAYLEN GEORGE|1969-05-29|ELEMENTARY|0020000.00|
2|2|365|HEATHFIELD ESPLANADE|
3|1|MIKAEEL WEBER|1982-02-17|MASTER|0030000.00|
3|2|4555|MORRISON STRAND|
4|1|APRIL BARRERA|1967-01-12|DOCTOR|0030000.00|
4|2|1311|MARMION PARK|
5|1|ALEEZA PLANT|1985-03-01|BACHELOR|0008000.00|
| Allgemeines AWS |
### Säubere die Umwelt
| Aufgabe | Description | Erforderliche Fähigkeiten |
| --- | --- | --- |
| (Optional) Bereiten Sie die Variablen und den Ordner vor. | Wenn Sie die Verbindung mit verlieren CloudShell, stellen Sie die Verbindung erneut her und geben Sie dann den folgenden Befehl ein, um das Verzeichnis in den Arbeitsordner zu ändern:cd workdir
Stellen Sie sicher, dass die Umgebungsvariablen definiert sind:bucket=
account=
region=
| Allgemeines AWS |
| Entfernen Sie die Benachrichtigungskonfiguration für den Bucket. | Führen Sie im CloudShell Arbeitsordner den folgenden Befehl aus, um die Konfiguration der Amazon S3 S3-Ereignisbenachrichtigung zu entfernen:aws s3api put-bucket-notification-configuration \
--bucket=$bucket \
--notification-configuration="{}"
| Allgemeines AWS |
| Löschen Sie die Lambda-Funktion. | Geben Sie im CloudShell Arbeitsordner den folgenden Befehl ein, um die Lambda-Funktion für den EBCDIC-Konverter zu löschen:aws lambda delete-function \
--function-name E2A
| Allgemeines AWS |
| Löschen Sie die IAM-Rolle und -Richtlinie. | Geben Sie im CloudShell Arbeitsordner den folgenden Befehl ein, um die EBCDIC-Konverter-Rolle und -Richtlinie zu entfernen:aws iam delete-role-policy \
--role-name E2AConvLambdaRole \
--policy-name E2AConvLambdaPolicy
aws iam delete-role \
--role-name E2AConvLambdaRole
| Allgemeines AWS |
| Löschen Sie die im Amazon S3 S3-Bucket generierten Dateien. | Geben Sie im CloudShell Arbeitsordner den folgenden Befehl ein, um die im Amazon S3 S3-Bucket generierten Dateien zu löschen:aws s3 rm s3://$bucket/layout --recursive
aws s3 rm s3://$bucket/input --recursive
aws s3 rm s3://$bucket/CLIENT.ASCII.txt
| Allgemeines AWS |
| Löschen Sie den Arbeitsordner. | Geben Sie im CloudShell Arbeitsordner den folgenden Befehl ein, um ihn `workdir` und seinen Inhalt zu entfernen:cd ..; rm -Rf workdir
| Allgemeines AWS |
## Zugehörige Ressourcen
+ [README () für Mainframe-Datendienstprogramme](https://github.com/aws-samples/mainframe-data-utilities/blob/main/README.md) GitHub
+ [Der EBCDIC-Zeichensatz](https://www.ibm.com/docs/en/zos-basic-skills?topic=mainframe-ebcdic-character-set) (IBM-Dokumentation)
+ [EBCDIC zu ASCII](https://www.ibm.com/docs/en/iis/11.7.0?topic=tables-ebcdic-ascii) (IBM-Dokumentation)
+ [COBOL](https://www.ibm.com/docs/en/i/7.6.0?topic=languages-cobol) (IBM-Dokumentation)
+ [Verwenden eines Amazon S3 S3-Triggers zum Aufrufen einer Lambda-Funktion (Dokumentation](https://docs.aws.amazon.com/lambda/latest/dg/with-s3-example.html))AWS Lambda