AWS Data Pipeline ist für Neukunden nicht mehr verfügbar. Bestandskunden von AWS Data Pipeline können den Service weiterhin wie gewohnt nutzen. [Weitere Informationen](https://aws.amazon.com/blogs/big-data/migrate-workloads-from-aws-data-pipeline/) Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich. # Pipeline-Ausdrücke und -Funktionen Dieser Abschnitt enthält Informationen zur Syntax der in Pipelines verwendeten Ausdrücke und Funktionen sowie zu den zugehörigen Datentypen. ## Einfache Datentypen Die folgenden Datentypen sind als Feldwerte zulässig. **Topics** + [DateTime](#dp-datatype-datetime) + [Numerischer Wert](#dp-datatype-numeric) + [Objektverweise](#dp-datatype-object-reference) + [Zeitraum](#dp-datatype-period) + [Zeichenfolge](#dp-datatype-section) ### DateTime AWS Data Pipeline unterstützt nur Datum und Uhrzeit im Format „YYYY-MM-DDTHH:MM:SS“. UTC/GMT Im folgenden Beispiel wird das Feld eines Objekts auf, in der `startDateTime` Zeitzone festgelegt. `Schedule` `1/15/2012, 11:59 p.m.` UTC/GMT ``` "startDateTime" : "2012-01-15T23:59:00" ``` ### Numerischer Wert AWS Data Pipeline unterstützt sowohl Ganzzahlen als auch Gleitkommawerte. ### Objektverweise Dies ist ein Objekt in der Pipeline-Definition. Dabei kann es sich um das aktuelle Objekt, um den Namen eines woanders in der Pipeline definierten Objekts oder um ein Objekt mit einem Feld handeln, in dem mit dem Schlüsselwort `node` auf das aktuelle Objekt verwiesen wird. Mehr über `node` erfahren Sie unter [Verweisen auf Felder und Objekte](dp-pipeline-expressions.md#dp-pipeline-expressions-reference). Weitere Informationen zu den Pipeline-Objekttypen finden Sie unter [Pipeline-Objektreferenz](dp-pipeline-objects.md). ### Zeitraum Gibt an, wie oft ein geplantes Ereignis ausgeführt werden soll. Die Angabe erfolgt im Format "*N* [`years`\$1`months`\$1`weeks`\$1`days`\$1`hours`\$1`minutes`]", wobei *N* eine positive Ganzzahl ist. Der Mindestzeitraum beträgt 15 Minuten und der maximale Zeitraum beträgt 3 Jahre. Im folgenden Beispiel wird das Feld `period` des Objekts `Schedule` auf 3 Stunden eingestellt. Dadurch wird ein geplantes Ereignis alle drei Stunden ausgeführt. ``` "period" : "3 hours" ``` ### Zeichenfolge Standard-Zeichenfolgenwerte. Zeichenfolgen müssen in Anführungszeichen (") eingeschlossen werden. Der umgekehrte Schrägstrich (\$1) kann als Escape-Zeichen in einer Zeichenfolge verwendet werden. Mehrzeilige Zeichenfolgen werden nicht unterstützt. Die folgenden Beispiele sind gültige Zeichenfolgenwerte für das Feld `id`. ``` "id" : "My Data Object" "id" : "My \"Data\" Object" ``` Zeichenfolgen können auch Ausdrücke enthalten, die zu Zeichenfolgenwerten ausgewertet werden. Diese Ausdrücke müssen in der Zeichenfolge zwischen den Trennzeichen "\$1\$1" und "\$1" stehen. Im folgenden Beispiel wird mit einem Ausdruck der Name des aktuellen Objekts in einen Pfad eingefügt. ``` "filePath" : "s3://amzn-s3-demo-bucket/#{name}.csv" ``` Weitere Informationen zur Arbeit mit Ausdrücken finden Sie unter [Verweisen auf Felder und Objekte](dp-pipeline-expressions.md#dp-pipeline-expressions-reference) und [Ausdrucksauswertung](dp-pipeline-expressions.md#dp-datatype-functions). # Ausdrücke Ausdrücke ermöglichen die Nutzung eines Werts in mehreren zusammengehörigen Objekten. Ausdrücke werden zur Laufzeit vom AWS Data Pipeline Webdienst verarbeitet, wodurch sichergestellt wird, dass alle Ausdrücke durch den Wert des Ausdrucks ersetzt werden. Ausdrücke müssen in die "\$1\$1" und "\$1" Trennzeichen eingeschlossen werden. Ein Ausdruck kann in jedem Pipeline-Definitionsobjekt verwendet werden, in dem Zeichenfolgen zulässig sind. Wenn ein Slot ein Verweis ist bzw. den Typ ID, NAME, TYPE oder SPHERE hat, wird sein Wert nicht ausgewertet und er wird unverändert übernommen. Der folgende Ausdruck ruft eine der AWS Data Pipeline Funktionen auf. Weitere Informationen finden Sie unter [Ausdrucksauswertung](#dp-datatype-functions). ``` #{format(myDateTime,'YYYY-MM-dd hh:mm:ss')} ``` ## Verweisen auf Felder und Objekte Ausdrücke können Felder des aktuellen Objekts, in dem sie sich befinden, oder Felder eines anderen Objekts verwenden, das durch einen Verweis verknüpft ist. Ein Slot-Format besteht aus einem Zeitpunkt der Erstellung, gefolgt von dem Zeitpunkt der Objekterstellung, z. B. `@S3BackupLocation_2018-01-31T11:05:33`. Sie können auch auf die genaue Steckplatz-ID verweisen, die in der Pipeline-Definition angegeben ist, z. B. die Steckplatz-ID des Amazon S3 S3-Backup-Speicherorts. Um auf die Slot-ID zu verweisen, verwenden Sie `#{parent.@id}`. Im folgenden Beispiel verweist das Feld `filePath` auf das Feld `id` desselben Objekts, um einen Dateinamen zu bilden. Der Wert von `filePath` ergibt sich als „`s3://amzn-s3-demo-bucket/ExampleDataNode.csv`“. ``` { "id" : "ExampleDataNode", "type" : "S3DataNode", "schedule" : {"ref" : "ExampleSchedule"}, "filePath" : "s3://amzn-s3-demo-bucket/#{parent.@id}.csv", "precondition" : {"ref" : "ExampleCondition"}, "onFail" : {"ref" : "FailureNotify"} } ``` Um auf das Feld eines anderen, durch einen Verweis verknüpften Objekts zuzugreifen, muss das Schlüsselwort `node` angegeben werden. Dieses Schlüsselwort ist nur für Alarm- und Vorbedingungsobjekte verfügbar. Zurück zum obigen Beispiel: Ein Ausdruck in einem `SnsAlarm`-Objekt kann auf den Datums- und Uhrzeitbereich in einem `Schedule`-Objekt zugreifen, da das `S3DataNode`-Objekt auf beide verweist. Insbesondere kann im `FailureNotify`-Objekt das Feld `message` die Laufzeitfelder `@scheduledStartTime` und `@scheduledEndTime` von `ExampleSchedule` verwenden, da im `ExampleDataNode`-Objekt das Feld `onFail` auf `FailureNotify` und das Feld `schedule` auf `ExampleSchedule` verweist. ``` { "id" : "FailureNotify", "type" : "SnsAlarm", "subject" : "Failed to run pipeline component", "message": "Error for interval #{node.@scheduledStartTime}..#{node.@scheduledEndTime}.", "topicArn":"arn:aws:sns:us-east-1:28619EXAMPLE:ExampleTopic" }, ``` **Anmerkung** Sie können Pipelines erstellen, die Abhängigkeiten enthalten, wie z. B. Pipeline-Aufgaben, die von der Verarbeitung anderer Systeme oder Aufgaben abhängen. Wenn Ihre Pipeline bestimmte Ressourcen erfordert, fügen Sie diese Abhängigkeiten mithilfe von Vorbedingungen hinzu, die Sie dann den gewünschten Datenknoten und Aufgaben zuordnen. Die Pipeline lässt sich dann einfacher debuggen und ist weniger fehleranfällig. Verwenden Sie die Abhängigkeiten möglichst in einer einzigen Pipeline, da die Pipeline-übergreifende Fehlersuche schwierig ist. ## Verschachtelte Ausdrücke AWS Data Pipeline ermöglicht es Ihnen, Werte zu verschachteln, um komplexere Ausdrücke zu erstellen. Um beispielsweise eine Zeitberechnung durchzuführen (30 Minuten von `scheduledStartTime` subtrahieren) und das Ergebnis für die Verwendung in einer Pipeline-Definition zu formatieren, könnten Sie folgenden Ausdruck in einer Aktivität benutzen ``` #{format(minusMinutes(@scheduledStartTime,30),'YYYY-MM-dd hh:mm:ss')} ``` und verwendet das `node` Präfix, wenn der Ausdruck Teil einer SnsAlarm Oder-Vorbedingung ist: ``` #{format(minusMinutes(node.@scheduledStartTime,30),'YYYY-MM-dd hh:mm:ss')} ``` ## Listen In Ausdrücken können auch Listen verwendet werden. Gehen wir von dieser Listendefinition aus: `"myList":["one","two"]`. Wenn Sie diese Liste nun im Ausdruck `#{'this is ' + myList}` verwenden, wird sie zu `["this is one", "this is two"]` ausgewertet. Wenn zwei Listen vorhanden sind, werden diese von Data Pipeline bei der Auswertung "abgeflacht" (flattened). Ist beispielsweise `myList1` als `[1,2]` definiert und `myList2` als `[3,4]`, dann wird der Ausdruck `[#{myList1}, #{myList2}]` zu `[1,2,3,4]` ausgewertet. ## Knotenausdruck AWS Data Pipeline verwendet den `#{node.*}` Ausdruck entweder in `SnsAlarm` oder `PreCondition` für einen Rückverweis auf das übergeordnete Objekt einer Pipeline-Komponente. Da der Verweis auf `SnsAlarm` und `PreCondition` in einer Aktivität oder Ressource ohne Rückverweis aus diesen Objekten erfolgt, bietet `node` die Möglichkeit, das verweisende Objekt zu referenzieren. In der folgenden Pipeline-Definition wird beispielsweise gezeigt, wie in einer Fehlerbenachrichtigung mit `node` auf deren übergeordnetes Objekt (`ShellCommandActivity`) verwiesen und wie dessen geplante Start- und Endzeit in die `SnsAlarm`-Nachricht eingefügt werden. Für den scheduledStartTime Verweis auf ShellCommandActivity ist kein `node` Präfix erforderlich, da er scheduledStartTime sich auf sich selbst bezieht. **Anmerkung** Die mit dem Zeichen "@" beginnenden Felder sind Laufzeitfelder. ``` { "id" : "ShellOut", "type" : "ShellCommandActivity", "input" : {"ref" : "HourlyData"}, "command" : "/home/userName/xxx.sh #{@scheduledStartTime} #{@scheduledEndTime}", "schedule" : {"ref" : "HourlyPeriod"}, "stderr" : "/tmp/stderr:#{@scheduledStartTime}", "stdout" : "/tmp/stdout:#{@scheduledStartTime}", "onFail" : {"ref" : "FailureNotify"}, }, { "id" : "FailureNotify", "type" : "SnsAlarm", "subject" : "Failed to run pipeline component", "message": "Error for interval #{node.@scheduledStartTime}..#{node.@scheduledEndTime}.", "topicArn":"arn:aws:sns:us-east-1:28619EXAMPLE:ExampleTopic" }, ``` AWS Data Pipeline unterstützt transitive Verweise für benutzerdefinierte Felder, aber keine Laufzeitfelder. Ein transitiver Verweis ist ein Verweis zwischen zwei Pipeline-Komponenten, die von einer anderen als "Vermittler" dienenden Pipeline-Komponente abhängen. Das folgende Beispiel zeigt einen Verweis auf ein transitives benutzerdefiniertes Feld und einen Verweis auf ein nichttransitives Laufzeitfeld. Beide Verweise sind zulässig. Weitere Informationen finden Sie unter [Benutzerdefinierte Felder](dp-writing-pipeline-definition.md#dp-userdefined-fields). ``` { "name": "DefaultActivity1", "type": "CopyActivity", "schedule": {"ref": "Once"}, "input": {"ref": "s3nodeOne"}, "onSuccess": {"ref": "action"}, "workerGroup": "test", "output": {"ref": "s3nodeTwo"} }, { "name": "action", "type": "SnsAlarm", "message": "S3 bucket '#{node.output.directoryPath}' succeeded at #{node.@actualEndTime}.", "subject": "Testing", "topicArn": "arn:aws:sns:us-east-1:28619EXAMPLE:ExampleTopic", "role": "DataPipelineDefaultRole" } ``` ## Ausdrucksauswertung AWS Data Pipeline stellt eine Reihe von Funktionen bereit, mit denen Sie den Wert eines Felds berechnen können. Im folgenden Beispiel wird die Funktion `makeDate` verwendet, um dem Feld `startDateTime` eines `Schedule`-Objekts die GMT/UTC-Zeit `"2011-05-24T0:00:00"` zuzuweisen. ``` "startDateTime" : "makeDate(2011,5,24)" ``` # Mathematische Funktionen Die folgenden Funktionen sind für die Arbeit mit numerischen Werten verfügbar. **** | Funktion | Description | | --- | --- | | \$1 | Addition. Beispiel: `#{1 + 2}` Ergebnis: `3` | | - | Subtraktion. Beispiel: `#{1 - 2}` Ergebnis: `-1` | | \$1 | Multiplikation. Beispiel: `#{1 * 2}` Ergebnis: `2` | | / | Division. Wenn Sie zwei Ganzzahlen dividieren, werden die Nachkommastellen abgeschnitten. Beispiel: `#{1 / 2}`, Ergebnis: `0` Beispiel: `#{1.0 / 2}`, Ergebnis: `.5` | | ^ | Exponent. Beispiel: `#{2 ^ 2}` Ergebnis: `4.0` | # Funktionen für Zeichenfolgen Die folgenden Funktionen sind für die Arbeit mit Zeichenfolgen verfügbar. **** | Funktion | Description | | --- | --- | | \$1 | Verkettung. Werte mit einem anderen Typ werden zuerst in Zeichenfolgen konvertiert. Beispiel: `#{"hel" + "lo"}` Ergebnis: `"hello"` | # Datums- und Zeitfunktionen Die folgenden Funktionen sind für die Arbeit mit DateTime Werten verfügbar. In den Beispielen hat `myDateTime` den Wert `May 24, 2011 @ 5:10 pm GMT`. **Anmerkung** Das date/time Format für AWS Data Pipeline ist Joda Time, ein Ersatz für die Java-Datums- und Uhrzeitklassen. Weitere Informationen finden Sie unter [Joda Time - Class](http://joda-time.sourceforge.net/apidocs/org/joda/time/format/DateTimeFormat.html). DateTimeFormat **** | Funktion | Description | | --- | --- | | `int day(DateTime myDateTime)` | Ruft den Tag des DateTime Werts als Ganzzahl ab. Beispiel: `#{day(myDateTime)}` Ergebnis: `24` | | `int dayOfYear(DateTime myDateTime)` | Ruft den Tag des Jahres des DateTime Werts als Ganzzahl ab. Beispiel: `#{dayOfYear(myDateTime)}` Ergebnis: `144` | | `DateTime firstOfMonth(DateTime myDateTime)` | Erstellt ein DateTime Objekt für den Anfang des Monats im angegebenen Zeitraum DateTime. Beispiel: `#{firstOfMonth(myDateTime)}` Ergebnis: `"2011-05-01T17:10:00z"` | | `String format(DateTime myDateTime,String format)` | Erstellt ein String-Objekt, das das Ergebnis der Konvertierung des angegebenen Objekts DateTime unter Verwendung der angegebenen Formatzeichenfolge ist. Beispiel: `#{format(myDateTime,'YYYY-MM-dd HH:mm:ss z')}` Ergebnis: `"2011-05-24T17:10:00 UTC"` | | `int hour(DateTime myDateTime)` | Ruft die Stunde des DateTime Werts als Ganzzahl ab. Beispiel: `#{hour(myDateTime)}` Ergebnis: `17` | | `DateTime makeDate(int year,int month,int day)` | Erstellt um Mitternacht ein DateTime Objekt in UTC mit dem angegebenen Jahr, Monat und Tag. Beispiel: `#{makeDate(2011,5,24)}` Ergebnis: `"2011-05-24T0:00:00z"` | | `DateTime makeDateTime(int year,int month,int day,int hour,int minute)` | Erstellt ein DateTime Objekt in UTC mit dem angegebenen Jahr, Monat, Tag, Stunde und Minute. Beispiel: `#{makeDateTime(2011,5,24,14,21)}` Ergebnis: `"2011-05-24T14:21:00z"` | | `DateTime midnight(DateTime myDateTime)` | Erstellt ein DateTime Objekt für die aktuelle Mitternacht relativ zur angegebenen Mitternacht DateTime. Hat beispielsweise `MyDateTime` den Wert `2011-05-25T17:10:00z`, lautet das Ergebnis wie folgt. Beispiel: `#{midnight(myDateTime)}` Ergebnis: `"2011-05-25T0:00:00z"` | | `DateTime minusDays(DateTime myDateTime,int daysToSub)` | Erstellt ein DateTime Objekt, das das Ergebnis der Subtraktion der angegebenen Anzahl von Tagen von der angegebenen Anzahl ist. DateTime Beispiel: `#{minusDays(myDateTime,1)}` Ergebnis: `"2011-05-23T17:10:00z"` | | `DateTime minusHours(DateTime myDateTime,int hoursToSub)` | Erstellt ein DateTime Objekt, das das Ergebnis der Subtraktion der angegebenen Anzahl von Stunden von der angegebenen Anzahl ist. DateTime Beispiel: `#{minusHours(myDateTime,1)}` Ergebnis: `"2011-05-24T16:10:00z"` | | `DateTime minusMinutes(DateTime myDateTime,int minutesToSub)` | Erstellt ein DateTime Objekt, das das Ergebnis der Subtraktion der angegebenen Anzahl von Minuten von der angegebenen Anzahl ist. DateTime Beispiel: `#{minusMinutes(myDateTime,1)}` Ergebnis: `"2011-05-24T17:09:00z"` | | `DateTime minusMonths(DateTime myDateTime,int monthsToSub)` | Erstellt ein DateTime Objekt, das das Ergebnis der Subtraktion der angegebenen Anzahl von Monaten von der angegebenen Anzahl ist. DateTime Beispiel: `#{minusMonths(myDateTime,1)}` Ergebnis: `"2011-04-24T17:10:00z"` | | `DateTime minusWeeks(DateTime myDateTime,int weeksToSub)` | Erstellt ein DateTime Objekt, das das Ergebnis der Subtraktion der angegebenen Anzahl von Wochen von der angegebenen Anzahl ist. DateTime Beispiel: `#{minusWeeks(myDateTime,1)}` Ergebnis: `"2011-05-17T17:10:00z"` | | `DateTime minusYears(DateTime myDateTime,int yearsToSub)` | Erstellt ein DateTime Objekt, das sich aus der Subtraktion der angegebenen Anzahl von Jahren von der angegebenen Anzahl von Jahren ergibt. DateTime Beispiel: `#{minusYears(myDateTime,1)}` Ergebnis: `"2010-05-24T17:10:00z"` | | `int minute(DateTime myDateTime)` | Ruft die Minute des DateTime Werts als Ganzzahl ab. Beispiel: `#{minute(myDateTime)}` Ergebnis: `10` | | `int month(DateTime myDateTime)` | Ruft den Monat des DateTime Werts als Ganzzahl ab. Beispiel: `#{month(myDateTime)}` Ergebnis: `5` | | `DateTime plusDays(DateTime myDateTime,int daysToAdd)` | Erstellt ein DateTime Objekt, das das Ergebnis der Addition der angegebenen Anzahl von Tagen zur angegebenen Anzahl ist DateTime. Beispiel: `#{plusDays(myDateTime,1)}` Ergebnis: `"2011-05-25T17:10:00z"` | | `DateTime plusHours(DateTime myDateTime,int hoursToAdd)` | Erstellt ein DateTime Objekt, das sich aus der Addition der angegebenen Anzahl von Stunden zur angegebenen Anzahl von Stunden ergibt DateTime. Beispiel: `#{plusHours(myDateTime,1)}` Ergebnis: `"2011-05-24T18:10:00z"` | | `DateTime plusMinutes(DateTime myDateTime,int minutesToAdd)` | Erstellt ein DateTime Objekt, das sich aus der Addition der angegebenen Anzahl von Minuten zur angegebenen Anzahl von Minuten ergibt DateTime. Beispiel: `#{plusMinutes(myDateTime,1)}` Ergebnis: `"2011-05-24 17:11:00z"` | | `DateTime plusMonths(DateTime myDateTime,int monthsToAdd)` | Erstellt ein DateTime Objekt, das sich aus der Addition der angegebenen Anzahl von Monaten zur angegebenen Anzahl von Monaten ergibt DateTime. Beispiel: `#{plusMonths(myDateTime,1)}` Ergebnis: `"2011-06-24T17:10:00z"` | | `DateTime plusWeeks(DateTime myDateTime,int weeksToAdd)` | Erstellt ein DateTime Objekt, das das Ergebnis der Addition der angegebenen Anzahl von Wochen zur angegebenen Anzahl ist DateTime. Beispiel: `#{plusWeeks(myDateTime,1)}` Ergebnis: `"2011-05-31T17:10:00z"` | | `DateTime plusYears(DateTime myDateTime,int yearsToAdd)` | Erstellt ein DateTime Objekt, das sich aus der Addition der angegebenen Anzahl von Jahren zur angegebenen Anzahl von Jahren ergibt DateTime. Beispiel: `#{plusYears(myDateTime,1)}` Ergebnis: `"2012-05-24T17:10:00z"` | | `DateTime sunday(DateTime myDateTime)` | Erstellt ein DateTime Objekt für den vorherigen Sonntag, relativ zum angegebenen DateTime. Wenn der angegebene Sonntag ein Sonntag DateTime ist, entspricht das Ergebnis dem angegebenen DateTime. Beispiel: `#{sunday(myDateTime)}` Ergebnis: `"2011-05-22 17:10:00 UTC"` | | `int year(DateTime myDateTime)` | Ruft das Jahr des DateTime Werts als Ganzzahl ab. Beispiel: `#{year(myDateTime)}` Ergebnis: `2011` | | `DateTime yesterday(DateTime myDateTime)` | Erstellt ein DateTime Objekt für den Vortag relativ zum angegebenen Wert DateTime. Das Ergebnis ist identisch mit minusDays(1). Beispiel: `#{yesterday(myDateTime)}` Ergebnis: `"2011-05-23T17:10:00z"` | # Sonderzeichen AWS Data Pipeline verwendet bestimmte Zeichen, die in Pipeline-Definitionen eine besondere Bedeutung haben, wie in der folgenden Tabelle dargestellt. **** | Sonderzeichen | Description | Beispiele | | --- | --- | --- | | @ | Laufzeitfeld. Wenn dieses Zeichen dem Namen eines Feldes vorangestellt wird, ist dieses nur während der Ausführung der Pipeline verfügbar. | @actualStartTime @failureReason @resourceStatus | | \$1 | Ausdruck. Ausdrücke werden durch „\$1 \$1“ und „\$1“ getrennt, und der Inhalt der geschweiften Klammern wird durch ausgewertet. AWS Data Pipeline Weitere Informationen finden Sie unter [Ausdrücke](dp-pipeline-expressions.md). | \$1 \$1format (myDateTime, 'hh:mm:ss'YYYY-MM-dd )\$1 s3://amzn-s3-demo-bucket/\$1\$1id\$1.csv | | \$1 | Verschlüsseltes Feld. Dieses Zeichen ist ein Feldnamenpräfix, das angibt, dass der Inhalt dieses Felds bei der Übertragung zwischen der Konsole oder CLI und dem AWS Data Pipeline Dienst verschlüsselt werden AWS Data Pipeline soll. | \$1Passwort |