View a markdown version of this page

AUSREISSER MIT SCHRÄGLAGE NEU SKALIEREN - AWS Glue DataBrew Entwicklerhandbuch

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

AUSREISSER MIT SCHRÄGLAGE NEU SKALIEREN

Gibt eine neue Spalte mit einem neu skalierten Ausreißerwert in jeder Zeile zurück, basierend auf den Einstellungen in den Parametern. Diese Aktion dient dazu, die Verteilungsschiefe zu verringern, indem die angegebene Protokoll- oder Stammtransformation angewendet wird. Wir empfehlen diese Aktion für den Umgang mit verzerrten Daten.

Parameters
  • sourceColumn— Gibt den Namen einer vorhandenen numerischen Spalte an, die Ausreißer enthalten könnte.

  • targetColumn— Gibt den Namen einer vorhandenen numerischen Spalte an, die Ausreißer enthalten könnte.

  • outlierStrategy— Gibt den Ansatz an, der bei der Erkennung von Ausreißern verwendet werden soll. Gültige Werte sind z. B. die Folgenden:

    • Z_SCORE— Identifiziert einen Wert als Ausreißer, wenn er um mehr als den Schwellenwert für die Standardabweichung vom Mittelwert abweicht.

    • MODIFIED_Z_SCORE— Identifiziert einen Wert als Ausreißer, wenn er um mehr als den Schwellenwert für die absolute Abweichung vom Median abweicht.

    • IQR— Identifiziert einen Wert als Ausreißer, wenn er über das erste und letzte Quartil der Spaltendaten hinausgeht. Der Interquartilsbereich (IQR) gibt an, wo sich die mittleren 50% der Datenpunkte befinden.

  • threshold— Gibt den Schwellenwert an, der bei der Erkennung von Ausreißern verwendet werden soll. Der sourceColumn Wert wird als Ausreißer identifiziert, wenn der Wert, der mit dem berechnet wird, diese Zahl outlierStrategy überschreitet. Die Voreinstellung ist 3.

  • skewFunction— Gibt die Methode an, die beim Ersetzen von Ausreißern verwendet werden soll. Gültige Werte sind z. B. die Folgenden:

    • LOG — Wendet eine starke Transformation an, um positive und negative Verzerrungen zu reduzieren. Dies ist ein natürlicher Logarithmus (2.718281828).

    • WURZEL (mitvalue = 3) — Wendet eine ziemlich starke Transformation an, um positive und negative Verzerrungen zu reduzieren. (Kubikwurzel)

    • WURZEL (mitvalue = 2) — Wendet eine moderate Transformation an, um nur die positive Verzerrung zu reduzieren. (Quadratwurzel)

    • SQUARE — Wendet eine moderate Transformation an, um negative Verzerrungen zu reduzieren. (Quadratisch)

    • Benutzerdefinierte Transformation — Wendet die angegebene LOG oder die ROOT Transformation unter Verwendung der im value Parameter angegebenen benutzerdefinierten Zahl an.

  • value— Gibt den Wert an, der für die benutzerdefinierte Transformation verwendet werden soll. Wenn LOG skewFunction ist, stellt dieser Wert die Basis des Protokolls dar. Wenn ROOT skewFunction ist, steht dieser Wert für die Potenz der Wurzel.

Die folgenden Beispiele zeigen die Syntax für eine einzelne RecipeActionOperation. Ein Rezept enthält mindestens eine RecipeStepOperation, und ein Rezeptschritt enthält mindestens eine Rezeptaktion. Eine Rezeptaktion führt die von Ihnen angegebene Datentransformation aus. Eine Gruppe von Rezeptaktionen wird nacheinander ausgeführt, um den endgültigen Datensatz zu erstellen.

JSON

Im Folgenden wird ein Beispiel gezeigtRecipeAction, das als Mitglied eines Beispiels RecipeStep für ein DataBrew Rezept verwendet werden kann, wobei die JSON-Syntax verwendet wird. Syntaxbeispiele mit einer Liste von Rezeptaktionen finden Sie unterDefinition einer Rezeptstruktur.

Beispiel Beispiel in JSON
{ "Action": { "Operation": "RESCALE_OUTLIERS_WITH_SKEW", "Parameters": { "outlierStrategy": "Z_SCORE", "threshold": "3", "skewFunction": "ROOT", "sourceColumn": "name-of-existing-column", "targetColumn": "name-of-new-column", "value": "4" } } }

Weitere Informationen zur Verwendung dieser Rezeptaktion in einer API-Operation finden Sie unter CreateRecipeoder UpdateRecipe. Sie können diese und andere API-Operationen in Ihrem eigenen Code verwenden.

YAML

Das Folgende zeigt ein BeispielRecipeAction, das als Teil eines Beispiels RecipeStep für ein DataBrew Rezept verwendet werden kann, wobei die YAML-Syntax verwendet wird. Syntaxbeispiele mit einer Liste von Rezeptaktionen finden Sie unterDefinition einer Rezeptstruktur.

Beispiel Beispiel in YAML
- Action: Operation: RESCALE_OUTLIERS_WITH_SKEW Parameters: outlierStrategy: Z_SCORE threshold: '3' skewFunction: ROOT sourceColumn: name-of-existing-column targetColumn: name-of-new-column value: '4'

Weitere Informationen zur Verwendung dieser Rezeptaktion in einer API-Operation finden Sie unter CreateRecipeoder UpdateRecipe. Sie können diese und andere API-Operationen in Ihrem eigenen Code verwenden.