View a markdown version of this page

REPLACE_OUTLIERS - AWS Glue DataBrew Guide du développeur

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

REPLACE_OUTLIERS

Met à jour les valeurs des points de données considérées comme des valeurs aberrantes, en fonction des paramètres définis dans les paramètres.

Parameters
  • sourceColumn— Spécifie le nom d'une colonne numérique existante susceptible de contenir des valeurs aberrantes.

  • outlierStrategy— Spécifie l'approche à utiliser pour détecter les valeurs aberrantes. Les valeurs valides sont les suivantes :

    • Z_SCORE— Identifie une valeur comme valeur aberrante lorsqu'elle s'écarte de la moyenne d'un écart supérieur au seuil d'écart type.

    • MODIFIED_Z_SCORE— Identifie une valeur comme valeur aberrante lorsqu'elle s'écarte de la médiane d'une valeur supérieure au seuil d'écart absolu médian.

    • IQR— Identifie une valeur comme une valeur aberrante lorsqu'elle se situe au-delà du premier et du dernier quartile des données de colonne. L'intervalle interquartile (IQR) mesure où se situent les 50 % intermédiaires des points de données.

  • threshold— Spécifie la valeur de seuil à utiliser lors de la détection des valeurs aberrantes. La sourceColumn valeur est identifiée comme une valeur aberrante si le score calculé avec le outlierStrategy dépasse ce nombre. La valeur par défaut est 3.

  • replaceType— Spécifie la méthode à utiliser lors du remplacement des valeurs aberrantes. Les valeurs valides sont les suivantes :

    • WINSORIZE_VALUES— Spécifie l'utilisation des percentiles minimum et maximum pour plafonner les valeurs.

    • REPLACE_WITH_CUSTOM

    • REPLACE_WITH_EMPTY

    • REPLACE_WITH_NULL

    • REPLACE_WITH_MODE

    • REPLACE_WITH_AVERAGE

    • REPLACE_WITH_MEDIAN

    • REPLACE_WITH_SUM

    • REPLACE_WITH_MAX

  • modeType— Indique le type de fonction modale à utiliser quand replaceType c'est le casREPLACE_WITH_MODE. Les valeurs valides sont les suivantes : MINMAX, etAVERAGE.

  • minValue— Indique la valeur percentile minimale pour la plage des valeurs aberrantes à appliquer en cas trimValue d'utilisation. La plage valide est comprise entre 0 et 100.

  • maxValue— Indique la valeur percentile maximale pour la plage des valeurs aberrantes à appliquer lorsqu'elle trimValue est utilisée. La plage valide est comprise entre 0 et 100.

  • value— Spécifie la valeur à insérer lors de l'utilisationREPLACE_WITH_CUSTOM.

  • trimValue— Spécifie s'il faut supprimer toutes les valeurs aberrantes ou certaines d'entre elles. Cette valeur booléenne est définie sur TRUE when replaceType is REPLACE_WITH_NULLREPLACE_WITH_MODE, ou. WINSORIZE_VALUES Par défaut, c'est FALSE pour tous les autres.

    • FALSE— Supprime toutes les valeurs aberrantes

    • TRUE—Supprime les valeurs aberrantes dont le classement se situe en dehors du seuil de percentile spécifié dans et. minValue maxValue

Les exemples suivants montrent la syntaxe d'une seule RecipeActionopération. Une recette contient au moins une RecipeStepopération et une étape de recette contient au moins une action de recette. Une action de recette exécute la transformation des données que vous spécifiez. Un groupe d'actions de recette s'exécute dans un ordre séquentiel pour créer le jeu de données final.

JSON

Voici un exemple RecipeAction à utiliser en tant que membre d'un RecipeStep exemple de DataBrew recette, en utilisant la syntaxe JSON. Pour des exemples de syntaxe présentant une liste d'actions de recette, consultezDéfinition de la structure d'une recette.

Exemple Exemple en JSON
{ "Action": { "Operation": "REPLACE_OUTLIERS", "Parameters": { "maxValue": "95", "minValue": "5", "modeType": "AVERAGE", "outlierStrategy": "Z_SCORE", "replaceType": "REPLACE_WITH_MODE", "sourceColumn": "name-of-existing-column", "threshold": "3", "trimValue": "TRUE" } } }

Pour plus d'informations sur l'utilisation de cette action de recette dans une opération d'API, consultez CreateRecipeou UpdateRecipe. Vous pouvez utiliser ces opérations d'API ainsi que d'autres dans votre propre code.

YAML

Voici un exemple RecipeAction à utiliser en tant que membre d'un RecipeStep exemple de DataBrew recette, en utilisant la syntaxe YAML. Pour des exemples de syntaxe présentant une liste d'actions de recette, consultezDéfinition de la structure d'une recette.

Exemple Exemple en YAML
- Action: Operation: REMOVE_OUTLIERS Parameters: sourceColumn: name-of-existing-column outlierStrategy: Z_SCORE threshold: '3' replaceType: REPLACE_WITH_MODE modeType: AVERAGE minValue: '5' maxValue: '95' trimValue: 'TRUE'

Pour plus d'informations sur l'utilisation de cette action de recette dans une opération d'API, consultez CreateRecipeou UpdateRecipe. Vous pouvez utiliser ces opérations d'API ainsi que d'autres dans votre propre code.