View a markdown version of this page

REPLACE_OUTLIERS - AWS Glue DataBrew開發人員指南

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

REPLACE_OUTLIERS

根據參數中的設定,更新分類為極端值的資料點值。

Parameters
  • sourceColumn – 指定可能包含極端值的現有數值資料欄的名稱。

  • outlierStrategy – 指定用於偵測極端值的方法。有效值包括下列項目:

    • Z_SCORE – 當值偏離平均值超過標準差閾值時,將值識別為極端值。

    • MODIFIED_Z_SCORE – 當值偏離中位數超過中位數絕對偏差閾值時,將值識別為極端值。

    • IQR – 當值超過欄資料的第一分位數和最後一分位數時,將值識別為極端值。四分位數範圍 (IQR) 測量資料點中間 50% 的位置。

  • threshold – 指定偵測極端值時要使用的閾值。如果以 計算的分數outlierStrategy超過此數字,則sourceColumn值會識別為極端值。預設為 3。

  • replaceType – 指定取代極端值時要使用的方法。有效值包括下列項目:

    • WINSORIZE_VALUES – 指定使用最小和最大百分位數來限制值。

    • REPLACE_WITH_CUSTOM

    • REPLACE_WITH_EMPTY

    • REPLACE_WITH_NULL

    • REPLACE_WITH_MODE

    • REPLACE_WITH_AVERAGE

    • REPLACE_WITH_MEDIAN

    • REPLACE_WITH_SUM

    • REPLACE_WITH_MAX

  • modeType – 指出當 replaceType為 時要使用的模態函數類型REPLACE_WITH_MODE。有效值包括下列項目:MINMAXAVERAGE

  • minValue – 指出trimValue使用 時要套用的極端值範圍的最小百分位數值。有效範圍為 0–100。

  • maxValue – 指出trimValue使用 時要套用的極端值範圍的最大百分位數值。有效範圍為 0–100。

  • value – 指定使用 時要插入的值REPLACE_WITH_CUSTOM

  • trimValue – 指定要移除所有或部分極端值。當 replaceTypeREPLACE_WITH_NULL、 或 TRUEREPLACE_WITH_MODE,此布林值會設為 WINSORIZE_VALUES。對於所有其他FALSE項目,其預設為 。

    • FALSE – 移除所有極端值

    • TRUE –移除超出 minValue和 中指定之百分位數上限閾值的極端值maxValue

下列範例顯示單一RecipeAction操作的語法。配方至少包含一個RecipeStep操作,而配方步驟至少包含一個配方動作。配方動作會執行您指定的資料轉換。一組配方動作會依序執行,以建立最終資料集。

JSON

以下顯示使用 JSON 語法做為 RecipeStep DataBrew Recipe 範例RecipeAction成員的範例。如需顯示配方動作清單的語法範例,請參閱 定義配方結構

範例 JSON 中的範例
{ "Action": { "Operation": "REPLACE_OUTLIERS", "Parameters": { "maxValue": "95", "minValue": "5", "modeType": "AVERAGE", "outlierStrategy": "Z_SCORE", "replaceType": "REPLACE_WITH_MODE", "sourceColumn": "name-of-existing-column", "threshold": "3", "trimValue": "TRUE" } } }

如需在 API 操作中使用此配方動作的詳細資訊,請參閱 CreateRecipeUpdateRecipe。您可以在自己的程式碼中使用這些 和其他 API 操作。

YAML

以下顯示使用 YAML 語法做為 RecipeStep DataBrew Recipe 範例RecipeAction成員的範例。如需顯示配方動作清單的語法範例,請參閱 定義配方結構

範例 YAML 中的範例
- Action: Operation: REMOVE_OUTLIERS Parameters: sourceColumn: name-of-existing-column outlierStrategy: Z_SCORE threshold: '3' replaceType: REPLACE_WITH_MODE modeType: AVERAGE minValue: '5' maxValue: '95' trimValue: 'TRUE'

如需在 API 操作中使用此配方動作的詳細資訊,請參閱 CreateRecipeUpdateRecipe。您可以在自己的程式碼中使用這些 和其他 API 操作。