View a markdown version of this page

REPLACE_OUTLIERS - AWS Glue DataBrewデベロッパーガイド

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

REPLACE_OUTLIERS

パラメータの設定に基づいて、外れ値として分類されるデータポイント値を更新します。

パラメータ
  • sourceColumn – 外れ値を含む可能性のある既存の数値列の名前を指定します。

  • outlierStrategy – 外れ値の検出に使用するアプローチを指定します。有効な値は次のとおりです。

    • Z_SCORE – 平均値から標準偏差のしきい値を超えて逸脱した場合、値を外れ値として識別します。

    • MODIFIED_Z_SCORE – 絶対偏差しきい値の中央値よりも大きく中央値から逸脱した場合、値を外れ値として識別します。

    • IQR – 列データの最初の四分位数と最後の四分位数を超えた値を外れ値として識別します。四分位範囲 (IQR) は、データポイントの中間 50% の場所を測定します。

  • threshold – 外れ値を検出するときに使用するしきい値を指定します。で計算されたスコアがこの数outlierStrategyを超える場合、sourceColumn値は外れ値として識別されます。デフォルトは 3 です。

  • replaceType – 外れ値を置き換えるときに使用する方法を指定します。有効な値は次のとおりです。

    • WINSORIZE_VALUES – 最小パーセンタイルと最大パーセンタイルを使用して値を制限します。

    • REPLACE_WITH_CUSTOM

    • REPLACE_WITH_EMPTY

    • REPLACE_WITH_NULL

    • REPLACE_WITH_MODE

    • REPLACE_WITH_AVERAGE

    • REPLACE_WITH_MEDIAN

    • REPLACE_WITH_SUM

    • REPLACE_WITH_MAX

  • modeType – が の場合に使用するモーダル関数のタイプを示しますreplaceTypeREPLACE_WITH_MODE。有効な値には、MINMAX、および が含まれますAVERAGE

  • minValuetrimValueの使用時に適用される外れ値範囲の最小パーセンタイル値を示します。有効な範囲は 0~100 です。

  • maxValuetrimValueの使用時に適用される外れ値範囲の最大パーセンタイル値を示します。有効な範囲は 0~100 です。

  • value – の使用時に挿入する値を指定しますREPLACE_WITH_CUSTOM

  • trimValue – 外れ値の全部または一部を削除するかどうかを指定します。このブール値は、 replaceTypeREPLACE_WITH_NULL、、または TRUEの場合REPLACE_WITH_MODEに に設定されますWINSORIZE_VALUES。他のすべての FALSE では、デフォルトで に設定されます。

    • FALSE – すべての外れ値を削除します

    • TRUEminValueおよび で指定されたパーセンタイル上限しきい値の範囲外にある外れ値を削除しますmaxValue

次の例では、1 回のRecipeActionオペレーションの構文を表示します。レシピには少なくとも 1 つのRecipeStepオペレーションが含まれ、レシピステップには少なくとも 1 つのレシピアクションが含まれます。レシピアクションは、指定したデータ変換を実行します。レシピアクションのグループは、最終的なデータセットを作成するために順番に実行されます。

JSON

以下は、JSON 構文を使用して RecipeStep DataBrew レシピの例のメンバーRecipeActionとして使用する例を示しています。レシピアクションのリストを示す構文の例については、「」を参照してくださいレシピ構造の定義

例 JSON の例
{ "Action": { "Operation": "REPLACE_OUTLIERS", "Parameters": { "maxValue": "95", "minValue": "5", "modeType": "AVERAGE", "outlierStrategy": "Z_SCORE", "replaceType": "REPLACE_WITH_MODE", "sourceColumn": "name-of-existing-column", "threshold": "3", "trimValue": "TRUE" } } }

API オペレーションでこのレシピアクションを使用する方法の詳細については、CreateRecipe「」または「」を参照してくださいUpdateRecipe。これらの API オペレーションやその他の API オペレーションは、独自のコードで使用できます。

YAML

以下は、YAML 構文を使用して RecipeStep DataBrew レシピの例のメンバーRecipeActionとして使用する例を示しています。レシピアクションのリストを示す構文の例については、「」を参照してくださいレシピ構造の定義

例 YAML の例
- Action: Operation: REMOVE_OUTLIERS Parameters: sourceColumn: name-of-existing-column outlierStrategy: Z_SCORE threshold: '3' replaceType: REPLACE_WITH_MODE modeType: AVERAGE minValue: '5' maxValue: '95' trimValue: 'TRUE'

API オペレーションでこのレシピアクションを使用する方法の詳細については、CreateRecipe「」または「」を参照してくださいUpdateRecipe。これらの API オペレーションやその他の API オペレーションは、独自のコードで使用できます。