View a markdown version of this page

REPLACE_OUTLIERS - AWS Glue DataBrew개발자 안내서

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

REPLACE_OUTLIERS

파라미터의 설정에 따라 이상치로 분류되는 데이터 포인트 값을 업데이트합니다.

파라미터
  • sourceColumn - 이상치를 포함할 수 있는 기존 숫자 열의 이름을 지정합니다.

  • outlierStrategy - 이상값을 감지하는 데 사용할 접근 방식을 지정합니다. 유효 값에는 다음이 포함됩니다.

    • Z_SCORE - 평균에서 표준 편차 임계값 이상으로 벗어날 때 값을 이상값으로 식별합니다.

    • MODIFIED_Z_SCORE - 중앙값을 절대 편차 임계값 이상으로 벗어날 때 값을 이상치로 식별합니다.

    • IQR - 열 데이터의 첫 번째 및 마지막 사분위수를 초과할 때 값을 특이값으로 식별합니다. 사분위수 범위(IQR)는 데이터 포인트의 중간 50%가 있는 위치를 측정합니다.

  • threshold - 이상값을 감지할 때 사용할 임계값을 지정합니다. 로 계산된 점수가이 숫자를 outlierStrategy 초과하면 sourceColumn 값이 이상치로 식별됩니다. 기본값은 3입니다.

  • replaceType - 이상치를 교체할 때 사용할 방법을 지정합니다. 유효 값에는 다음이 포함됩니다.

    • WINSORIZE_VALUES - 최소값 및 최대값 백분위수를 사용하여 값을 제한하도록 지정합니다.

    • REPLACE_WITH_CUSTOM

    • REPLACE_WITH_EMPTY

    • REPLACE_WITH_NULL

    • REPLACE_WITH_MODE

    • REPLACE_WITH_AVERAGE

    • REPLACE_WITH_MEDIAN

    • REPLACE_WITH_SUM

    • REPLACE_WITH_MAX

  • modeType -가 replaceType 일 때 사용할 모달 함수의 유형을 나타냅니다REPLACE_WITH_MODE. 유효한 값에는 MIN, 및 MAX가 포함됩니다AVERAGE.

  • minValue -를 trimValue 사용할 때 적용할 이상치 범위의 최소 백분위수 값을 나타냅니다. 유효한 범위는 0~100입니다.

  • maxValue -를 trimValue 사용할 때 적용할 이상치 범위의 최대 백분위수 값을 나타냅니다. 유효한 범위는 0~100입니다.

  • value - 사용 시 삽입할 값을 지정합니다REPLACE_WITH_CUSTOM.

  • trimValue - 이상치의 전부 또는 일부를 제거할지 여부를 지정합니다. 이 부울 값은 replaceTypeREPLACE_WITH_NULL, REPLACE_WITH_MODE또는 일 TRUE 때 로 설정됩니다WINSORIZE_VALUES. 다른 모든 경우 기본값은 FALSE입니다.

    • FALSE - 모든 이상값을 제거합니다.

    • TRUE - minValue 및에 지정된 백분위수 상한 임계값을 벗어나는 이상값을 제거합니다maxValue.

다음 예제에서는 단일 RecipeAction 작업에 대한 구문을 표시합니다. 레시피에는 하나 이상의 RecipeStep 작업이 포함되고 레시피 단계에는 하나 이상의 레시피 작업이 포함됩니다. 레시피 작업은 지정한 데이터 변환을 실행합니다. 레시피 작업 그룹은 최종 데이터 세트를 생성하기 위해 순차적으로 실행됩니다.

JSON

다음은 JSON 구문RecipeAction을 사용하여 DataBrew 레시피RecipeStep 대한 예제의 멤버로 사용할 예제입니다. 레시피 작업 목록을 보여주는 구문 예제는 섹션을 참조하세요레시피 구조 정의.

예 JSON의 예
{ "Action": { "Operation": "REPLACE_OUTLIERS", "Parameters": { "maxValue": "95", "minValue": "5", "modeType": "AVERAGE", "outlierStrategy": "Z_SCORE", "replaceType": "REPLACE_WITH_MODE", "sourceColumn": "name-of-existing-column", "threshold": "3", "trimValue": "TRUE" } } }

API 작업에서이 레시피 작업을 사용하는 방법에 대한 자세한 내용은 CreateRecipe 또는 섹션을 참조하세요UpdateRecipe. 자체 코드에서 이러한 작업과 기타 API 작업을 사용할 수 있습니다.

YAML

다음은 YAML 구문RecipeAction을 사용하여 DataBrew 레시피RecipeStep 대한 예제의 멤버로 사용할 예제입니다. 레시피 작업 목록을 보여주는 구문 예제는 섹션을 참조하세요레시피 구조 정의.

예 YAML의 예
- Action: Operation: REMOVE_OUTLIERS Parameters: sourceColumn: name-of-existing-column outlierStrategy: Z_SCORE threshold: '3' replaceType: REPLACE_WITH_MODE modeType: AVERAGE minValue: '5' maxValue: '95' trimValue: 'TRUE'

API 작업에서이 레시피 작업을 사용하는 방법에 대한 자세한 내용은 CreateRecipe 또는 섹션을 참조하세요UpdateRecipe. 자체 코드에서 이러한 작업과 기타 API 작업을 사용할 수 있습니다.