View a markdown version of this page

REPLACE_OUTLIERS - AWS Glue DataBrew Guia do Desenvolvedor

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

REPLACE_OUTLIERS

Atualiza os valores dos pontos de dados que são classificados como discrepantes, com base nas configurações dos parâmetros.

Parâmetros
  • sourceColumn— Especifica o nome de uma coluna numérica existente que pode conter valores discrepantes.

  • outlierStrategy— Especifica a abordagem a ser usada na detecção de valores discrepantes. Os valores válidos incluem:

    • Z_SCORE— Identifica um valor como um valor atípico quando ele se desvia da média em mais do que o limite de desvio padrão.

    • MODIFIED_Z_SCORE— Identifica um valor como um valor atípico quando ele se desvia da mediana em mais do que o limite médio de desvio absoluto.

    • IQR— identifica um valor como discrepante quando ele ultrapassa o primeiro e o último quartil dos dados da coluna. O intervalo interquartil (IQR) mede onde estão os 50% médios dos pontos de dados.

  • threshold— Especifica o valor limite a ser usado ao detectar valores discrepantes. O sourceColumn valor é identificado como um valor atípico se a pontuação calculada com o outlierStrategy exceder esse número. O padrão é 3.

  • replaceType— Especifica o método a ser usado ao substituir valores discrepantes. Os valores válidos incluem:

    • WINSORIZE_VALUES— Especifica o uso do percentil mínimo e máximo para limitar os valores.

    • REPLACE_WITH_CUSTOM

    • REPLACE_WITH_EMPTY

    • REPLACE_WITH_NULL

    • REPLACE_WITH_MODE

    • REPLACE_WITH_AVERAGE

    • REPLACE_WITH_MEDIAN

    • REPLACE_WITH_SUM

    • REPLACE_WITH_MAX

  • modeType— Indica o tipo de função modal a ser usada quando replaceType forREPLACE_WITH_MODE. Os valores válidos incluem o seguinte: MINMAX, AVERAGE e.

  • minValue— Indica o valor mínimo do percentil para a faixa de valores discrepantes que deve ser aplicada quando trimValue usada. O intervalo válido é de 0 a 100.

  • maxValue— Indica o valor máximo do percentil para o intervalo de valores atípicos que deve ser aplicado quando trimValue usado. O intervalo válido é de 0 a 100.

  • value— Especifica o valor a ser inserido ao usarREPLACE_WITH_CUSTOM.

  • trimValue— Especifica se todos ou alguns dos valores discrepantes devem ser removidos. Esse valor booleano é definido como TRUE when replaceType is REPLACE_WITH_NULLREPLACE_WITH_MODE, ouWINSORIZE_VALUES. O padrão é FALSE para todos os outros.

    • FALSE— Remove todos os valores discrepantes

    • TRUE—Remove valores discrepantes que estão fora do limite máximo de percentil especificado em e. minValue maxValue

Os exemplos a seguir exibem a sintaxe de uma única RecipeActionoperação. Uma receita contém pelo menos uma RecipeStepoperação e uma etapa de receita contém pelo menos uma ação de receita. Uma ação de receita executa a transformação de dados que você especifica. Um grupo de ações de receita é executado em ordem sequencial para criar o conjunto de dados final.

JSON

Veja a seguir um exemplo RecipeAction para usar como membro de um exemplo RecipeStep para uma DataBrew receita, usando a sintaxe JSON. Para exemplos de sintaxe que mostram uma lista de ações de receitas, consulteDefinindo uma estrutura de receita.

exemplo Exemplo em JSON
{ "Action": { "Operation": "REPLACE_OUTLIERS", "Parameters": { "maxValue": "95", "minValue": "5", "modeType": "AVERAGE", "outlierStrategy": "Z_SCORE", "replaceType": "REPLACE_WITH_MODE", "sourceColumn": "name-of-existing-column", "threshold": "3", "trimValue": "TRUE" } } }

Para obter mais informações sobre como usar essa ação de receita em uma operação de API, consulte CreateRecipeou UpdateRecipe. Você pode usar essas e outras operações de API em seu próprio código.

YAML

Veja a seguir um exemplo RecipeAction para usar como membro de um exemplo RecipeStep para uma DataBrew receita, usando a sintaxe YAML. Para exemplos de sintaxe que mostram uma lista de ações de receitas, consulteDefinindo uma estrutura de receita.

exemplo Exemplo em YAML
- Action: Operation: REMOVE_OUTLIERS Parameters: sourceColumn: name-of-existing-column outlierStrategy: Z_SCORE threshold: '3' replaceType: REPLACE_WITH_MODE modeType: AVERAGE minValue: '5' maxValue: '95' trimValue: 'TRUE'

Para obter mais informações sobre como usar essa ação de receita em uma operação de API, consulte CreateRecipeou UpdateRecipe. Você pode usar essas e outras operações de API em seu próprio código.