As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Criando uma configuração de trabalho de perfil programaticamente no AWS Glue DataBrew

Nesta seção, você pode encontrar descrições das etapas e funções do trabalho de perfil que você pode usar programaticamente. Você pode usá-los a partir do AWS Command Line Interface(AWS CLI) ou usando um dos AWS SDKs.

Em um trabalho de perfil, você pode personalizar uma configuração para controlar como DataBrew avalia seu conjunto de dados. Você pode aplicar a configuração a um conjunto de dados ou aplicá-la a colunas específicas. Você pode criar a configuração ao criar um trabalho de perfil e depois atualizá-la a qualquer momento.

Uma estrutura de configuração de perfil inclui quatro partes:

Veja um exemplo a seguir.

{
    "ProfileColumns": [
        {
            "Name": "example"
        },
        {
            "Regex": "example.*"
        }
    ],
    "DatasetStatisticsConfiguration": {
        "IncludedStatistics": [
            "CORRELATION"
        ],
        "Overrides": [
            {
                "Statistic": "CORRELATION",
                "Parameters": {
                    "columnSelectors": "[{\"name\":\"example\"}, {\"regex\":\"example.*\"}]"
                }
            }
        ]
    },
    "ColumnStatisticsConfigurations": [
        {
            "Selectors": [
                {
                    "Name": "example"
                }
            ],
            "Statistics": {
                "IncludedStatistics": [
                    "CORRELATION",
                    "DUPLICATE_ROWS_COUNT"
                ],
                "Overrides": [
                    {
                        "Statistic": "VALUE_DISTRIBUTION",
                        "Parameters": {
                            "binNumber": "10"
                        }
                    }
                ]
            }
        }
    ]
}

ProfileColumns seção

Na ProfileColumns seção da sua estrutura, defina as colunas do seu conjunto de dados que você deseja avaliar em seu trabalho de perfil. ProfileColumnsé uma lista de seletores de coluna (Selectors). Você pode especificar um nome de coluna ou uma expressão regular em um seletor de coluna. Veja a seguir um exemplo.

"ProfileColumns": [{"Name": "example"}, {"Regex": "example.*"}]

Quando ProfileColumns é especificado, somente colunas cujos nomes correspondem a um nome ou expressão regular em ProfileColumns são incluídas na tarefa de perfil. Se o trabalho de perfil não suportar o tipo de dados de uma coluna selecionada, DataBrew ignora a coluna selecionada durante a execução do trabalho.

Se ProfileColumns for indefinido, o trabalho de perfil avalia todas as colunas suportadas. As colunas suportadas são colunas que contêm dados de um tipo de dados compatível: ByteType ShortTypeIntegerType,LongType,,FloatType,DoubleType,String, ouBoolean.

DatasetStatisticsConfiguration seção

Na DatasetStatisticsConfiguration seção da sua estrutura, você pode criar uma configuração para avaliações entre colunas. A configuração inclui IncludedStatistics Overrides e. Veja a seguir um exemplo.

"DatasetStatisticsConfiguration": {
    "IncludedStatistics": ["CORRELATION"],
    "Overrides": [
        {
            "Statistic": "CORRELATION",
            "Parameters": {
                "columnSelectors": "[{\"name\":\"example\"}, {\"regex\":\"example.*\"}]"
            }
        }
    ]
}

Você pode selecionar as avaliações que deseja ter adicionando os nomes das avaliações a. IncludedStatistics Veja a seguir um exemplo.

"IncludedStatistics": ["CORRELATION", "DUPLICATE_ROWS_COUNT"]

Quando você especificaIncludedStatistics, somente as avaliações na lista são incluídas no trabalho de perfil. Se IncludedStatistics for indefinido, o trabalho de perfil executará todas as avaliações suportadas com configurações padrão. Você pode excluir todas as avaliações adicionando NENHUMA a. IncludedStatistics Veja a seguir um exemplo.

"IncludedStatistics": ["NONE"]

Estatísticas configuráveis no nível do conjunto de dados

Na DatasetStatisticsConfiguration seção de sua estrutura, um cargo de perfil apóia as avaliações mostradas na tabela a seguir.

EmIncludedStatistics, você pode substituir as configurações padrão de cada avaliação adicionando uma substituição. Cada substituição inclui o nome de uma avaliação específica e um mapa de parâmetros.

EmDatasetStatisticsConfiguration, um trabalho de perfil suporta a CORRELATION substituição. Essa substituição calcula o coeficiente de correlação de Pearson entre duas colunas de uma lista de colunas selecionadas. A configuração padrão é selecionar as 10 primeiras colunas numéricas. Você pode especificar um número de colunas ou uma lista de seletores de coluna para substituir a configuração padrão.

CORRELATIONusa esses parâmetros:

Veja a seguir um exemplo.

{
    "Statistic": "CORRELATION",
    "Parameters": {
        "columnSelectors": "[{\"name\":\"example\"}, {\"regex\":\"example.*\"}]"
    }
}

ColumnStatisticsConfigurations seção

Na ColumnStatisticsConfigurations seção da sua estrutura, você pode criar configurações para colunas específicas. ColumnStatisticsConfigurationsé uma lista de ColumnStatisticsConfiguration configurações. Em ColumnStatisticsConfigurationSelectors, há uma lista de seletores de colunas e Statistics para a configuração de estatísticas. Veja a seguir um exemplo.

{ 
    "Selectors": [{"Name": "example"}
    ],
    "Statistics": {
       "IncludedStatistics": ["CORRELATION", "DUPLICATE_ROWS_COUNT"]
        "Overrides": [
            {
                "Statistic": "VALUE_DISTRIBUTION",
                "Parameters": {
                    "binNumber": "10"
                }
            }
        ]
    }
}    

Selectorsé uma lista de seletores de coluna. Da mesma formaProfileColumns, você pode especificar um nome de coluna ou uma expressão regular em cada seletor de coluna. Quando você especificaSelectors, a configuração da coluna é aplicada às colunas que correspondem a qualquer seletor de coluna emSelectors. Caso contrário, a configuração será aplicada a todas as colunas suportadas.

EmStatistics, você pode substituir as configurações das colunas selecionadas. Tal como acontece comDatasetStatisticsConfiguration, Statistics tem IncludedStatistics Overrides e.

Para selecionar as avaliações que você deseja, adicione os nomes das avaliações a. IncludedStatistics

"IncludedStatistics": ["CORRELATION", "DUPLICATE_ROWS_COUNT"]                    

Quando você especificaIncludedStatistics, somente as avaliações na lista são incluídas no trabalho de perfil. Caso contrário, o trabalho de perfil executará todas as avaliações suportadas com configurações padrão.

Você pode excluir todas as avaliações adicionando NONE a. IncludedStatistics

"IncludedStatistics": ["NONE"]                    

Em alguns casos, pode haver várias configurações diferentes ColumnStatisticsConfigurations IncludedStatistics que você pode aplicar à mesma coluna. Nesses casos, a tarefa de perfil seleciona a última configuração ColumnStatisticsConfigurations e a aplica IncludedStatistics à coluna selecionada. Uma nova configuração substitui as configurações mais antigas.

Estatísticas configuráveis no nível da coluna

EmColumnStatisticsConfigurations, um trabalho de perfil apóia as avaliações mostradas na tabela a seguir.

Um tipo de dados compatível number nesta tabela significa que o tipo de dados do atributo é um dos seguintes: ByteTypeShortType,IntegerType,LongType,FloatType, ouDoubleType.

EmIncludedStatistics, você pode substituir os parâmetros padrão de cada avaliação adicionando uma substituição. Cada substituição inclui o nome de uma avaliação específica e um mapa de parâmetros.

Parâmetros para ColumnStatisticsConfigurations colunas

EmColumnStatisticsConfigurations, um trabalho de perfil oferece suporte aos seguintes parâmetros.

Em alguns casos, pode haver várias configurações diferentes ColumnStatisticsConfigurations IncludedStatistics que você pode aplicar à mesma coluna. Nesses casos, a tarefa de perfil seleciona a última configuração ColumnStatisticsConfigurations e a aplica IncludedStatistics à coluna selecionada. Uma nova configuração substitui as configurações mais antigas.

VALORES_MÁXIMOS

Lista os valores máximos na coluna numérica e suas contagens. O tamanho padrão da lista é 5. Você pode substituir o tamanho da lista especificando um valor para. sampleSize

Configurações

sampleSize— O tamanho da lista que inclui o número máximo e a contagem de valores na coluna numérica. Esse valor deve ser maior que 0. Use "ALL" para listar todos os valores.

Exemplo

{ 
    "Statistic": "MAXIMUM_VALUES",
    "Parameters": {
        "sampleSize": "5"
    }
}
            

VALORES_MÍNIMOS

Lista os valores mínimos na coluna numérica e suas contagens. O tamanho padrão da lista é 5. Você pode substituir o tamanho da lista especificando um valor para. sampleSize

Configurações

sampleSize— O tamanho da lista que inclui o número máximo e a contagem de valores na coluna numérica. Esse valor deve ser maior que 0. Use "ALL" para listar todos os valores.

Exemplo

{
    "Statistic": "MINIMUM_VALUES",
    "Parameters": {
        "sampleSize": "5"
    }
}                
            

VALORES MAIS COMUNS

Lista os valores mais comuns na coluna e suas contagens. O tamanho padrão da lista é 50. Você pode substituir o tamanho da lista especificando um valor para. sampleSize

Configurações

sampleSize— O tamanho da lista que inclui o número máximo e a contagem de valores na coluna numérica. Esse valor deve ser maior que 0. Use "ALL" para listar todos os valores.

Exemplo

{
    "Statistic": "MOST_COMMON_VALUES",
    "Parameters": {
        "sampleSize": "50"
    }
}                
            

DETECÇÃO_DISCREPÂNCIA

Detecta valores discrepantes na coluna numérica ou na coluna de string (com base no comprimento da string) pelo algoritmo Z_Score.

Seu trabalho de perfil conta o número de valores discrepantes e gera uma lista de exemplos de valores discrepantes e suas pontuações z. A lista de amostras é ordenada pelo valor absoluto da pontuação z. O tamanho padrão da lista é 50.

O algoritmo Z_Score identifica um valor como um valor atípico quando ele se desvia da média em mais do que o limite de desvio padrão. O limite padrão de valores discrepantes é 3.

Você pode fornecer mais um limite, um limite moderado, para obter mais informações. Seu limite moderado deve ser menor que seu limite. Esse recurso está desativado por padrão. Quando um limite moderado é especificado, seu trabalho de perfil retorna mais uma contagem,zScoreMildOutliersCount. Além disso, zScoreOutliersSample pode incluir uma amostra de valores discrepantes de limite moderados nesse caso.

Configurações

Exemplo

{
    "Statistic": "OUTLIER_DETECTION",
    "Parameters": {
        "threshold": "5",
        "mildThreshold": "3.5",
        "sampleSize": "20"
    }
}                
            

DISTRIBUIÇÃO_DE_VALOR

Mede a distribuição dos valores na coluna pelos intervalos dos valores. Uma tarefa de perfil agrupa valores de uma coluna numérica ou coluna de sequência de caracteres (com base no comprimento da sequência de caracteres) em compartimentos por intervalos numéricos e gera uma lista de compartimentos. Os compartimentos são consecutivos e o limite superior de um compartimento é o limite inferior do próximo compartimento.

Configurações

binNumber— Número de caixas. Esse valor deve ser maior que 0.

Exemplo

{
    "Statistic": "VALUE_DISTRIBUTION",
    "Parameters": {
        "binNumber": "5"
    }
}          
            

DISTRIBUIÇÃO Z_SCORE_

Mede a distribuição das pontuações z dos valores na coluna numérica. Uma tarefa de perfil agrupa pontuações z de valores em compartimentos por intervalos numéricos e gera uma lista de compartimentos. Os compartimentos são consecutivos e o limite superior de um compartimento é o limite inferior do próximo compartimento.

Configurações

binNumber— Número de caixas. Esse valor deve ser maior que 0.

Exemplo

{
    "Statistic": "Z_SCORE_DISTRIBUTION",
    "Parameters": {
        "binNumber": "5"
    }
}                
            

EntityDetectorConfiguration seção para configuração de PII

Na EntityDetectorConfiguration seção de sua estrutura, você pode configurar os tipos de entidade em seu conjunto de dados que você DataBrew deseja detectar como informações de identificação pessoal (PII) para um trabalho de perfil.

EntityTypes

Você configura os tipos de entidade que DataBrew deseja detectar como PII para seu trabalho de perfil. Quando EntityDetectorConfiguration está indefinido, a detecção de entidades é desativada. Os seguintes tipos de entidade podem ser detectados em seu conjunto de dados:

O grupo de tipos de entidade também USA_ALL é suportado e inclui todos os tipos de entidade acima, exceto PERSON_NAME DATE e.

O tipo de EntityTypes é uma matriz de strings.

AllowedStatistics

Configure as estatísticas que podem ser executadas em colunas que contêm entidades detectadas. Se AllowedStatistics for indefinido, nenhuma estatística será calculada em colunas que contenham entidades detectadas. Consulte Estatísticas configuráveis no nível da coluna para obter uma lista de valores válidos para o AllowedStatistics parâmetro.

O tipo de AllowedStatistics é uma matriz de AllowedStatistics objetos.