Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Crear una configuración de trabajo de perfil mediante programación en AWS Glue DataBrew

En esta sección, encontrará descripciones de los pasos y funciones de los trabajos de perfil que puede utilizar mediante programación. Puede utilizarlos desde AWS Command Line Interface(AWS CLI) o mediante uno de los AWS SDK.

En un trabajo de perfil, puedes personalizar una configuración para controlar cómo se DataBrew evalúa tu conjunto de datos. Puede aplicar la configuración a un conjunto de datos o aplicarla a columnas concretas. Puede crear la configuración al crear un trabajo de perfil y, a continuación, actualizarla en cualquier momento.

La estructura de configuración de un perfil incluye cuatro partes:

A continuación se muestra un ejemplo.

{
    "ProfileColumns": [
        {
            "Name": "example"
        },
        {
            "Regex": "example.*"
        }
    ],
    "DatasetStatisticsConfiguration": {
        "IncludedStatistics": [
            "CORRELATION"
        ],
        "Overrides": [
            {
                "Statistic": "CORRELATION",
                "Parameters": {
                    "columnSelectors": "[{\"name\":\"example\"}, {\"regex\":\"example.*\"}]"
                }
            }
        ]
    },
    "ColumnStatisticsConfigurations": [
        {
            "Selectors": [
                {
                    "Name": "example"
                }
            ],
            "Statistics": {
                "IncludedStatistics": [
                    "CORRELATION",
                    "DUPLICATE_ROWS_COUNT"
                ],
                "Overrides": [
                    {
                        "Statistic": "VALUE_DISTRIBUTION",
                        "Parameters": {
                            "binNumber": "10"
                        }
                    }
                ]
            }
        }
    ]
}

ProfileColumns sección

En la ProfileColumns sección de tu estructura, establece las columnas del conjunto de datos que deseas evaluar en tu puesto de perfil. ProfileColumnses una lista de selectores de columnas (Selectors). Puede especificar un nombre de columna o una expresión regular en un selector de columnas. Ejemplo:

"ProfileColumns": [{"Name": "example"}, {"Regex": "example.*"}]

Si ProfileColumns se especifica, solo se incluyen en el trabajo de perfil las columnas cuyos nombres ProfileColumns coincidan con un nombre o una expresión regular. Si el trabajo del perfil no admite el tipo de datos de una columna seleccionada, DataBrew omite la columna seleccionada durante la ejecución del trabajo.

Si no ProfileColumns está definido, el trabajo del perfil evalúa todas las columnas compatibles. Las columnas compatibles son columnas que contienen datos de un tipo de datos compatible: ByteTypeShortType,IntegerType,LongType,, FloatType DoubleTypeString, o. Boolean

DatasetStatisticsConfiguration sección

En la DatasetStatisticsConfiguration sección de su estructura, puede crear una configuración para las evaluaciones entre columnas. La configuración incluye IncludedStatistics y. Overrides Ejemplo:

"DatasetStatisticsConfiguration": {
    "IncludedStatistics": ["CORRELATION"],
    "Overrides": [
        {
            "Statistic": "CORRELATION",
            "Parameters": {
                "columnSelectors": "[{\"name\":\"example\"}, {\"regex\":\"example.*\"}]"
            }
        }
    ]
}

Puede seleccionar las evaluaciones que desee tener añadiendo nombres a las evaluacionesIncludedStatistics. Ejemplo:

"IncludedStatistics": ["CORRELATION", "DUPLICATE_ROWS_COUNT"]

Si lo especificaIncludedStatistics, solo las evaluaciones de la lista se incluyen en el trabajo del perfil. Si no IncludedStatistics está definido, el trabajo de perfil ejecuta todas las evaluaciones compatibles con la configuración predeterminada. Puede excluir todas las evaluaciones añadiendo NINGUNA aIncludedStatistics. Ejemplo:

"IncludedStatistics": ["NONE"]

Estadísticas configurables a nivel de conjunto de datos

En la DatasetStatisticsConfiguration sección de su estructura, un puesto de perfil respalda las evaluaciones que se muestran en la siguiente tabla.

EnIncludedStatistics, puede anular la configuración predeterminada de cada evaluación añadiendo una anulación. Cada anulación incluye el nombre de una evaluación concreta y un mapa de parámetros.

EnDatasetStatisticsConfiguration, un trabajo de perfil admite la CORRELATION anulación. Esta anulación calcula el coeficiente de correlación de Pearson entre dos columnas de una lista de columnas seleccionadas. La configuración predeterminada es seleccionar las 10 primeras columnas numéricas. Puede especificar un número de columnas o una lista de selectores de columnas para anular la configuración predeterminada.

CORRELATIONtoma estos parámetros:

Ejemplo:

{
    "Statistic": "CORRELATION",
    "Parameters": {
        "columnSelectors": "[{\"name\":\"example\"}, {\"regex\":\"example.*\"}]"
    }
}

ColumnStatisticsConfigurations sección

En la ColumnStatisticsConfigurations sección de su estructura, puede crear configuraciones para columnas específicas. ColumnStatisticsConfigurationses una lista de ColumnStatisticsConfiguration ajustes. En ColumnStatisticsConfiguration ella hay Selectors una lista de selectores de columnas y Statistics para la configuración de las estadísticas. Ejemplo:

{ 
    "Selectors": [{"Name": "example"}
    ],
    "Statistics": {
       "IncludedStatistics": ["CORRELATION", "DUPLICATE_ROWS_COUNT"]
        "Overrides": [
            {
                "Statistic": "VALUE_DISTRIBUTION",
                "Parameters": {
                    "binNumber": "10"
                }
            }
        ]
    }
}    

Selectorses una lista de selectores de columnas. Al igual que en este casoProfileColumns, puede especificar un nombre de columna o una expresión regular en cada selector de columnas. Si lo especificaSelectors, la configuración de columnas se aplica a las columnas que coincidan con cualquier selector de columnasSelectors. De lo contrario, la configuración se aplica a todas las columnas compatibles.

EnStatistics, puede anular la configuración de las columnas seleccionadas. Al igual que conDatasetStatisticsConfiguration, Statistics tiene IncludedStatistics y. Overrides

Para seleccionar las evaluaciones que desee, añada los nombres de las evaluaciones aIncludedStatistics.

"IncludedStatistics": ["CORRELATION", "DUPLICATE_ROWS_COUNT"]                    

Si lo especificaIncludedStatistics, solo las evaluaciones de la lista se incluyen en el trabajo del perfil. De lo contrario, el trabajo de perfil ejecuta todas las evaluaciones compatibles con la configuración predeterminada.

Puede excluir todas las evaluaciones añadiendo NONE aIncludedStatistics.

"IncludedStatistics": ["NONE"]                    

En algunos casos, es posible ColumnStatisticsConfigurations que haya varias configuraciones diferentes IncludedStatistics que se puedan aplicar a la misma columna. En estos casos, el trabajo de perfil selecciona la última configuración ColumnStatisticsConfigurations y la aplica IncludedStatistics a la columna seleccionada. Una nueva configuración anula las configuraciones anteriores.

Estadísticas configurables a nivel de columna

EnColumnStatisticsConfigurations, un trabajo de perfil respalda las evaluaciones que se muestran en la siguiente tabla.

Un tipo de datos admitido number en esta tabla significa que el tipo de datos del atributo es uno de los siguientes: ByteTypeShortType,IntegerType,LongType,FloatType, oDoubleType.

EnIncludedStatistics, puede anular los parámetros predeterminados de cada evaluación añadiendo una anulación. Cada anulación incluye el nombre de una evaluación concreta y un mapa de parámetros.

Parámetros de las columnas ColumnStatisticsConfigurations

EnColumnStatisticsConfigurations, un trabajo de perfil admite los siguientes parámetros.

En algunos casos, es posible ColumnStatisticsConfigurations que haya varias configuraciones diferentes IncludedStatistics que se puedan aplicar a la misma columna. En estos casos, el trabajo de perfil selecciona la última configuración ColumnStatisticsConfigurations y la aplica IncludedStatistics a la columna seleccionada. Una nueva configuración anula las configuraciones anteriores.

VALORES_MÁXIMOS

Muestra los valores máximos de la columna numérica y sus recuentos. El tamaño predeterminado de la lista es 5. Puede anular el tamaño de la lista especificando un valor parasampleSize.

Configuración

sampleSize— El tamaño de la lista que incluye el número máximo y el recuento de valores de la columna numérica. Este valor debe ser mayor que 0. Se utiliza "ALL" para enumerar todos los valores.

Ejemplo

{ 
    "Statistic": "MAXIMUM_VALUES",
    "Parameters": {
        "sampleSize": "5"
    }
}
            

VALORES_MÍNIMOS

Muestra los valores mínimos de la columna numérica y sus recuentos. El tamaño predeterminado de la lista es 5. Puede anular el tamaño de la lista especificando un valor parasampleSize.

Configuración

sampleSize— El tamaño de la lista que incluye el número máximo y el recuento de valores de la columna numérica. Este valor debe ser mayor que 0. Se utiliza "ALL" para enumerar todos los valores.

Ejemplo

{
    "Statistic": "MINIMUM_VALUES",
    "Parameters": {
        "sampleSize": "5"
    }
}                
            

LOS VALORES MÁS COMUNES

Muestra los valores más comunes de la columna y sus recuentos. El tamaño predeterminado de la lista es 50. Puede anular el tamaño de la lista especificando un valor parasampleSize.

Configuración

sampleSize— El tamaño de la lista que incluye el número máximo y el recuento de valores de la columna numérica. Este valor debe ser mayor que 0. Se utiliza "ALL" para enumerar todos los valores.

Ejemplo

{
    "Statistic": "MOST_COMMON_VALUES",
    "Parameters": {
        "sampleSize": "50"
    }
}                
            

DETECCIÓN DE VALORES ATÍPICOS

Detecta los valores atípicos en la columna numérica o en la columna de cadenas (en función de la longitud de la cadena) mediante el algoritmo z_Score.

Su trabajo de perfil cuenta el número de valores atípicos y genera una lista de muestra de valores atípicos y sus puntuaciones z. La lista de muestras está ordenada por el valor absoluto de la puntuación z. El tamaño predeterminado de la lista es 50.

El algoritmo Z_Score identifica un valor como un valor atípico cuando se desvía de la media por encima del umbral de desviación estándar. El umbral de valores atípicos predeterminado es 3.

Puede proporcionar un umbral más, un umbral leve, para obtener más información. El umbral leve debe ser inferior al umbral. Esta función está desactivada de forma predeterminada. Cuando se especifica un umbral leve, su trabajo de perfil devuelve un recuento más,zScoreMildOutliersCount. También zScoreOutliersSample puede incluir una muestra de valores atípicos leves en este caso.

Configuración

Ejemplo

{
    "Statistic": "OUTLIER_DETECTION",
    "Parameters": {
        "threshold": "5",
        "mildThreshold": "3.5",
        "sampleSize": "20"
    }
}                
            

DISTRIBUCIÓN DE VALORES

Mide la distribución de los valores de la columna según los rangos de los valores. Un trabajo de perfil agrupa los valores de una columna numérica o una columna de cadenas (en función de la longitud de la cadena) en grupos por rangos numéricos y genera una lista de grupos. Los intervalos son consecutivos y el límite superior de un depósito es el límite inferior del siguiente depósito.

Configuración

binNumber— Número de compartimentos. Este valor debe ser superior a 0.

Ejemplo

{
    "Statistic": "VALUE_DISTRIBUTION",
    "Parameters": {
        "binNumber": "5"
    }
}          
            

Z_SCORE_DISTRIBUTION

Mide la distribución de las puntuaciones z de los valores en una columna numérica. Un trabajo de perfil agrupa las puntuaciones z de los valores en grupos por rangos numéricos y genera una lista de grupos. Los rangos son consecutivos y el límite superior de un grupo es el límite inferior del siguiente grupo.

Configuración

binNumber— Número de compartimentos. Este valor debe ser superior a 0.

Ejemplo

{
    "Statistic": "Z_SCORE_DISTRIBUTION",
    "Parameters": {
        "binNumber": "5"
    }
}                
            

EntityDetectorConfiguration sección para configurar la PII

En la EntityDetectorConfiguration sección de su estructura, puede configurar los tipos de entidades de su conjunto de datos que desea DataBrew detectar como información de identificación personal (PII) para un puesto de perfil.

EntityTypes

Puede configurar los tipos de entidades que desea DataBrew detectar como PII para su puesto de perfil. Si no EntityDetectorConfiguration está definida, la detección de entidades está deshabilitada. Se pueden detectar los siguientes tipos de entidades en su conjunto de datos:

También USA_ALL se admite el grupo de tipos de entidades, que incluye todos los tipos de entidades anteriores, excepto PERSON_NAME yDATE.

El tipo de EntityTypes es una matriz de cadenas.

AllowedStatistics

Configure las estadísticas que se pueden ejecutar en las columnas que contienen entidades detectadas. Si no AllowedStatistics está definido, no se calculará ninguna estadística en las columnas que contienen entidades detectadas. Consulte Estadísticas configurables a nivel de columna para obtener una lista de valores válidos para el AllowedStatistics parámetro.

El tipo de AllowedStatistics es una matriz de AllowedStatistics objetos.