Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Creazione di una configurazione del lavoro di profilo in modo programmatico in AWS Glue DataBrew

In questa sezione, puoi trovare le descrizioni delle fasi e delle funzioni del processo di profilazione che puoi utilizzare a livello di codice. Puoi usarli da AWS Command Line Interface(AWS CLI) o utilizzando uno degli AWS SDK.

In un job di profilazione, puoi personalizzare una configurazione per controllare come DataBrew valuta il tuo set di dati. Puoi applicare la configurazione a un set di dati o applicarla a colonne particolari. Puoi creare la configurazione quando crei un job di profilo e poi aggiornarla in qualsiasi momento.

Una struttura di configurazione del profilo include quattro parti:

Di seguito è riportato un esempio.

{
    "ProfileColumns": [
        {
            "Name": "example"
        },
        {
            "Regex": "example.*"
        }
    ],
    "DatasetStatisticsConfiguration": {
        "IncludedStatistics": [
            "CORRELATION"
        ],
        "Overrides": [
            {
                "Statistic": "CORRELATION",
                "Parameters": {
                    "columnSelectors": "[{\"name\":\"example\"}, {\"regex\":\"example.*\"}]"
                }
            }
        ]
    },
    "ColumnStatisticsConfigurations": [
        {
            "Selectors": [
                {
                    "Name": "example"
                }
            ],
            "Statistics": {
                "IncludedStatistics": [
                    "CORRELATION",
                    "DUPLICATE_ROWS_COUNT"
                ],
                "Overrides": [
                    {
                        "Statistic": "VALUE_DISTRIBUTION",
                        "Parameters": {
                            "binNumber": "10"
                        }
                    }
                ]
            }
        }
    ]
}

ProfileColumns sezione

Nella ProfileColumns sezione della tua struttura, imposta le colonne del tuo set di dati che desideri valutare nel tuo profilo job. ProfileColumnsè un elenco di selettori di colonna ()Selectors. È possibile specificare un nome di colonna o un'espressione regolare in un selettore di colonne. Di seguito è riportato un esempio.

"ProfileColumns": [{"Name": "example"}, {"Regex": "example.*"}]

Quando ProfileColumns viene specificato, nel job del profilo ProfileColumns vengono incluse solo le colonne i cui nomi corrispondono a un nome o a un'espressione regolare in. Se il job del profilo non supporta il tipo di dati di una colonna selezionata, DataBrew salta la colonna selezionata durante l'esecuzione del lavoro.

Se non ProfileColumns è definito, il job di profilo valuta tutte le colonne supportate. Le colonne supportate sono colonne contenenti dati di un tipo di dati supportato:ByteType,ShortType,IntegerType,LongType,FloatType, DoubleTypeString, o. Boolean

DatasetStatisticsConfiguration sezione

Nella DatasetStatisticsConfiguration sezione della struttura, puoi creare una configurazione per le valutazioni tra colonne. La configurazione include IncludedStatistics e. Overrides Di seguito è riportato un esempio.

"DatasetStatisticsConfiguration": {
    "IncludedStatistics": ["CORRELATION"],
    "Overrides": [
        {
            "Statistic": "CORRELATION",
            "Parameters": {
                "columnSelectors": "[{\"name\":\"example\"}, {\"regex\":\"example.*\"}]"
            }
        }
    ]
}

È possibile selezionare le valutazioni desiderate aggiungendo i nomi delle valutazioniIncludedStatistics. Di seguito è riportato un esempio.

"IncludedStatistics": ["CORRELATION", "DUPLICATE_ROWS_COUNT"]

Quando si specificaIncludedStatistics, solo le valutazioni presenti nell'elenco vengono incluse nella mansione del profilo. Se non IncludedStatistics è definito, il job del profilo esegue tutte le valutazioni supportate con le impostazioni predefinite. È possibile escludere tutte le valutazioni aggiungendo NONE aIncludedStatistics. Di seguito è riportato un esempio.

"IncludedStatistics": ["NONE"]

Statistiche configurabili a livello di set di dati

Nella DatasetStatisticsConfiguration sezione della struttura, un profilo job supporta le valutazioni mostrate nella tabella seguente.

InIncludedStatistics, puoi sovrascrivere le impostazioni predefinite di ogni valutazione aggiungendo un'eccezione. Ogni override include il nome di una particolare valutazione e una mappa dei parametri.

InDatasetStatisticsConfiguration, un job di profilo supporta l'CORRELATIONoverride. Questa sovrascrittura calcola il coefficiente di correlazione di Pearson tra due colonne da un elenco di colonne selezionate. L'impostazione predefinita prevede la selezione delle prime 10 colonne numeriche. È possibile specificare un numero di colonne o un elenco di selettori di colonne per sovrascrivere l'impostazione predefinita.

CORRELATIONaccetta questi parametri:

Di seguito è riportato un esempio.

{
    "Statistic": "CORRELATION",
    "Parameters": {
        "columnSelectors": "[{\"name\":\"example\"}, {\"regex\":\"example.*\"}]"
    }
}

ColumnStatisticsConfigurations sezione

Nella ColumnStatisticsConfigurations sezione della struttura, puoi creare configurazioni per colonne particolari. ColumnStatisticsConfigurationsè un elenco di ColumnStatisticsConfiguration impostazioni. InColumnStatisticsConfiguration, ci sono Selectors un elenco di selettori di colonne e Statistics per la configurazione delle statistiche. Di seguito è riportato un esempio.

{ 
    "Selectors": [{"Name": "example"}
    ],
    "Statistics": {
       "IncludedStatistics": ["CORRELATION", "DUPLICATE_ROWS_COUNT"]
        "Overrides": [
            {
                "Statistic": "VALUE_DISTRIBUTION",
                "Parameters": {
                    "binNumber": "10"
                }
            }
        ]
    }
}    

Selectorsè un elenco di selettori di colonna. AnalogamenteProfileColumns, è possibile specificare un nome di colonna o un'espressione regolare in ogni selettore di colonna. Quando si specificaSelectors, la configurazione delle colonne viene applicata alle colonne che corrispondono a qualsiasi selettore di colonna in. Selectors Altrimenti, la configurazione viene applicata a tutte le colonne supportate.

InStatistics, puoi sovrascrivere le impostazioni delle colonne selezionate. Come conDatasetStatisticsConfiguration, Statistics ha IncludedStatistics eOverrides.

Per selezionare le valutazioni desiderate, aggiungete i nomi delle valutazioni aIncludedStatistics.

"IncludedStatistics": ["CORRELATION", "DUPLICATE_ROWS_COUNT"]                    

Quando lo specificateIncludedStatistics, solo le valutazioni presenti nell'elenco vengono incluse nella mansione del profilo. In caso contrario, il job di profilo esegue tutte le valutazioni supportate con le impostazioni predefinite.

È possibile escludere tutte le valutazioni aggiungendole NONE aIncludedStatistics.

"IncludedStatistics": ["NONE"]                    

In alcuni casi, potrebbero esserci più configurazioni diverse ColumnStatisticsConfigurations IncludedStatistics che possono essere applicate alla stessa colonna. In questi casi, il job del profilo seleziona l'ultima configurazione ColumnStatisticsConfigurations e la applica IncludedStatistics alla colonna selezionata. Una nuova configurazione sostituisce le configurazioni precedenti.

Statistiche configurabili a livello di colonna

InColumnStatisticsConfigurations, un job di profilo supporta le valutazioni mostrate nella tabella seguente.

Un tipo di dati supportato number in questa tabella indica che il tipo di dati dell'attributo è uno dei seguenti: ByteTypeShortType,IntegerType,LongType,FloatType, oDoubleType.

InIncludedStatistics, puoi sovrascrivere i parametri predefiniti di ogni valutazione aggiungendo un override. Ogni override include il nome di una particolare valutazione e una mappa dei parametri.

Parametri per le colonne ColumnStatisticsConfigurations

InColumnStatisticsConfigurations, un job di profilo supporta i seguenti parametri.

In alcuni casi, potrebbero esserci più configurazioni diverse ColumnStatisticsConfigurations IncludedStatistics che possono essere applicate alla stessa colonna. In questi casi, il job del profilo seleziona l'ultima configurazione ColumnStatisticsConfigurations e la applica IncludedStatistics alla colonna selezionata. Una nuova configurazione sostituisce le configurazioni precedenti.

VALORI_MASSIMI

Elenca i valori massimi nella colonna numerica e i relativi conteggi. La dimensione predefinita dell'elenco è 5. È possibile sovrascrivere la dimensione dell'elenco specificando un valore per. sampleSize

Settings (Impostazioni)

sampleSize— La dimensione dell'elenco che include il numero e il conteggio massimi di valori nella colonna numerica. Questo valore deve essere maggiore di 0. Usa "ALL" per elencare tutti i valori.

Esempio

{ 
    "Statistic": "MAXIMUM_VALUES",
    "Parameters": {
        "sampleSize": "5"
    }
}
            

VALORI_MINIMI

Elenca i valori minimi nella colonna numerica e i relativi conteggi. La dimensione predefinita dell'elenco è 5. È possibile sovrascrivere la dimensione dell'elenco specificando un valore per. sampleSize

Settings (Impostazioni)

sampleSize— La dimensione dell'elenco che include il numero e il conteggio massimi di valori nella colonna numerica. Questo valore deve essere maggiore di 0. Usa "ALL" per elencare tutti i valori.

Esempio

{
    "Statistic": "MINIMUM_VALUES",
    "Parameters": {
        "sampleSize": "5"
    }
}                
            

MOST_COMMON_VALUES

Elenca i valori più comuni nella colonna e i relativi conteggi. La dimensione predefinita dell'elenco è 50. È possibile sovrascrivere la dimensione dell'elenco specificando un valore per. sampleSize

Settings (Impostazioni)

sampleSize— La dimensione dell'elenco che include il numero e il conteggio massimi di valori nella colonna numerica. Questo valore deve essere maggiore di 0. Usa "ALL" per elencare tutti i valori.

Esempio

{
    "Statistic": "MOST_COMMON_VALUES",
    "Parameters": {
        "sampleSize": "50"
    }
}                
            

OUTLIER_DETECTION

Rileva i valori anomali nella colonna numerica o nella colonna di stringhe (in base alla lunghezza della stringa) mediante l'algoritmo Z_score.

Il job del tuo profilo conta il numero di valori anomali e genera un elenco di esempio di valori anomali e i relativi punteggi z. L'elenco dei campioni è ordinato in base al valore assoluto dello z-score. La dimensione predefinita dell'elenco è 50.

L'algoritmo Z_Score identifica un valore come valore anomalo quando si discosta dalla media di oltre la soglia di deviazione standard. La soglia anomala predefinita è 3.

Puoi fornire un'altra soglia, una soglia lieve, per ottenere maggiori informazioni. La soglia moderata deve essere inferiore alla soglia. Questa funzionalità è disattivata per impostazione predefinita. Quando viene specificata una soglia moderata, il lavoro del tuo profilo restituisce un altro conteggio,zScoreMildOutliersCount. In questo caso, zScoreOutliersSample è inoltre possibile includere un campione di valori anomali di soglia lieve.

Settings (Impostazioni)

Esempio

{
    "Statistic": "OUTLIER_DETECTION",
    "Parameters": {
        "threshold": "5",
        "mildThreshold": "3.5",
        "sampleSize": "20"
    }
}                
            

VALUE_DISTRIBUTION

Misura la distribuzione dei valori nella colonna in base agli intervalli dei valori. Un job di profilo raggruppa i valori di una colonna numerica o di una colonna di stringhe (in base alla lunghezza della stringa) in contenitori per intervalli numerici e genera un elenco di contenitori. I contenitori sono consecutivi e il limite superiore di un bucket è il limite inferiore per il bucket successivo.

Settings (Impostazioni)

binNumber— Numero di contenitori. Questo valore deve essere maggiore di 0.

Esempio

{
    "Statistic": "VALUE_DISTRIBUTION",
    "Parameters": {
        "binNumber": "5"
    }
}          
            

Z_SCORE_DISTRIBUTION

Misura la distribuzione dei punteggi z dei valori nella colonna numerica. Un job di profilo raggruppa i punteggi z di valori in contenitori per intervalli numerici e genera un elenco di contenitori. I contenitori sono consecutivi e il limite superiore di un bucket è il limite inferiore per il bucket successivo.

Settings (Impostazioni)

binNumber— Numero di contenitori. Questo valore deve essere maggiore di 0.

Esempio

{
    "Statistic": "Z_SCORE_DISTRIBUTION",
    "Parameters": {
        "binNumber": "5"
    }
}                
            

EntityDetectorConfiguration sezione per la configurazione delle PII

Nella EntityDetectorConfiguration sezione della struttura, puoi configurare i tipi di entità nel tuo set di dati che desideri DataBrew rilevare come informazioni di identificazione personale (PII) per un lavoro di profilo.

EntityTypes

Puoi configurare i tipi di entità che desideri rilevare come PII DataBrew per il lavoro del tuo profilo. Quando non EntityDetectorConfiguration è definito, il rilevamento delle entità è disabilitato. I seguenti tipi di entità possono essere rilevati nel set di dati:

USA_ALLÈ supportato anche il gruppo di tipi di entità che include tutti i tipi di entità sopra indicati tranne PERSON_NAME eDATE.

Il tipo di EntityTypes è un array di stringhe.

AllowedStatistics

Configura le statistiche che possono essere eseguite su colonne che contengono entità rilevate. Se non AllowedStatistics è definito, non verrà calcolata alcuna statistica sulle colonne che contengono le entità rilevate. Statistiche configurabili a livello di colonnaPer un elenco di valori validi per il AllowedStatistics parametro, vedere.

Il tipo di AllowedStatistics è una matrice di AllowedStatistics oggetti.