Valutazione della qualità dei dati per i processi ETL in AWS Glue Studio

Aggiunta del nodo di qualità dei dati

1. Nella console AWS Glue Studio, scegliere Visivo con un'origine e una destinazione dalla sezione Crea processo, quindi scegliere Crea.

2. Scegliere un nodo al quale desideri applicare la trasformazione della qualità dei dati. In genere, si tratta di un nodo di trasformazione o di un'origine dati.

3. Aprire il pannello delle risorse a sinistra scegliendo l'icona “+”. È inoltre possibile digitare Valuta la qualità dei dati nella barra di ricerca e quindi scegliere Valuta la qualità dei dati dai risultati della ricerca.

4. L'editor del processo visivo mostrerà il nodo di trasformazione Valuta la qualità dei dati che si dirama dal nodo selezionato. Sul lato destro della console, la scheda Transform (Trasforma) è aperta automaticamente. Se è necessario modificare il nodo padre, scegliere la scheda Proprietà del nodo, quindi scegliere il nodo padre dal menu a discesa.

   Quando si sceglie un nuovo nodo principale, viene stabilita una nuova connessione tra il nodo principale e il nodo Evaluate Data Quality (Valuta la qualità dei dati). Rimuovere tutti i nodi principali indesiderati. È possibile collegare un solo nodo principale a un nodo Evaluate Data Quality (Valuta la qualità dei dati).

5. La trasformazione Valuta la qualità dei dati supporta più padri per consentire di convalidare le regole di qualità dei dati su più set di dati. Le regole che supportano più set di dati includono ReferentialIntegrity, DataSetMatch, SchemaMatch, RowCountMatch e AggregateMatch.

   Se si aggiungono più input alla trasformazione Valuta la qualità dei dati, è necessario selezionare l'input “primario”. L'input primario è il set di dati del quale desideri convalidare la qualità dei dati. Tutti gli altri nodi o input vengono trattati come riferimenti.

   È possibile utilizzare la trasformazione Valuta la qualità dei dati per identificare record specifici che non hanno superato i controlli di qualità dei dati. Ti consigliamo di scegliere il set di dati primario perché le nuove colonne che segnalano i record non validi vengono aggiunte a tale set di dati.

6. È possibile specificare degli alias per le origini dati di input. Gli alias forniscono un altro modo per fare riferimento all'origine di input quando si utilizza la regola ReferentialIntegrity. Poiché è possibile designare una sola origine dati come origine principale, ogni ulteriore origine dati che aggiungi richiederà un alias.

   Nell'esempio seguente, la regola ReferentialIntegrity specifica l'origine dati di input in base al nome dell'alias ed esegue un confronto uno a uno con l'origine dati primaria.

   Rules = [
   	ReferentialIntegrity “Aliasname.name” = 1
   ]          
           

1. Nella scheda Trasforma, aggiungere un Tipo di regola facendo clic sul pulsante Inserisci. Questa operazione aggiunge il tipo di regola all'editor di regole, nel quale è possibile inserire i parametri per la regola.

   Nota

   Quando modifichi le regole, assicurarsi che le regole siano racchiuse tra parentesi e che siano separate da virgole. Ad esempio, un'espressione di regola completa avrà il seguente aspetto:

   Rules= [
       Completeness "year">0.8, Completeness "month">0.8
   ]                           
                       

   Questo esempio specifica il parametro di completezza per le colonne denominate "anno" e "mese". Affinché la regola venga soddisfatta, queste colonne devono essere complete per più dell'80% o devono contenere dati in oltre l'80% delle istanze per ogni rispettiva colonna.

   In questo esempio, cercare e inserire il tipo di regola Completezza. Questa operazione aggiunge il tipo di regola all'editor di regole. Questo tipo di regola ha la seguente sintassi: Completeness <COL_NAME> <EXPRESSION>.

   La maggior parte dei tipi di regole richiede la specifica di un'espressione come parametro al fine di creare una risposta booleana. Per ulteriori informazioni sulle espressioni DQDL supportate, consultare la pagina DQDL expressions. Successivamente, aggiungere il nome della colonna.

2. Nel generatore di regole DQDL, selezionare la scheda Schema. Usare la barra di ricerca per individuare il nome della colonna nello schema di input. Lo schema di input visualizza il nome della colonna e il tipo di dati.

3. Nell'editor di regole, fare clic sulla destra del tipo di regola per inserire il cursore nel punto in cui verrà inserita la colonna. In alternativa, è possibile digitare il nome della colonna nella regola.

   Ad esempio, dall'elenco di colonne nell'elenco dello schema di input, fai clic sul pulsante Inserisci accanto alla colonna (in questo esempio, anno). Questa operazione aggiunge la colonna alla regola.

4. Quindi, nell'editor di regole, aggiungere un'espressione per valutare la regola. Poiché il tipo Completezza verifica la percentuale di valori completi (non nulli) in una colonna rispetto a una determinata espressione, immettere un'espressione come > 0.8. Questa regola controlla se la colonna contiene almeno l'80% di valori completi (non nulli).

1. In Output della trasformazione della qualità dei dati, scegliere tra le seguenti opzioni:

   • Dati originali: scegliere di emettere i dati di input originali. Quando si sceglie questa opzione, al processo viene aggiunto un nuovo nodo figlio "rowLevelOutcomes". Lo schema corrisponde allo schema del set di dati primario trasmesso come input alla trasformazione. Questa opzione è utile se si desidera soltanto trasmettere i dati e far sì che il processo abbia esito negativo se si verificano problemi di qualità.

     Un altro caso d'uso è quando si desidera rilevare record non validi che non hanno superato i controlli di qualità dei dati. Per rilevare i record non validi, scegliere l'opzione Aggiungi nuove colonne per indicare gli errori di qualità dei dati. Questa operazione aggiunge quattro nuove colonne allo schema della trasformazione "rowLevelOutcomes".

     • DataQualityRulesPass (array di stringhe): fornisce una serie di regole che hanno superato i controlli di qualità dei dati.

     • DataQualityRulesFail (array di stringhe): fornisce una serie di regole che non hanno superato i controlli di qualità dei dati.

     • DataQualityRulesSkip (array di stringhe): fornisce una serie di regole che sono state ignorate. Le seguenti regole non possono identificare i record di errore perché vengono applicate a livello di set di dati.

       • AggregateMatch

       • ColumnCount

       • ColumnExists

       • ColumnNamesMatchPattern

       • CustomSql

       • RowCount

       • RowCountMatch

       • StandardDeviation

       • Media

       • ColumnCorrelation

     • DataQualityEvaluationResult: fornisce lo stato "Riuscito" o "Non riuscito" a livello di riga. Tenere presente che i risultati complessivi possono essere non riusciti, ma un determinato record potrebbe essere riuscito. Ad esempio, la regola RowCount potrebbe non essere riuscita, ma tutte le altre regole potrebbero aver avuto successo. In questi casi, lo stato di questo campo è “Riuscito”.

2. Risultati della qualità dei dati: scegliere di visualizzare le regole configurate e il loro stato di riuscita o non riuscita. Questa opzione è utile se desideri scrivere i risultati su Amazon S3 o altri database.

3. Impostazioni di output della qualità dei dati (opzionale): scegliere Impostazioni di output della qualità dei dati per visualizzare il campo Posizione dei risultati della qualità dei dati. Quindi, fare clic su Sfoglia per cercare una posizione Amazon S3 da impostare come destinazione dell'output della qualità dei dati.

1. Per ogni esecuzione di processo, visualizzare i risultati della qualità dei dati. Ogni nodo mostra lo stato della qualità dei dati e i dettagli dello stato. Scegliere un nodo per visualizzare tutte le regole e lo stato di ciascuna regola.

2. Fare clic su Scarica risultati per scaricare un file CSV contenente informazioni sull'esecuzione del processo e sui risultati relativi alla qualità dei dati.

3. Se si hanno più di una esecuzione di processo con risultati di qualità dei dati, è possibile filtrare i risultati per intervallo di data e ora. Scegliere Filtra per intervallo di data e ora per espandere la finestra del filtro.

4. È possibile scegliere un intervallo relativo o un intervallo assoluto. Per gli intervalli assoluti, utilizzare il calendario per selezionare i valori di data e ora per l'ora di inizio e l'ora di fine. Al termine, scegliere Applica.