Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
API di qualità dei dati
L'API di qualità dei dati descrive i tipi di dati relativi alla qualità dei dati e include l'API per la creazione, l'eliminazione o l'aggiornamento dei set di regole, le esecuzioni e le valutazioni della qualità.
Tipi di dati
DataSource struttura
Una fonte di dati (una AWS Glue tabella) per la quale desideri ottenere risultati sulla qualità dei dati.
Campi
-
GlueTable: un oggetto GlueTable.Una AWS Glue tabella.
-
DataQualityGlueTable: un oggetto DataQualityGlueTable.Una AWS Glue tabella per le operazioni sulla qualità dei dati.
DataQualityRulesetListDetails struttura
Descrive un set di regole di qualità dei dati restituito da GetDataQualityRuleset.
Campi
-
Name— UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string patternIl nome del set di regole di qualità dei dati.
-
Description: stringa di descrizione, non superiore a 2048 byte di lunghezza, corrispondente a URI address multi-line string pattern.Una descrizione del set di regole di qualità dei dati.
-
CreatedOn: timestamp.La data e l'ora di creazione del set di regole della qualità dei dati.
-
LastModifiedOn: timestamp.La data e l'ora di modifica del set di regole della qualità dei dati.
-
TargetTable: un oggetto DataQualityTargetTable.Un oggetto che rappresenta una AWS Glue tabella.
-
RecommendationRunId— UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string patternQuando un set di regole è stato creato da un'esecuzione di raccomandazione, questo ID di esecuzione viene generato per collegare i due.
-
RuleCount: numero (intero).Il numero di regole nel set di regole.
DataQualityTargetTable struttura
Un oggetto che rappresenta una AWS Glue tabella.
Campi
-
TableName— Obbligatorio: UTF-8 stringa, lunga almeno 1 o più di 255 byte, corrispondente a. Single-line string patternIl nome della AWS Glue tabella.
-
DatabaseName— Obbligatorio: UTF-8 stringa, lunga almeno 1 o più di 255 byte, corrispondente a. Single-line string patternIl nome del database in cui esiste la AWS Glue tabella.
-
CatalogId— UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string patternL'ID del catalogo in cui si trova la AWS Glue tabella.
DataQualityRulesetEvaluationRunDescription struttura
Descrive il risultato di un'esecuzione di valutazione del set di regole della qualità dei dati.
Campi
-
RunId— UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string patternL'identificatore univoco dell'esecuzione associato a questa esecuzione di attività.
-
Status— UTF-8 stringa (valori validi:RUNNING|FINISHED|FAILED|PENDING_EXECUTION| |TIMED_OUT|CANCELINGCANCELED|RECEIVED_BY_TASKRUNNER).Lo stato di questa esecuzione.
-
StartedOn: timestamp.La data e l'ora di inizio dell'esecuzione.
-
DataSource: un oggetto DataSource.L'origine dati (una AWS Glue tabella) associata all'esecuzione.
DataQualityRulesetEvaluationRunFilter struttura
I criteri di filtro.
Campi
-
DataSource- obbligatorio: un oggetto DataSource.Filtro basato su una fonte di dati (una AWS Glue tabella) associata all'esecuzione.
-
StartedBefore: timestamp.Filtra i risultati in base alle esecuzioni iniziate prima di questo momento.
-
StartedAfter: timestamp.Filtra i risultati in base alle esecuzioni iniziate dopo questo momento.
-
RulesetName— UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string patternFiltra i risultati per esecuzioni associate a un nome di set di regole specifico.
DataQualityEvaluationRunAdditionalRunOptions struttura
Opzioni di esecuzione aggiuntive che è possibile specificare per l'esecuzione di una valutazione.
Campi
-
CloudWatchMetricsEnabled: booleano.Se abilitare o meno le CloudWatch metriche.
-
ResultsS3Prefix— UTF-8 stringa.Prefisso per Amazon S3 per archiviare i risultati.
-
CompositeRuleEvaluationMethod— UTF-8 stringa (valori validi:COLUMN|ROW).Imposta il metodo di valutazione per le regole composite nel set di regole su ROW/COLUMN
-
CustomLogGroupPrefix— stringa UTF-8 .Un prefisso personalizzato per i nomi dei gruppi di CloudWatch log. Quando specificato, i registri delle esecuzioni di valutazione vengono scritti nei gruppi di
/aws-glue/data-quality/outputlog<CustomLogGroupPrefix>/errore predefiniti e<CustomLogGroupPrefix>/outputanziché in quelli predefiniti/aws-glue/data-quality/error. Il nome totale del gruppo di log, incluso il suffisso (/erroro/output), non deve superare i 512 caratteri.
DataQualityRuleRecommendationRunDescription struttura
Descrive il risultato dell'esecuzione di una raccomandazione per una regola di qualità dei dati.
Campi
-
RunId— UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string patternL'identificatore univoco dell'esecuzione associato a questa esecuzione di attività.
-
Status— UTF-8 stringa (valori validi:RUNNING|FINISHED|FAILED|PENDING_EXECUTION| |TIMED_OUT|CANCELINGCANCELED|RECEIVED_BY_TASKRUNNER).Lo stato di questa esecuzione.
-
StartedOn: timestamp.La data e l'ora in cui è stata avviata questa esecuzione.
-
DataSource: un oggetto DataSource.L'origine dati (AWS Glue tabella) associata all'esecuzione del consiglio.
DataQualityRuleRecommendationRunFilter struttura
Un filtro per elencare le esecuzioni delle raccomandazioni per la qualità dei dati.
Campi
-
DataSource- obbligatorio: un oggetto DataSource.Filtro basato su una fonte di dati specificata (AWS Glue tabella).
-
StartedBefore: timestamp.Filtra in base all'ora per i risultati avviati prima dell'ora indicata.
-
StartedAfter: timestamp.Filtra in base all'ora per i risultati avviati dopo l'ora indicata.
DataQualityResult struttura
Descrive un risultato di qualità dei dati.
Campi
-
ResultId— UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string patternUn ID di risultato univoco per il risultato della qualità dei dati.
-
ProfileId— UTF-8 stringa, di lunghezza non inferiore a 1 o più di 255 byte, corrispondente a. Single-line string patternL'ID profilo del risultato di qualità dei dati.
-
Score: numero (doppio), non superiore a 1.Un punteggio aggregato della qualità dei dati. Rappresenta il rapporto tra le regole inviate e il numero totale di regole.
-
DataSource: un oggetto DataSource.La tabella associata al risultato della qualità dei dati, se presente.
-
RulesetName— UTF-8 stringa, di lunghezza non inferiore a 1 o più di 255 byte, corrispondente a. Single-line string patternIl nome del set di regole associato al risultato della qualità dei dati.
-
EvaluationContext— UTF-8 stringa.Nel contesto di un lavoro in AWS Glue Studio, a ogni nodo dell'area di disegno viene in genere assegnato un nome e i nodi di qualità dei dati avranno dei nomi. Nel caso di più nodi,
evaluationContextpuò differenziare i nodi. -
StartedOn: timestamp.La data e ora di inizio di questa esecuzione della qualità dei dati.
-
CompletedOn: timestamp.La data e ora di completamento dell'esecuzione della qualità dei dati.
-
JobName— UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string patternIl nome del processo associato al risultato della qualità dei dati, se presente.
-
JobRunId— UTF-8 stringa, di lunghezza non inferiore a 1 o più di 255 byte, corrispondente a. Single-line string patternL'ID di esecuzione del processo associato al risultato della qualità dei dati, se presente.
-
RulesetEvaluationRunId— UTF-8 stringa, di lunghezza non inferiore a 1 o più di 255 byte, corrispondente a. Single-line string patternL'ID di esecuzione univoco per la valutazione del set di regole per questo risultato di qualità dei dati.
-
RuleResults: una matrice di oggetti DataQualityRuleResult, non superiore a 2.000 strutture.Un elenco di oggetti
DataQualityRuleResultche rappresentano i risultati per ogni regola. -
AnalyzerResults: una matrice di oggetti DataQualityAnalyzerResult, non superiore a 2.000 strutture.Un elenco di oggetti
DataQualityAnalyzerResultche rappresentano i risultati per ogni analizzatore. -
Observations: una matrice di oggetti DataQualityObservation, non superiore a 50 strutture.Un elenco di oggetti
DataQualityObservationche rappresentano le osservazioni generate dopo la valutazione di regole e analizzatori. -
AggregatedMetrics: un oggetto DataQualityAggregatedMetrics.Un riepilogo degli
DataQualityAggregatedMetricsoggetti che mostra il conteggio totale delle righe e delle regole elaborate, comprese le relative pass/fail statistiche basate sui risultati a livello di riga.
DataQualityAnalyzerResult struttura
Descrive il risultato della valutazione di uno strumento di analisi della qualità dei dati.
Campi
-
Name— UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string patternIl nome dello strumento di analisi della qualità dei dati.
-
Description— UTF-8 stringa, lunga non più di 2048 byte, corrispondente a. URI address multi-line string patternUna descrizione dello strumento di analisi della qualità dei dati.
-
EvaluationMessage— UTF-8 stringa, lunga non più di 2048 byte, corrispondente a. URI address multi-line string patternUn messaggio di valutazione.
-
EvaluatedMetrics: una matrice della mappa di coppie chiave-valore.Ogni chiave è una UTF-8 stringa, lunga non meno di 1 o più di 255 byte, che corrisponde a. Single-line string pattern
Ogni valore è un numero (doppio).
Una mappa dei parametri associati alla valutazione dello strumento di analisi.
DataQualityObservation struttura
Descrive l'osservazione generata dopo la valutazione delle regole e degli strumenti di analisi.
Campi
-
Description— UTF-8 stringa, lunga non più di 2048 byte, corrispondente a. URI address multi-line string patternUna descrizione dell'osservazione della qualità dei dati.
-
MetricBasedObservation: un oggetto MetricBasedObservation.Un oggetto di tipo
MetricBasedObservationche rappresenta l'osservazione basata sui parametri di qualità dei dati valutati.
MetricBasedObservation struttura
Descrive l'osservazione basata su parametri generata in base a parametri di qualità dei dati valutati.
Campi
-
MetricName— UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string patternIl nome del parametro di qualità dei dati utilizzato per generare l'osservazione.
-
StatisticId— UTF-8 stringa, di lunghezza non inferiore a 1 o più di 255 byte, corrispondente a. Single-line string patternL'ID statistica.
-
MetricValues: un oggetto DataQualityMetricValues.Un oggetto di tipo
DataQualityMetricValuesche rappresenta l'analisi del valore del parametro di qualità dei dati. -
NewRules— Una serie di UTF-8 stringhe.Un elenco di nuove regole sulla qualità dei dati generate nell'ambito dell'osservazione basata sul valore dei parametri di qualità dei dati.
DataQualityMetricValues struttura
Descrive il valore del parametro di qualità dei dati in base all'analisi dei dati storici.
Campi
-
ActualValue: numero (doppio).Il valore effettivo del parametro di qualità dei dati.
-
ExpectedValue: numero (doppio).Il valore previsto del parametro di qualità dei dati in base all'analisi dei dati storici.
-
LowerLimit: numero (doppio).Il limite inferiore del valore del parametro di qualità dei dati in base all'analisi dei dati storici.
-
UpperLimit: numero (doppio).Il limite superiore del valore del parametro di qualità dei dati in base all'analisi dei dati storici.
DataQualityRuleResult struttura
Descrive il risultato della valutazione del set di regole della qualità dei dati.
Campi
-
Name— UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string patternIl nome della regola di qualità dei dati.
-
Description— UTF-8 stringa, lunga non più di 2048 byte, corrispondente a. URI address multi-line string patternUna descrizione della regola di qualità dei dati.
-
EvaluationMessage— UTF-8 stringa, lunga non più di 2048 byte, corrispondente a. URI address multi-line string patternUn messaggio di valutazione.
-
Result— UTF-8 stringa (valori validi:PASS|FAIL|ERROR).Lo stato positivo o negativo per la regola.
-
EvaluatedMetrics: una matrice della mappa di coppie chiave-valore.Ogni chiave è una UTF-8 stringa, lunga non meno di 1 o più di 255 byte, che corrisponde a. Single-line string pattern
Ogni valore è un numero (doppio).
Una mappa dei parametri associati alla valutazione della regola.
-
EvaluatedRule— UTF-8 stringa, lunga non più di 2048 byte, corrispondente a. URI address multi-line string patternLa regola oggetto di valutazione.
-
RuleMetrics: una matrice della mappa di coppie chiave-valore.Ogni chiave è una UTF-8 stringa, lunga non meno di 1 o più di 255 byte, che corrisponde a. Single-line string pattern
Ogni valore è un numero (doppio).
Una mappa contenente i parametri associati alla valutazione della regola in base ai risultati a livello di riga.
DataQualityResultDescription struttura
Descrive un risultato di qualità dei dati.
Campi
-
ResultId— UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string patternL'ID del risultato univoco per questo risultato della qualità dei dati.
-
DataSource: un oggetto DataSource.Il nome della tabella associata al risultato della qualità dei dati.
-
JobName— UTF-8 stringa, di lunghezza non inferiore a 1 o più di 255 byte, corrispondente a. Single-line string patternIl nome del processo associato al risultato della qualità dei dati.
-
JobRunId— UTF-8 stringa, di lunghezza non inferiore a 1 o più di 255 byte, corrispondente a. Single-line string patternL'ID di esecuzione del processo associato al risultato della qualità dei dati.
-
StartedOn: timestamp.L'ora di inizio dell'esecuzione per questo risultato di qualità dei dati.
DataQualityResultFilterCriteria struttura
Criteri utilizzati per restituire i risultati della qualità dei dati.
Campi
-
DataSource: un oggetto DataSource.Filtra i risultati in base all'origine dati specificata. Ad esempio, recuperare tutti i risultati per una AWS Glue tabella.
-
JobName— UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string patternFiltra i risultati in base al nome del processo specificato.
-
JobRunId— UTF-8 stringa, di lunghezza non inferiore a 1 o più di 255 byte, corrispondente a. Single-line string patternFiltra i risultati in base all'ID di esecuzione del processo specificato.
-
StartedAfter: timestamp.Filtra i risultati in base alle esecuzioni iniziate dopo questo momento.
-
StartedBefore: timestamp.Filtra i risultati in base alle esecuzioni iniziate prima di questo momento.
DataQualityRulesetFilterCriteria struttura
I criteri utilizzati per filtrare i set di regole della qualità dei dati.
Campi
-
Name— UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string patternIl nome del criterio di filtro del set di regole.
-
Description: stringa di descrizione, non superiore a 2048 byte di lunghezza, corrispondente a URI address multi-line string pattern.La descrizione dei criteri di filtro del set di regole.
-
CreatedBefore: timestamp.Filtra i set di regole creati prima di questa data.
-
CreatedAfter: timestamp.Filtra i set di regole creati dopo questa data.
-
LastModifiedBefore: timestamp.Filtra i set di regole modificati per l'ultima volta prima di questa data.
-
LastModifiedAfter: timestamp.Filtra i set di regole modificati per l'ultima volta dopo questa data.
-
TargetTable: un oggetto DataQualityTargetTable.Il nome e il nome del database della tabella di destinazione.
DataQualityAggregatedMetrics struttura
Un riepilogo delle metriche che mostra il conteggio totale delle righe e delle regole elaborate, comprese le relative pass/fail statistiche basate sui risultati a livello di riga.
Campi
-
TotalRowsProcessed: numero (doppio).Il numero totale di righe elaborate durante la valutazione della qualità dei dati.
-
TotalRowsPassed: numero (doppio).Il numero totale di righe che hanno superato tutte le regole di qualità dei dati applicabili.
-
TotalRowsFailed: numero (doppio).Il numero totale di righe che non hanno superato una o più regole di qualità dei dati.
-
TotalRulesProcessed: numero (doppio).Il numero totale di regole di qualità dei dati valutate.
-
TotalRulesPassed: numero (doppio).Il numero totale di regole di qualità dei dati che hanno superato i criteri di valutazione.
-
TotalRulesFailed: numero (doppio).Il numero totale di regole di qualità dei dati che non hanno superato i criteri di valutazione.
StatisticAnnotation struttura
Un'annotazione statistica.
Campi
-
ProfileId— UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string patternL'ID profilo.
-
StatisticId— UTF-8 stringa, di lunghezza non inferiore a 1 o più di 255 byte, corrispondente a. Single-line string patternL'ID statistica.
-
StatisticRecordedOn: timestamp.Il timestamp del momento in cui è stata registrata la statistica annotata.
-
InclusionAnnotation: un oggetto TimestampedInclusionAnnotation.L'annotazione di inclusione applicata alla statistica.
TimestampedInclusionAnnotation struttura
Un'annotazione di inclusione con timestamp.
Campi
-
Value— UTF-8 stringa (valori validi:INCLUDE|EXCLUDE).Il valore dell'annotazione di inclusione.
-
LastModifiedOn: timestamp.Il timestamp del momento in cui è avvenuta l'ultima modifica dell'annotazione di inclusione.
AnnotationError struttura
Un'annotazione non riuscita.
Campi
-
ProfileId— UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string patternL'ID profilo dell'annotazione non riuscita.
-
StatisticId— UTF-8 stringa, di lunghezza non inferiore a 1 o più di 255 byte, corrispondente a. Single-line string patternL'ID statistica dell'annotazione non riuscita.
-
FailureReason: stringa di descrizione, non superiore a 2048 byte di lunghezza, corrispondente a URI address multi-line string pattern.Il motivo per cui l'annotazione non è riuscita.
DatapointInclusionAnnotation struttura
Un'annotazione di inclusione.
Campi
-
ProfileId— UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string patternL'ID del profilo di qualità dei dati a cui appartiene la statistica.
-
StatisticId— UTF-8 stringa, di lunghezza non inferiore a 1 o più di 255 byte, corrispondente a. Single-line string patternL'ID statistica.
-
InclusionAnnotation— UTF-8 stringa (valori validi:INCLUDE|EXCLUDE).Il valore dell'annotazione di inclusione da applicare alla statistica.
StatisticSummaryList lista
elenco di StatisticSummary.
Un array di oggetti StatisticSummary.
elenco di StatisticSummary.
StatisticSummary struttura
Informazioni di riepilogo relative a una statistica.
Campi
-
StatisticId— UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string patternL'ID statistica.
-
ProfileId— UTF-8 stringa, di lunghezza non inferiore a 1 o più di 255 byte, corrispondente a. Single-line string patternL'ID profilo.
-
RunIdentifier: un oggetto RunIdentifier.L'identificatore dell'esecuzione
-
StatisticName— UTF-8 stringa, di lunghezza non inferiore a 1 o più di 255 byte, corrispondente a. Custom string pattern #16Il nome della statistica.
-
DoubleValue: numero (doppio).Il valore della statistica.
-
EvaluationLevel— UTF-8 stringa (valori validi:Dataset="DATASET"|Column="COLUMN"|Multicolumn="MULTICOLUMN").Il livello di valutazione della statistica. Valori possibili:
Dataset,Column,Multicolumn. -
ColumnsReferenced— Una matrice di UTF-8 stringhe.L'elenco delle colonne a cui fa riferimento la statistica.
-
ReferencedDatasets— Una serie di UTF-8 stringhe.L'elenco dei set di dati a cui fa riferimento la statistica.
-
StatisticProperties: una matrice della mappa di coppie chiave-valore.Ogni chiave è una UTF-8 stringa, lunga non meno di 1 o più di 255 byte, che corrisponde a. Single-line string pattern
Ogni valore è una stringa Description, non superiore a 2.048 byte di lunghezza, corrispondente a URI address multi-line string pattern.
Una
StatisticPropertiesMap, che contiene unaNameStringe unaDescriptionString -
RecordedOn: timestamp.Il timestamp del momento in cui è stata registrata la statistica.
-
InclusionAnnotation: un oggetto TimestampedInclusionAnnotation.L'annotazione di inclusione della statistica.
RunIdentifier struttura
Un identificatore di esecuzione.
Campi
-
RunId— UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string patternL'ID di esecuzione.
-
JobRunId— UTF-8 stringa, di lunghezza non inferiore a 1 o più di 255 byte, corrispondente a. Single-line string patternL'ID del processo di esecuzione.
StatisticModelResult struttura
Il risultato del modello statistico.
Campi
-
LowerBound: numero (doppio).Il limite inferiore.
-
UpperBound: numero (doppio).Il limite superiore.
-
PredictedValue: numero (doppio).Il valore previsto.
-
ActualValue: numero (doppio).Il valore effettivo.
-
Date: timestamp.La data.
-
InclusionAnnotation— UTF-8 stringa (valori validi:INCLUDE|EXCLUDE).L'annotazione di inclusione.
DataQualityGlueTable struttura
Il database e la tabella utilizzati per AWS Glue Data Catalog i dati di input o output per le operazioni di qualità dei dati.
Campi
-
DatabaseName— Obbligatorio: UTF-8 stringa di lunghezza non inferiore a 1 o superiore a 255 byte, corrispondente a. Single-line string patternUn nome del database in AWS Glue Data Catalog.
-
TableName— Obbligatorio: UTF-8 stringa, di lunghezza non inferiore a 1 o più di 255 byte, corrispondente a. Single-line string patternUn nome della tabella in AWS Glue Data Catalog.
-
CatalogId— UTF-8 stringa, di lunghezza non inferiore a 1 o più di 255 byte, corrispondente a. Single-line string patternUn identificatore univoco per AWS Glue Data Catalog.
-
ConnectionName— UTF-8 stringa, di lunghezza non inferiore a 1 o più di 255 byte, corrispondente a. Single-line string patternNome della connessione a AWS Glue Data Catalog.
-
AdditionalOptions: una matrice di mappe di coppie chiave-valore, non meno di 1 o più di 10 coppie.Ogni chiave è una UTF-8 stringa, lunga non meno di 1 o più di 255 byte, che corrisponde a. Single-line string pattern
Ogni valore è una stringa Description, non superiore a 2.048 byte di lunghezza, corrispondente a URI address multi-line string pattern.
Opzioni aggiuntive per la tabella. Al momento sono supportate due chiavi:
-
pushDownPredicate: filtra le partizioni senza dover elencare e leggere tutti i file nel set di dati. -
catalogPartitionPredicate: per utilizzare l'eliminazione delle partizioni lato server utilizzando gli indici delle partizioni in AWS Glue Data Catalog.
-
-
PreProcessingQuery— UTF-8 stringa, lunga non più di 51200 byte, corrispondente a. URI address multi-line string patternQuery SQL in formato SparkSQL che può essere utilizzata per preelaborare i dati per la tabella in AWS Glue Data Catalog, prima di eseguire la Data Quality Operation.
Operazioni
StartDataQualityRulesetEvaluationRun azione (Python: start_data_quality_ruleset_evaluation_run)
CancelDataQualityRulesetEvaluationRun azione (Python: cancel_data_quality_ruleset_evaluation_run)
GetDataQualityRulesetEvaluationRun azione (Python: get_data_quality_ruleset_evaluation_run)
ListDataQualityRulesetEvaluationRuns azione (Python: list_data_quality_ruleset_evaluation_runs)
StartDataQualityRuleRecommendationRun azione (Python: start_data_quality_rule_recommendation_run)
CancelDataQualityRuleRecommendationRun azione (Python: cancel_data_quality_rule_recommendation_run)
GetDataQualityRuleRecommendationRun azione (Python: get_data_quality_rule_recommendation_run)
ListDataQualityRuleRecommendationRuns azione (Python: list_data_quality_rule_recommendation_runs)
GetDataQualityResult azione (Python: get_data_quality_result)
BatchGetDataQualityResult azione (Python: batch_get_data_quality_result)
ListDataQualityResults azione (Python: list_data_quality_results)
CreateDataQualityRuleset azione (Python: create_data_quality_ruleset)
DeleteDataQualityRuleset azione (Python: delete_data_quality_ruleset)
GetDataQualityRuleset azione (Python: get_data_quality_ruleset)
ListDataQualityRulesets azione (Python: list_data_quality_rulesets)
UpdateDataQualityRuleset azione (Python: update_data_quality_ruleset)
ListDataQualityStatistics azione (Python: list_data_quality_statistics)
BatchPutDataQualityStatisticAnnotation azione (Python: batch_put_data_quality_statistic_annotation)
GetDataQualityModelResult azione (Python: get_data_quality_model_result)
ListDataQualityStatisticAnnotations azione (Python: list_data_quality_statistic_annotations)
PutDataQualityProfileAnnotation azione (Python: put_data_quality_profile_annotation)
StartDataQualityRulesetEvaluationRun azione (Python: start_data_quality_ruleset_evaluation_run)
Una volta ottenuta una definizione del set di regole (consigliata o personalizzata), si chiama questa operazione per valutare il set di regole rispetto a una fonte di dati (tabella).AWS Glue La valutazione calcola i risultati che è possibile recuperare con l'API GetDataQualityResult.
Richiesta
-
DataSource- obbligatorio: un oggetto DataSource.L'origine dati (AWS Glue tabella) associata a questa esecuzione.
-
Role— Obbligatorio: UTF-8 stringa.Un IAM ruolo fornito per crittografare i risultati dell'esecuzione.
-
NumberOfWorkers: numero (intero).Il numero di worker
G.1Xda utilizzare nell'esecuzione. Il predefinito è 5. -
Timeout: numero (intero), almeno 1.Il timeout per una esecuzione in minuti. Questo è il tempo massimo durante il quale un'esecuzione può utilizzare le risorse prima di essere terminata e passare allo stato
TIMEOUT. Il valore di default è 2.880 minuti (48 ore). -
ClientToken— UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string patternUtilizzato per l'idempotenza e consigliato per l'impostazione su un ID casuale (come un UUID) per evitare di creare o avviare più istanze della stessa risorsa.
-
AdditionalRunOptions: un oggetto DataQualityEvaluationRunAdditionalRunOptions.Opzioni di esecuzione aggiuntive che è possibile specificare per l'esecuzione di una valutazione.
-
RulesetNames— Obbligatorio: una matrice di UTF-8 stringhe, non meno di 1 o più di 10 stringhe.Un elenco di nomi di set di regole.
-
AdditionalDataSources: una matrice della mappa di coppie chiave-valore.Ogni chiave è una UTF-8 stringa, lunga non meno di 1 o più di 255 byte, che corrisponde a. Single-line string pattern
Ogni valore è un oggetto DataSource.
Una mappa di stringhe di riferimento a origini dati aggiuntive che è possibile specificare per l'esecuzione di una valutazione.
Risposta
-
RunId— UTF-8 stringa, di lunghezza non inferiore a 1 o più di 255 byte, corrispondente a. Single-line string patternL'identificatore univoco dell'esecuzione associato a questa esecuzione di attività.
Errori
InvalidInputExceptionEntityNotFoundExceptionOperationTimeoutExceptionInternalServiceExceptionConflictException
CancelDataQualityRulesetEvaluationRun azione (Python: cancel_data_quality_ruleset_evaluation_run)
Annulla un'esecuzione in cui un set di regole viene valutato rispetto a un'origine dati.
Richiesta
-
RunId— Obbligatorio: UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string patternL'identificatore univoco dell'esecuzione associato a questa esecuzione di attività.
Risposta
Nessun parametro di risposta.
Errori
EntityNotFoundExceptionInvalidInputExceptionOperationTimeoutExceptionInternalServiceException
GetDataQualityRulesetEvaluationRun azione (Python: get_data_quality_ruleset_evaluation_run)
Richiama un'esecuzione in cui un set di regole viene valutato rispetto a un'origine dati.
Richiesta
-
RunId— Obbligatorio: UTF-8 stringa, di lunghezza non inferiore a 1 o superiore a 255 byte, corrispondente a. Single-line string patternL'identificatore univoco dell'esecuzione associato a questa esecuzione di attività.
Risposta
-
RunId— UTF-8 stringa, di lunghezza non inferiore a 1 o più di 255 byte, corrispondente a. Single-line string patternL'identificatore univoco dell'esecuzione associato a questa esecuzione di attività.
-
DataSource: un oggetto DataSource.L'origine dati (una AWS Glue tabella) associata a questa esecuzione di valutazione.
-
Role— UTF-8 stringa.Un IAM ruolo fornito per crittografare i risultati dell'esecuzione.
-
NumberOfWorkers: numero (intero).Il numero di worker
G.1Xda utilizzare nell'esecuzione. Il predefinito è 5. -
Timeout: numero (intero), almeno 1.Il timeout per una esecuzione in minuti. Questo è il tempo massimo durante il quale un'esecuzione può utilizzare le risorse prima di essere terminata e passare allo stato
TIMEOUT. Il valore di default è 2.880 minuti (48 ore). -
AdditionalRunOptions: un oggetto DataQualityEvaluationRunAdditionalRunOptions.Opzioni di esecuzione aggiuntive che è possibile specificare per l'esecuzione di una valutazione.
-
Status— UTF-8 stringa (valori validi:RUNNING|FINISHED|FAILED|PENDING_EXECUTION| |TIMED_OUT|CANCELINGCANCELED|RECEIVED_BY_TASKRUNNER).Lo stato di questa esecuzione.
-
ErrorString— UTF-8 stringa.Le stringhe di errore associate all'esecuzione.
-
StartedOn: timestamp.La data e l'ora in cui è stata avviata questa esecuzione.
-
LastModifiedOn: timestamp.Un Timestamp. L'ultimo momento in cui questa raccomandazione della regola di qualità dei dati è stata modificata.
-
CompletedOn: timestamp.La data e l'ora in cui è stata completata questa esecuzione.
-
ExecutionTime: numero (intero).La quantità di tempo (in secondi) durante la quale l'esecuzione ha utilizzato le risorse.
-
RulesetNames— Una matrice di UTF-8 stringhe, non meno di 1 o più di 10 stringhe.Un elenco di nomi dei set di regole per l'esecuzione. Attualmente, questo parametro accetta un solo nome di set di regole.
-
ResultIds— Una matrice di UTF-8 stringhe, non meno di 1 o più di 10 stringhe.Un elenco di ID dei risultati per i risultati della qualità dei dati per l'esecuzione.
-
AdditionalDataSources: una matrice della mappa di coppie chiave-valore.Ogni chiave è una UTF-8 stringa, lunga non meno di 1 o più di 255 byte, che corrisponde a. Single-line string pattern
Ogni valore è un oggetto DataSource.
Una mappa di stringhe di riferimento a origini dati aggiuntive che è possibile specificare per l'esecuzione di una valutazione.
Errori
EntityNotFoundExceptionInvalidInputExceptionOperationTimeoutExceptionInternalServiceException
ListDataQualityRulesetEvaluationRuns azione (Python: list_data_quality_ruleset_evaluation_runs)
Elenca tutte le esecuzioni che soddisfano i criteri di filtro, in cui un set di regole viene valutato rispetto a un'origine dati.
Richiesta
-
Filter: un oggetto DataQualityRulesetEvaluationRunFilter.I criteri di filtro.
-
NextTokenUTF-8 — stringa.Un token di paginazione per partizionare i risultati.
-
MaxResults: numero (intero), non inferiore a 1 o superiore a 1.000.Numero massimo di risultati da restituire.
Risposta
-
Runs: una matrice di oggetti DataQualityRulesetEvaluationRunDescription.Un elenco di oggetti
DataQualityRulesetEvaluationRunDescriptionche rappresentano le esecuzioni del set di regole della qualità dei dati. -
NextToken— UTF-8 corda.Un token di impaginazione, se sono disponibili altri risultati.
Errori
InvalidInputExceptionOperationTimeoutExceptionInternalServiceException
StartDataQualityRuleRecommendationRun azione (Python: start_data_quality_rule_recommendation_run)
Avvia un'esecuzione di raccomandazioni che viene utilizzata per generare regole quando non sai quali regole scrivere. AWS Glue Data Quality analizza i dati e fornisce consigli per un potenziale set di regole. È possibile quindi classificare il set di regole e modificare il set di regole generato a proprio piacimento.
Le esecuzioni di consigli vengono eliminate automaticamente dopo 90 giorni.
Richiesta
La richiesta di raccomandazione della regola di qualità dei dati.
-
DataSource- obbligatorio: un oggetto DataSource.La fonte di dati (AWS Glue tabella) associata a questa esecuzione.
-
Role— Obbligatorio: UTF-8 stringa.Un IAM ruolo fornito per crittografare i risultati dell'esecuzione.
-
NumberOfWorkers: numero (intero).Il numero di worker
G.1Xda utilizzare nell'esecuzione. Il predefinito è 5. -
Timeout: numero (intero), almeno 1.Il timeout per una esecuzione in minuti. Questo è il tempo massimo durante il quale un'esecuzione può utilizzare le risorse prima di essere terminata e passare allo stato
TIMEOUT. Il valore di default è 2.880 minuti (48 ore). -
CreatedRulesetName— UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string patternUn nome per il set di regole.
-
DataQualitySecurityConfiguration— UTF-8 stringa, di lunghezza non inferiore a 1 o più di 255 byte, corrispondente a. Single-line string patternIl nome della configurazione di sicurezza creata con l'opzione di crittografia di qualità dei dati.
-
ClientToken— UTF-8 stringa, di lunghezza non inferiore a 1 o più di 255 byte, corrispondente a. Single-line string patternUtilizzato per l'idempotenza e consigliato per l'impostazione su un ID casuale (come un UUID) per evitare di creare o avviare più istanze della stessa risorsa.
Risposta
-
RunId— UTF-8 stringa, di lunghezza non inferiore a 1 o più di 255 byte, corrispondente a. Single-line string patternL'identificatore univoco dell'esecuzione associato a questa esecuzione di attività.
Errori
InvalidInputExceptionOperationTimeoutExceptionInternalServiceExceptionConflictException
CancelDataQualityRuleRecommendationRun azione (Python: cancel_data_quality_rule_recommendation_run)
Annulla l'esecuzione della raccomandazione specificata utilizzata per generare le regole.
Richiesta
-
RunId— Obbligatorio: UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string patternL'identificatore univoco dell'esecuzione associato a questa esecuzione di attività.
Risposta
Nessun parametro di risposta.
Errori
EntityNotFoundExceptionInvalidInputExceptionOperationTimeoutExceptionInternalServiceException
GetDataQualityRuleRecommendationRun azione (Python: get_data_quality_rule_recommendation_run)
Ottiene l'esecuzione della raccomandazione specificata utilizzata per generare le regole.
Richiesta
-
RunId— Obbligatorio: UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string patternL'identificatore univoco dell'esecuzione associato a questa esecuzione di attività.
Risposta
La risposta dell'esecuzione della raccomandazione della regola di qualità dei dati.
-
RunId— UTF-8 stringa, di lunghezza non inferiore a 1 o più di 255 byte, corrispondente a. Single-line string patternL'identificatore univoco dell'esecuzione associato a questa esecuzione di attività.
-
DataSource: un oggetto DataSource.L'origine dati (una AWS Glue tabella) associata a questa esecuzione.
-
Role— UTF-8 stringa.Un IAM ruolo fornito per crittografare i risultati dell'esecuzione.
-
NumberOfWorkers: numero (intero).Il numero di worker
G.1Xda utilizzare nell'esecuzione. Il predefinito è 5. -
Timeout: numero (intero), almeno 1.Il timeout per una esecuzione in minuti. Questo è il tempo massimo durante il quale un'esecuzione può utilizzare le risorse prima di essere terminata e passare allo stato
TIMEOUT. Il valore di default è 2.880 minuti (48 ore). -
Status— UTF-8 stringa (valori validi:RUNNING|FINISHED|FAILED|PENDING_EXECUTION| |TIMED_OUT|CANCELINGCANCELED|RECEIVED_BY_TASKRUNNER).Lo stato di questa esecuzione.
-
ErrorString— UTF-8 stringa.Le stringhe di errore associate all'esecuzione.
-
StartedOn: timestamp.La data e l'ora in cui è stata avviata questa esecuzione.
-
LastModifiedOn: timestamp.Un Timestamp. L'ultimo momento in cui questa raccomandazione della regola di qualità dei dati è stata modificata.
-
CompletedOn: timestamp.La data e l'ora in cui è stata completata questa esecuzione.
-
ExecutionTime: numero (intero).La quantità di tempo (in secondi) durante la quale l'esecuzione ha utilizzato le risorse.
-
RecommendedRuleset— UTF-8 stringa, lunga non meno di 1 o più di 65536 byte.Una volta completata l'esecuzione di una raccomandazione della regola di avvio, viene creato un set di regole consigliato (una serie di regole). Questo membro ha queste regole nel formato DQDL (Data Quality Definition Language).
-
CreatedRulesetName— UTF-8 stringa, di lunghezza non inferiore a 1 o più di 255 byte, corrispondente a. Single-line string patternIl nome del set di regole che è stato creato dall'esecuzione.
-
DataQualitySecurityConfiguration— UTF-8 stringa, di lunghezza non inferiore a 1 o più di 255 byte, corrispondente a. Single-line string patternIl nome della configurazione di sicurezza creata con l'opzione di crittografia di qualità dei dati.
Errori
EntityNotFoundExceptionInvalidInputExceptionOperationTimeoutExceptionInternalServiceException
ListDataQualityRuleRecommendationRuns azione (Python: list_data_quality_rule_recommendation_runs)
Elenca le esecuzioni delle raccomandazioni che soddisfano i criteri di filtro.
Richiesta
-
Filter: un oggetto DataQualityRuleRecommendationRunFilter.I criteri di filtro.
-
NextTokenUTF-8 — stringa.Un token di paginazione per partizionare i risultati.
-
MaxResults: numero (intero), non inferiore a 1 o superiore a 1.000.Numero massimo di risultati da restituire.
Risposta
-
Runs: una matrice di oggetti DataQualityRuleRecommendationRunDescription.Elenco di oggetti
DataQualityRuleRecommendationRunDescription. -
NextToken— UTF-8 corda.Un token di impaginazione, se sono disponibili altri risultati.
Errori
InvalidInputExceptionOperationTimeoutExceptionInternalServiceException
GetDataQualityResult azione (Python: get_data_quality_result)
Recupera il risultato di una valutazione della regola della qualità dei dati.
Richiesta
-
ResultId— Obbligatorio: UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string patternUn ID di risultato univoco per il risultato della qualità dei dati.
Risposta
La risposta del risultato di qualità dei dati.
-
ResultId— UTF-8 stringa, di lunghezza non inferiore a 1 o più di 255 byte, corrispondente a. Single-line string patternUn ID di risultato univoco per il risultato della qualità dei dati.
-
ProfileId— UTF-8 stringa, di lunghezza non inferiore a 1 o più di 255 byte, corrispondente a. Single-line string patternL'ID profilo del risultato di qualità dei dati.
-
Score: numero (doppio), non superiore a 1.Un punteggio aggregato della qualità dei dati. Rappresenta il rapporto tra le regole inviate e il numero totale di regole.
-
DataSource: un oggetto DataSource.La tabella associata al risultato della qualità dei dati, se presente.
-
RulesetName— UTF-8 stringa, di lunghezza non inferiore a 1 o più di 255 byte, corrispondente a. Single-line string patternIl nome del set di regole associato al risultato della qualità dei dati.
-
EvaluationContext— UTF-8 stringa.Nel contesto di un lavoro in AWS Glue Studio, a ogni nodo dell'area di disegno viene in genere assegnato un nome e i nodi di qualità dei dati avranno dei nomi. Nel caso di più nodi,
evaluationContextpuò differenziare i nodi. -
StartedOn: timestamp.La data e ora di inizio dell'esecuzione di questo risultato della qualità dei dati.
-
CompletedOn: timestamp.La data e ora di completamento dell'esecuzione di questo risultato della qualità dei dati.
-
JobName— UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string patternIl nome del processo associato al risultato della qualità dei dati, se presente.
-
JobRunId— UTF-8 stringa, di lunghezza non inferiore a 1 o più di 255 byte, corrispondente a. Single-line string patternL'ID di esecuzione del processo associato al risultato della qualità dei dati, se presente.
-
RulesetEvaluationRunId— UTF-8 stringa, di lunghezza non inferiore a 1 o più di 255 byte, corrispondente a. Single-line string patternL'ID di esecuzione univoco associato alla valutazione del set di regole.
-
RuleResults: una matrice di oggetti DataQualityRuleResult, non superiore a 2.000 strutture.Un elenco di oggetti
DataQualityRuleResultche rappresentano i risultati per ogni regola. -
AnalyzerResults: una matrice di oggetti DataQualityAnalyzerResult, non superiore a 2.000 strutture.Un elenco di oggetti
DataQualityAnalyzerResultche rappresentano i risultati per ogni analizzatore. -
Observations: una matrice di oggetti DataQualityObservation, non superiore a 50 strutture.Un elenco di oggetti
DataQualityObservationche rappresentano le osservazioni generate dopo la valutazione di regole e analizzatori. -
AggregatedMetrics: un oggetto DataQualityAggregatedMetrics.Un riepilogo degli
DataQualityAggregatedMetricsoggetti che mostra il conteggio totale delle righe e delle regole elaborate, comprese le relative pass/fail statistiche basate sui risultati a livello di riga.
Errori
InvalidInputExceptionOperationTimeoutExceptionInternalServiceExceptionEntityNotFoundException
BatchGetDataQualityResult azione (Python: batch_get_data_quality_result)
Recupera un elenco di risultati della qualità dei dati per gli ID dei risultati specificati.
Richiesta
-
ResultIds— Obbligatorio: un array di stringhe, non meno di 1 o più di UTF-8 100 stringhe.Un elenco di ID dei risultati univoci per i risultati della qualità dei dati.
Risposta
-
Results- obbligatorio: una matrice di oggetti DataQualityResult.Un elenco di oggetti
DataQualityResultche rappresentano i risultati della qualità dei dati. -
ResultsNotFound— Una matrice di UTF-8 stringhe, non meno di 1 o più di 100 stringhe.Un elenco di ID dei risultati per i quali non sono stati trovati risultati.
Errori
InvalidInputExceptionOperationTimeoutExceptionInternalServiceException
ListDataQualityResults azione (Python: list_data_quality_results)
Restituisce tutti i risultati di esecuzione della qualità dei dati per il tuo account.
Richiesta
-
Filter: un oggetto DataQualityResultFilterCriteria.I criteri di filtro.
-
NextTokenUTF-8 — stringa.Un token di paginazione per partizionare i risultati.
-
MaxResults: numero (intero), non inferiore a 1 o superiore a 1.000.Numero massimo di risultati da restituire.
Risposta
-
Results- obbligatorio: una matrice di oggetti DataQualityResultDescription.Elenco di oggetti
DataQualityResultDescription. -
NextToken— UTF-8 corda.Un token di impaginazione, se sono disponibili altri risultati.
Errori
InvalidInputExceptionOperationTimeoutExceptionInternalServiceException
CreateDataQualityRuleset azione (Python: create_data_quality_ruleset)
Crea un set di regole di qualità dei dati con regole DQDL applicate a una tabella specificata. AWS Glue
Il set di regole viene creato utilizzando il Data Quality Definition Language (DQDL). Per ulteriori informazioni, consulta la guida per gli sviluppatori. AWS Glue
Richiesta
Una richiesta di creazione di un set di regole di qualità dei dati.
-
Name— Obbligatorio: UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string patternUn nome univoco per il set di regole di qualità dei dati.
-
Description: stringa di descrizione, non superiore a 2048 byte di lunghezza, corrispondente a URI address multi-line string pattern.Una descrizione del set di regole di qualità dei dati.
-
Ruleset— Obbligatorio: UTF-8 stringa di lunghezza non inferiore a 1 o superiore a 65536 byte.Un set di regole Data Quality Definition Language (DQDL). Per ulteriori informazioni, consulta la guida per gli AWS Glue sviluppatori.
-
Tags: una matrice di mappe con coppie chiave-valore, non superiore alle 50 coppie.Ogni chiave è una UTF-8 stringa di lunghezza non inferiore a 1 o superiore a 128 byte.
Ogni valore è una UTF-8 stringa, lunga non più di 256 byte.
Un elenco di tag applicati al set di regole di qualità dei dati.
-
TargetTable: un oggetto DataQualityTargetTable.Una tabella di destinazione associata al set di regole di qualità dei dati.
-
RecommendationRunId— UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string patternUn ID di esecuzione univoco per l'esecuzione della raccomandazione.
-
DataQualitySecurityConfiguration— UTF-8 stringa, di lunghezza non inferiore a 1 o più di 255 byte, corrispondente a. Single-line string patternIl nome della configurazione di sicurezza creata con l'opzione di crittografia di qualità dei dati.
-
ClientToken— UTF-8 stringa, di lunghezza non inferiore a 1 o più di 255 byte, corrispondente a. Single-line string patternUtilizzato per l'idempotenza e consigliato per l'impostazione su un ID casuale (come un UUID) per evitare di creare o avviare più istanze della stessa risorsa.
Risposta
-
Name— UTF-8 stringa, di lunghezza non inferiore a 1 o più di 255 byte, corrispondente a. Single-line string patternUn nome univoco per il set di regole di qualità dei dati.
Errori
InvalidInputExceptionAlreadyExistsExceptionOperationTimeoutExceptionInternalServiceExceptionResourceNumberLimitExceededException
DeleteDataQualityRuleset azione (Python: delete_data_quality_ruleset)
Elimina un set di regole di qualità dei dati.
Richiesta
-
Name— Obbligatorio: UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string patternUn nome per il set di regole di qualità dei dati.
Risposta
Nessun parametro di risposta.
Errori
EntityNotFoundExceptionInvalidInputExceptionOperationTimeoutExceptionInternalServiceException
GetDataQualityRuleset azione (Python: get_data_quality_ruleset)
Restituisce un set di regole esistente per identificatore o nome.
Richiesta
-
Name— Obbligatorio: UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string patternIl nome del set di regole.
Risposta
Restituisce la risposta del set di regole di qualità dei dati.
-
Name— UTF-8 stringa, di lunghezza non inferiore a 1 o più di 255 byte, corrispondente a. Single-line string patternIl nome del set di regole.
-
Description: stringa di descrizione, non superiore a 2048 byte di lunghezza, corrispondente a URI address multi-line string pattern.Una descrizione del set di regole.
-
Ruleset— UTF-8 stringa, di lunghezza non inferiore a 1 o superiore a 65536 byte.Un set di regole Data Quality Definition Language (DQDL). Per ulteriori informazioni, consulta la guida per gli AWS Glue sviluppatori.
-
TargetTable: un oggetto DataQualityTargetTable.Il nome e il nome del database della tabella di destinazione.
-
CreatedOn: timestamp.Un Timestamp. La data e l'ora di creazione del set di regole di qualità dei dati.
-
LastModifiedOn: timestamp.Un Timestamp. L'ultimo momento in cui questo set di regole di qualità dei dati è stato modificato.
-
RecommendationRunId— UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string patternQuando un set di regole è stato creato da un'esecuzione di raccomandazione, questo ID di esecuzione viene generato per collegare i due.
-
DataQualitySecurityConfiguration— UTF-8 stringa, di lunghezza non inferiore a 1 o più di 255 byte, corrispondente a. Single-line string patternIl nome della configurazione di sicurezza creata con l'opzione di crittografia di qualità dei dati.
Errori
EntityNotFoundExceptionInvalidInputExceptionOperationTimeoutExceptionInternalServiceException
ListDataQualityRulesets azione (Python: list_data_quality_rulesets)
Restituisce un elenco impaginato di set di regole per l'elenco di tabelle specificato. AWS Glue
Richiesta
-
NextToken— UTF-8 stringa.Un token di paginazione per partizionare i risultati.
-
MaxResults: numero (intero), non inferiore a 1 o superiore a 1.000.Numero massimo di risultati da restituire.
-
Filter: un oggetto DataQualityRulesetFilterCriteria.I criteri di filtro.
-
Tags: una matrice di mappe con coppie chiave-valore, non superiore alle 50 coppie.Ogni chiave è una UTF-8 stringa di lunghezza non inferiore a 1 o superiore a 128 byte.
Ogni valore è una UTF-8 stringa, lunga non più di 256 byte.
Un elenco di tag di coppie chiave-valore.
Risposta
-
Rulesets: una matrice di oggetti DataQualityRulesetListDetails.Un elenco impaginato di set di regole per l'elenco di tabelle specificato. AWS Glue
-
NextTokenUTF-8 — stringa.Un token di impaginazione, se sono disponibili altri risultati.
Errori
EntityNotFoundExceptionInvalidInputExceptionOperationTimeoutExceptionInternalServiceException
UpdateDataQualityRuleset azione (Python: update_data_quality_ruleset)
Aggiorna il set di regole di qualità dei dati specificato.
Richiesta
-
Name— Obbligatorio: UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string patternIl nome del set di regole di qualità dei dati.
-
Description: stringa di descrizione, non superiore a 2048 byte di lunghezza, corrispondente a URI address multi-line string pattern.Una descrizione del set di regole.
-
Ruleset— UTF-8 stringa, di lunghezza non inferiore a 1 o superiore a 65536 byte.Un set di regole Data Quality Definition Language (DQDL). Per ulteriori informazioni, consulta la guida per gli AWS Glue sviluppatori.
Risposta
-
Name— UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string patternIl nome del set di regole di qualità dei dati.
-
Description: stringa di descrizione, non superiore a 2048 byte di lunghezza, corrispondente a URI address multi-line string pattern.Una descrizione del set di regole.
-
Ruleset— UTF-8 stringa, di lunghezza non inferiore a 1 o superiore a 65536 byte.Un set di regole Data Quality Definition Language (DQDL). Per ulteriori informazioni, consulta la guida per gli AWS Glue sviluppatori.
Errori
EntityNotFoundExceptionAlreadyExistsExceptionIdempotentParameterMismatchExceptionInvalidInputExceptionOperationTimeoutExceptionInternalServiceExceptionResourceNumberLimitExceededException
ListDataQualityStatistics azione (Python: list_data_quality_statistics)
Recupera un elenco di statistiche di qualità dei dati.
Richiesta
-
StatisticId— UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string patternL'ID statistica.
-
ProfileId— UTF-8 stringa, di lunghezza non inferiore a 1 o più di 255 byte, corrispondente a. Single-line string patternL'ID profilo.
-
TimestampFilter: un oggetto TimestampFilter.Un filtro di timestamp.
-
MaxResults: numero (intero), non inferiore a 1 o superiore a 1.000.Numero massimo di risultati da restituire in questa richiesta.
-
NextToken— UTF-8 stringa.Un token di impaginazione per richiedere la pagina successiva di risultati.
Risposta
-
Statistics: una matrice di oggetti StatisticSummary.Un
StatisticSummaryList. -
NextToken— UTF-8 corda.Un token di impaginazione per richiedere la pagina successiva di risultati.
Errori
EntityNotFoundExceptionInvalidInputExceptionInternalServiceException
TimestampFilter struttura
Un filtro di timestamp.
Campi
-
RecordedBefore: timestamp.Il timestamp prima del quale le statistiche devono essere incluse nei risultati.
-
RecordedAfter: timestamp.Il timestamp dopo il quale le statistiche devono essere incluse nei risultati.
CreateDataQualityRulesetRequest struttura
Una richiesta di creazione di un set di regole di qualità dei dati.
Campi
-
Name— Obbligatorio: UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string patternUn nome univoco per il set di regole di qualità dei dati.
-
Description: stringa di descrizione, non superiore a 2048 byte di lunghezza, corrispondente a URI address multi-line string pattern.Una descrizione del set di regole di qualità dei dati.
-
Ruleset— Obbligatorio: UTF-8 stringa di lunghezza non inferiore a 1 o superiore a 65536 byte.Un set di regole Data Quality Definition Language (DQDL). Per ulteriori informazioni, consulta la guida per gli AWS Glue sviluppatori.
-
Tags: una matrice di mappe con coppie chiave-valore, non superiore alle 50 coppie.Ogni chiave è una UTF-8 stringa di lunghezza non inferiore a 1 o superiore a 128 byte.
Ogni valore è una UTF-8 stringa, lunga non più di 256 byte.
Un elenco di tag applicati al set di regole di qualità dei dati.
-
TargetTable: un oggetto DataQualityTargetTable.Una tabella di destinazione associata al set di regole di qualità dei dati.
-
RecommendationRunId— UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string patternUn ID di esecuzione univoco per l'esecuzione della raccomandazione.
-
DataQualitySecurityConfiguration— UTF-8 stringa, di lunghezza non inferiore a 1 o più di 255 byte, corrispondente a. Single-line string patternIl nome della configurazione di sicurezza creata con l'opzione di crittografia di qualità dei dati.
-
ClientToken— UTF-8 stringa, di lunghezza non inferiore a 1 o più di 255 byte, corrispondente a. Single-line string patternUtilizzato per l'idempotenza e consigliato per l'impostazione su un ID casuale (come un UUID) per evitare di creare o avviare più istanze della stessa risorsa.
GetDataQualityRulesetResponse struttura
Restituisce la risposta del set di regole di qualità dei dati.
Campi
-
Name— UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string patternIl nome del set di regole.
-
Description: stringa di descrizione, non superiore a 2048 byte di lunghezza, corrispondente a URI address multi-line string pattern.Una descrizione del set di regole.
-
Ruleset— UTF-8 stringa, di lunghezza non inferiore a 1 o superiore a 65536 byte.Un set di regole Data Quality Definition Language (DQDL). Per ulteriori informazioni, consulta la guida per gli AWS Glue sviluppatori.
-
TargetTable: un oggetto DataQualityTargetTable.Il nome e il nome del database della tabella di destinazione.
-
CreatedOn: timestamp.Un Timestamp. La data e l'ora di creazione del set di regole di qualità dei dati.
-
LastModifiedOn: timestamp.Un Timestamp. L'ultimo momento in cui questo set di regole di qualità dei dati è stato modificato.
-
RecommendationRunId— UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string patternQuando un set di regole è stato creato da un'esecuzione di raccomandazione, questo ID di esecuzione viene generato per collegare i due.
-
DataQualitySecurityConfiguration— UTF-8 stringa, di lunghezza non inferiore a 1 o più di 255 byte, corrispondente a. Single-line string patternIl nome della configurazione di sicurezza creata con l'opzione di crittografia di qualità dei dati.
GetDataQualityResultResponse struttura
La risposta del risultato di qualità dei dati.
Campi
-
ResultId— UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string patternUn ID di risultato univoco per il risultato della qualità dei dati.
-
ProfileId— UTF-8 stringa, di lunghezza non inferiore a 1 o più di 255 byte, corrispondente a. Single-line string patternL'ID profilo del risultato di qualità dei dati.
-
Score: numero (doppio), non superiore a 1.Un punteggio aggregato della qualità dei dati. Rappresenta il rapporto tra le regole inviate e il numero totale di regole.
-
DataSource: un oggetto DataSource.La tabella associata al risultato della qualità dei dati, se presente.
-
RulesetName— UTF-8 stringa, di lunghezza non inferiore a 1 o più di 255 byte, corrispondente a. Single-line string patternIl nome del set di regole associato al risultato della qualità dei dati.
-
EvaluationContext— UTF-8 stringa.Nel contesto di un lavoro in AWS Glue Studio, a ogni nodo dell'area di disegno viene in genere assegnato un nome e i nodi di qualità dei dati avranno dei nomi. Nel caso di più nodi,
evaluationContextpuò differenziare i nodi. -
StartedOn: timestamp.La data e ora di inizio dell'esecuzione di questo risultato della qualità dei dati.
-
CompletedOn: timestamp.La data e ora di completamento dell'esecuzione di questo risultato della qualità dei dati.
-
JobName— UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string patternIl nome del processo associato al risultato della qualità dei dati, se presente.
-
JobRunId— UTF-8 stringa, di lunghezza non inferiore a 1 o più di 255 byte, corrispondente a. Single-line string patternL'ID di esecuzione del processo associato al risultato della qualità dei dati, se presente.
-
RulesetEvaluationRunId— UTF-8 stringa, di lunghezza non inferiore a 1 o più di 255 byte, corrispondente a. Single-line string patternL'ID di esecuzione univoco associato alla valutazione del set di regole.
-
RuleResults: una matrice di oggetti DataQualityRuleResult, non superiore a 2.000 strutture.Un elenco di oggetti
DataQualityRuleResultche rappresentano i risultati per ogni regola. -
AnalyzerResults: una matrice di oggetti DataQualityAnalyzerResult, non superiore a 2.000 strutture.Un elenco di oggetti
DataQualityAnalyzerResultche rappresentano i risultati per ogni analizzatore. -
Observations: una matrice di oggetti DataQualityObservation, non superiore a 50 strutture.Un elenco di oggetti
DataQualityObservationche rappresentano le osservazioni generate dopo la valutazione di regole e analizzatori. -
AggregatedMetrics: un oggetto DataQualityAggregatedMetrics.Un riepilogo degli
DataQualityAggregatedMetricsoggetti che mostra il conteggio totale delle righe e delle regole elaborate, comprese le relative pass/fail statistiche basate sui risultati a livello di riga.
StartDataQualityRuleRecommendationRunRequest struttura
La richiesta di raccomandazione della regola di qualità dei dati.
Campi
-
DataSource- obbligatorio: un oggetto DataSource.L'origine dati (AWS Glue tabella) associata a questa esecuzione.
-
Role— Obbligatorio: UTF-8 stringa.Un IAM ruolo fornito per crittografare i risultati dell'esecuzione.
-
NumberOfWorkers: numero (intero).Il numero di worker
G.1Xda utilizzare nell'esecuzione. Il predefinito è 5. -
Timeout: numero (intero), almeno 1.Il timeout per una esecuzione in minuti. Questo è il tempo massimo durante il quale un'esecuzione può utilizzare le risorse prima di essere terminata e passare allo stato
TIMEOUT. Il valore di default è 2.880 minuti (48 ore). -
CreatedRulesetName— UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string patternUn nome per il set di regole.
-
DataQualitySecurityConfiguration— UTF-8 stringa, di lunghezza non inferiore a 1 o più di 255 byte, corrispondente a. Single-line string patternIl nome della configurazione di sicurezza creata con l'opzione di crittografia di qualità dei dati.
-
ClientToken— UTF-8 stringa, di lunghezza non inferiore a 1 o più di 255 byte, corrispondente a. Single-line string patternUtilizzato per l'idempotenza e consigliato per l'impostazione su un ID casuale (come un UUID) per evitare di creare o avviare più istanze della stessa risorsa.
GetDataQualityRuleRecommendationRunResponse struttura
La risposta dell'esecuzione della raccomandazione della regola di qualità dei dati.
Campi
-
RunId— UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string patternL'identificatore univoco dell'esecuzione associato a questa esecuzione di attività.
-
DataSource: un oggetto DataSource.L'origine dati (una AWS Glue tabella) associata a questa esecuzione.
-
Role— UTF-8 stringa.Un IAM ruolo fornito per crittografare i risultati dell'esecuzione.
-
NumberOfWorkers: numero (intero).Il numero di worker
G.1Xda utilizzare nell'esecuzione. Il predefinito è 5. -
Timeout: numero (intero), almeno 1.Il timeout per una esecuzione in minuti. Questo è il tempo massimo durante il quale un'esecuzione può utilizzare le risorse prima di essere terminata e passare allo stato
TIMEOUT. Il valore di default è 2.880 minuti (48 ore). -
Status— UTF-8 stringa (valori validi:RUNNING|FINISHED|FAILED|PENDING_EXECUTION| |TIMED_OUT|CANCELINGCANCELED|RECEIVED_BY_TASKRUNNER).Lo stato di questa esecuzione.
-
ErrorString— UTF-8 stringa.Le stringhe di errore associate all'esecuzione.
-
StartedOn: timestamp.La data e l'ora in cui è stata avviata questa esecuzione.
-
LastModifiedOn: timestamp.Un Timestamp. L'ultimo momento in cui questa raccomandazione della regola di qualità dei dati è stata modificata.
-
CompletedOn: timestamp.La data e l'ora in cui è stata completata questa esecuzione.
-
ExecutionTime: numero (intero).La quantità di tempo (in secondi) durante la quale l'esecuzione ha utilizzato le risorse.
-
RecommendedRuleset— UTF-8 stringa, lunga non meno di 1 o più di 65536 byte.Una volta completata l'esecuzione di una raccomandazione della regola di avvio, viene creato un set di regole consigliato (una serie di regole). Questo membro ha queste regole nel formato DQDL (Data Quality Definition Language).
-
CreatedRulesetName— UTF-8 stringa, di lunghezza non inferiore a 1 o più di 255 byte, corrispondente a. Single-line string patternIl nome del set di regole che è stato creato dall'esecuzione.
-
DataQualitySecurityConfiguration— UTF-8 stringa, di lunghezza non inferiore a 1 o più di 255 byte, corrispondente a. Single-line string patternIl nome della configurazione di sicurezza creata con l'opzione di crittografia di qualità dei dati.
BatchPutDataQualityStatisticAnnotation azione (Python: batch_put_data_quality_statistic_annotation)
Annota i datapoint nel tempo per una statistica di qualità dei dati specifica. L'API richiede sia ProfileID che statisticID come parte dell'input. InclusionAnnotation L'API funziona solo per un singolo statisticId in più profili.
Richiesta
-
InclusionAnnotations- obbligatorio: una matrice di oggetti DatapointInclusionAnnotation.Un elenco di
DatapointInclusionAnnotation. InclusionAnnotationsDeve contenere un ProfileID e un StatisticId. Se ce ne sono più InclusionAnnotations, l'elenco deve fare riferimento a un singolo StatisticID su più ProfileID. -
ClientToken— UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string patternToken client.
Risposta
-
FailedInclusionAnnotations: una matrice di oggetti AnnotationError.Un elenco di
AnnotationError.
Errori
EntityNotFoundExceptionInvalidInputExceptionInternalServiceExceptionResourceNumberLimitExceededException
GetDataQualityModel azione (Python: get_data_quality_model)
Recupera lo stato di addestramento del modello insieme a ulteriori informazioni (,,). CompletedOn StartedOn FailureReason
Richiesta
-
StatisticId— UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string patternL'ID statistica.
-
ProfileId— Obbligatorio: UTF-8 stringa, di lunghezza non inferiore a 1 o più di 255 byte, corrispondente a. Single-line string patternL'ID profilo.
Risposta
-
Status— UTF-8 stringa (valori validi:RUNNING|SUCCEEDED|FAILED).Lo stato di addestramento del modello di qualità dei dati.
-
StartedOn: timestamp.Il timestamp del momento di inizio dell'addestramento del modello.
-
CompletedOn: timestamp.Il timestamp del momento di completamento dell'addestramento del modello.
-
FailureReason— UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string patternIl motivo per cui l'addestramento non è riuscito.
Errori
EntityNotFoundExceptionInvalidInputExceptionOperationTimeoutExceptionInternalServiceException
GetDataQualityModelResult azione (Python: get_data_quality_model_result)
Recupera le previsioni di una statistica per un determinato ID profilo.
Richiesta
-
StatisticId— Obbligatorio: UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string patternL'ID statistica.
-
ProfileId— Obbligatorio: UTF-8 stringa, di lunghezza non inferiore a 1 o più di 255 byte, corrispondente a. Single-line string patternL'ID profilo.
Risposta
-
CompletedOn: timestamp.Il timestamp del momento di completamento dell'addestramento del modello.
-
Model: una matrice di oggetti StatisticModelResult.Un elenco di
StatisticModelResult.
Errori
EntityNotFoundExceptionInvalidInputExceptionOperationTimeoutExceptionInternalServiceException
ListDataQualityStatisticAnnotations azione (Python: list_data_quality_statistic_annotations)
Recupera le annotazioni di una statistica di qualità dei dati.
Richiesta
-
StatisticId— UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string patternL'ID statistica.
-
ProfileId— UTF-8 stringa, di lunghezza non inferiore a 1 o più di 255 byte, corrispondente a. Single-line string patternL'ID profilo.
-
TimestampFilter: un oggetto TimestampFilter.Un filtro di timestamp.
-
MaxResults: numero (intero), non inferiore a 1 o superiore a 1.000.Numero massimo di risultati da restituire in questa richiesta.
-
NextToken— UTF-8 stringa.Un token di impaginazione per recuperare il set di risultati successivo.
Risposta
-
Annotations: una matrice di oggetti StatisticAnnotation.Un elenco di
StatisticAnnotationapplicato alla statistica. -
NextToken— UTF-8 corda.Un token di impaginazione per recuperare il set di risultati successivo.
Errori
InvalidInputExceptionInternalServiceException
PutDataQualityProfileAnnotation azione (Python: put_data_quality_profile_annotation)
Annota tutti i datapoint di un profilo.
Richiesta
-
ProfileId— Obbligatorio: UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string patternL'ID del profilo di monitoraggio della qualità dei dati da annotare.
-
InclusionAnnotation— Obbligatorio: UTF-8 stringa (valori validi:INCLUDE|EXCLUDE).Il valore dell'annotazione di inclusione da applicare al profilo.
Risposta
Nessun parametro di risposta.
Errori
EntityNotFoundExceptionInvalidInputExceptionInternalServiceException