Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Écrire les résultats relatifs à la qualité des données dans les tableaux du catalogue de données

Vous pouvez configurer les cycles d'évaluation de la qualité des données de AWS Glue pour écrire automatiquement les résultats dans les tables Apache Iceberg du catalogue de données AWS Glue. Une fois que vous avez activé la sortie des résultats, vous pouvez interroger directement les résultats de qualité de vos données, créer des tableaux de bord avec des outils de visualisation et gérer un historique centralisé des résultats de qualité des données sur votre compte.

Vous pouvez écrire les types de résultats de qualité des données suivants dans les tableaux du catalogue de données :

Conditions préalables

Pour écrire les résultats de qualité des données dans les tables du catalogue de données, le rôle IAM que vous utilisez pour l'exécution de l'évaluation doit disposer des autorisations suivantes :

L'exécution de l'évaluation utilise le rôle IAM que vous spécifiez pour écrire dans les tableaux de résultats. Il s'agit du même rôle qui a accès à la table de données source.

Configuration de la sortie des résultats

Vous configurez la sortie des résultats de qualité des données à l'aide du --additional-run-options paramètre de l'StartDataQualityRulesetEvaluationRunAPI ou du additional_options paramètre des tâches AWS Glue ETL. Par défaut, AWS Glue Data Quality n'écrit pas les résultats dans les tables du catalogue de données. Vous devez activer explicitement chaque type de résultat que vous souhaitez écrire.

Chaque type de résultat possède son propre bloc de configuration avec une CatalogTableConfig structure partagée. Si vous ne fournissez pas deCatalogTableConfig, AWS Glue Data Quality dérive automatiquement les valeurs par défaut, y compris le nom de la table et le chemin Amazon S3.

La CatalogTableConfig structure contient les champs suivants :

Exemple : configurer les résultats des règles et les résultats du profilage

aws glue start-data-quality-ruleset-evaluation-run \
  --data-source '{
    "GlueTable": {
      "DatabaseName": "my_database",
      "TableName": "my_table"
    }
  }' \
  --role "arn:aws:iam::123456789012:role/GlueServiceRole" \
  --ruleset-names '["my_ruleset"]' \
  --additional-run-options '{
    "DataQualityRuleResults": {
      "WriteDataQualityRuleResultsEnabled": true,
      "CatalogTableConfig": {
        "DatabaseName": "quality_results",
        "TableName": "rule_results"
      }
    },
    "ProfilingResults": {
      "WriteProfilingResultsEnabled": true,
      "CatalogTableConfig": {
        "DatabaseName": "quality_results",
        "TableName": "profiles"
      }
    }
  }'

Exemple : configurer les résultats au niveau des lignes

Pour les résultats au niveau des lignes, vous pouvez également spécifier le type d'enregistrements à inclure et le nombre maximum de lignes à écrire.

aws glue start-data-quality-ruleset-evaluation-run \
  --data-source '{
    "GlueTable": {
      "DatabaseName": "my_database",
      "TableName": "my_table"
    }
  }' \
  --role "arn:aws:iam::123456789012:role/GlueServiceRole" \
  --ruleset-names '["my_ruleset"]' \
  --additional-run-options '{
    "RowLevelResults": {
      "MaxRowsToWrite": 5000,
      "ResultType": "FAILED_ONLY",
      "CatalogTableConfig": {
        "DatabaseName": "quality_results",
        "TableName": "row_level_results"
      }
    }
  }'

Le paramètre ResultType accepte les valeurs suivantes :

Exemple — Configuration dans les tâches ETL de AWS Glue

Dans les tâches AWS Glue ETL, vous configurez la sortie des résultats à l'aide du additional_options paramètre avec des touches de notation par points :

result = EvaluateDataQuality.process_rows(
    frame=dynamic_frame,
    ruleset=ruleset,
    publishing_options={
        "dataQualityEvaluationContext": "my_context",
        "enableDataQualityResultsPublishing": True
    },
    additional_options={
        "observations.scope": "ALL",
        "dataQualityResultsPublishing.strategy": "BEST_EFFORT",
        "dataQualityResultsPublishing.resultsFormat.profilingResults.writeProfilingResultsEnabled": "true",
        "dataQualityResultsPublishing.resultsFormat.profilingResults.catalogTableConfig.databaseName": "my_db",
        "dataQualityResultsPublishing.resultsFormat.profilingResults.catalogTableConfig.tableName": "profiling_results",
        "dataQualityResultsPublishing.resultsFormat.profilingResults.catalogTableConfig.s3Location": "s3://amzn-s3-demo-bucket/profiling/",
        "dataQualityResultsPublishing.resultsFormat.profilingResults.catalogTableConfig.catalogId": "123456789012"
    }
)

Exemple — Configuration des résultats d'observation

Vous pouvez configurer les résultats d'observation de la même manière que les autres types de résultats. Les résultats des observations nécessitent l'activation de la détection des anomalies (ObservationScope: ALL) :

aws glue start-data-quality-ruleset-evaluation-run \
  --data-source '{
    "GlueTable": {
      "DatabaseName": "my_database",
      "TableName": "my_table"
    }
  }' \
  --role "arn:aws:iam::123456789012:role/GlueServiceRole" \
  --ruleset-names '["my_ruleset"]' \
  --additional-run-options '{
    "ObservationScope": "ALL",
    "ObservationResults": {
      "WriteObservationResultsEnabled": true,
      "CatalogTableConfig": {
        "DatabaseName": "quality_results",
        "TableName": "observation_results"
      }
    }
  }'

Schémas de tables

AWS Glue Data Quality écrit chaque type de résultat dans une table Iceberg distincte. Les résultats des règles, les résultats du profilage (y compris le tableau des résultats de distribution distinct) et les tableaux des résultats des observations sont partitionnés par catalog_id database_nametable_name, et day(stored_on) pour permettre des requêtes efficaces. Vous pouvez filtrer stored_on directement pour les requêtes temporelles et Iceberg gère automatiquement l'élagage des partitions.

Tableau des résultats des règles

Le tableau des résultats des règles enregistre le résultat de réussite ou d'échec pour chaque règle évaluée lors d'une analyse de la qualité des données.

Tableau des résultats du profilage

Le tableau suivant décrit les colonnes du tableau des résultats du profilage. Ce tableau stocke les statistiques scalaires collectées par les analyseurs et les règles (telles que MeanStandardDeviation, etCompleteness). AWS Glue Data Quality stocke les statistiques de distribution dans un tableau de résultats de distribution distinct.

Tableau des résultats de distribution

Le tableau suivant décrit les colonnes du tableau des résultats de distribution. Les résultats de distribution sont stockés séparément des statistiques de profilage scalaire, avec une ligne par compartiment ou catégorie. Vous pouvez configurer cette table dans le ProfilingResults.DistributionResults bloc.

Row-level tableau des résultats

Le tableau suivant décrit les colonnes du tableau des résultats au niveau des lignes. Vous pouvez utiliser ce tableau pour identifier les enregistrements spécifiques qui n'ont pas respecté vos règles de qualité des données.

Tableau des résultats des observations

Le tableau des résultats d'observation stocke les prévisions de détection d'anomalies pour chaque statistique à chaque exécution d'évaluation. Le tableau inclut tous les résultats des prévisions : anomalies, valeurs normales et prédictions ignorées. Cela vous permet de générer des graphiques de tendance continus avec des bandes de prédiction.

Interroger les résultats avec

Une fois l'évaluation de la qualité des données terminée, vous pouvez interroger les tableaux de résultats directement à l'aide de. Les exemples suivants illustrent les modèles de requêtes courants.

Exemple : recherche de règles ayant échoué pour une exécution spécifique

SELECT rule_name, rule_description, evaluation_message, evaluated_metrics
FROM quality_results.rule_results
WHERE ruleset_evaluation_run_id = 'dqr-12345678'
  AND rule_result = 'FAIL'
ORDER BY rule_name;

Exemple : Afficher les statistiques de profilage au fil du temps

SELECT stored_on, statistics_value
FROM quality_results.profiles
WHERE database_name = 'my_database'
  AND table_name = 'my_table'
  AND statistic_name = 'Mean'
  AND columns_referenced = ARRAY['salary']
ORDER BY stored_on;

Exemple : identifier les lignes qui n'ont pas répondu à une règle spécifique

SELECT *
FROM quality_results.row_level_results
WHERE data_quality_evaluation_result = 'Failed'
  AND contains(data_quality_rules_fail, 'IsComplete "email"');

Exemple — Afficher un histogramme numérique

SELECT bin_index, bin_lower_bound, bin_upper_bound, bin_count
FROM quality_results.distributions
WHERE column_name = 'salary'
  AND ruleset_evaluation_run_id = 'dqrun-abc123'
ORDER BY bin_index;

Exemple — Afficher une distribution de valeurs catégorielles

SELECT bin_label, bin_count
FROM quality_results.distributions
WHERE column_name = 'department'
  AND ruleset_evaluation_run_id = 'dqrun-abc123'
ORDER BY bin_count DESC;

Exemple — Suivez la fréquence des catégories au fil du temps

SELECT started_on, bin_count
FROM quality_results.distributions
WHERE column_name = 'status' AND bin_label = 'active'
ORDER BY started_on;

Exemple : Afficher les tendances de détection des anomalies à l'aide de bandes de prédiction

SELECT o.recorded_on, 
       p.statistics_value AS actual_value,
       o.expected_value, 
       o.lower_bound, 
       o.upper_bound,
       o.prediction_outcome
FROM quality_results.profiles p
JOIN quality_results.observation_results o
  ON p.statistic_id = o.statistic_id
  AND p.ruleset_evaluation_run_id = o.ruleset_evaluation_run_id
WHERE p.database_name = 'my_database'
  AND p.table_name = 'my_table'
  AND p.statistic_name = 'RowCount'
  AND p.stored_on >= DATE '2025-03-01'
ORDER BY p.stored_on;

Exemple : demande l'état de la dernière observation après les annotations

Étant donné que le tableau des résultats d'observation utilise un modèle d'ajout uniquement, les annotations d'exclusion ajoutent de nouvelles lignes. Utilisez une requête de déduplication pour obtenir le dernier état de chaque observation :

SELECT statistic_id, statistic_name, prediction_outcome, 
       expected_value, lower_bound, upper_bound, training_input, stored_on
FROM (
  SELECT *, ROW_NUMBER() OVER (
    PARTITION BY statistic_id, ruleset_evaluation_run_id 
    ORDER BY stored_on DESC
  ) AS rn
  FROM quality_results.observation_results
  WHERE database_name = 'my_database'
    AND table_name = 'my_table'
)
WHERE rn = 1
ORDER BY stored_on;

Considérations

Tenez compte des considérations suivantes lorsque vous écrivez des résultats de qualité des données dans les tableaux du catalogue de données :