Data Catalog テーブルへのデータ品質結果の書き込み

AWS Glue Data Quality 評価実行を設定して、AWS Glue Data Catalog の Apache Iceberg テーブルに結果を自動的に書き込むことができます。結果の出力を有効にすると、を使用してデータ品質の結果を直接クエリし、視覚化ツールを使用してダッシュボードを構築し、アカウント全体でデータ品質の結果の履歴を一元的に維持できます。

Data Catalog テーブルに次のタイプのデータ品質結果を書き込むことができます。

前提条件

データ品質結果を Data Catalog テーブルに書き込むには、評価の実行に使用する IAM ロールに次のアクセス許可が必要です。

評価の実行では、指定した IAM ロールを使用して結果テーブルに書き込みます。これは、ソースデータテーブルにアクセスできるロールと同じです。

結果出力の設定

StartDataQualityRulesetEvaluationRun API の --additional-run-options パラメータまたは AWS Glue ETL ジョブの additional_options パラメータを使用して、データ品質結果の出力を設定します。デフォルトでは、AWS Glue Data Quality は Data Catalog テーブルに結果を書き込みません。書き込む各結果タイプを明示的に有効にする必要があります。

各結果タイプには、共有 CatalogTableConfig 構造を持つ独自の設定ブロックがあります。CatalogTableConfig を指定しない場合、AWS Glue Data Quality はテーブル名と Amazon S3 パスを含むデフォルト値を自動的に導出します。

CatalogTableConfig 構造には、次のフィールドが含まれています。

例: ルール結果とプロファイリング結果を設定する

aws glue start-data-quality-ruleset-evaluation-run \
  --data-source '{
    "GlueTable": {
      "DatabaseName": "my_database",
      "TableName": "my_table"
    }
  }' \
  --role "arn:aws:iam::123456789012:role/GlueServiceRole" \
  --ruleset-names '["my_ruleset"]' \
  --additional-run-options '{
    "DataQualityRuleResults": {
      "WriteDataQualityRuleResultsEnabled": true,
      "CatalogTableConfig": {
        "DatabaseName": "quality_results",
        "TableName": "rule_results"
      }
    },
    "ProfilingResults": {
      "WriteProfilingResultsEnabled": true,
      "CatalogTableConfig": {
        "DatabaseName": "quality_results",
        "TableName": "profiles"
      }
    }
  }'

例: 行レベルの結果を設定する

行レベルの結果では、含めるレコードのタイプと書き込む最大行数を指定することもできます。

aws glue start-data-quality-ruleset-evaluation-run \
  --data-source '{
    "GlueTable": {
      "DatabaseName": "my_database",
      "TableName": "my_table"
    }
  }' \
  --role "arn:aws:iam::123456789012:role/GlueServiceRole" \
  --ruleset-names '["my_ruleset"]' \
  --additional-run-options '{
    "RowLevelResults": {
      "MaxRowsToWrite": 5000,
      "ResultType": "FAILED_ONLY",
      "CatalogTableConfig": {
        "DatabaseName": "quality_results",
        "TableName": "row_level_results"
      }
    }
  }'

ResultType パラメータには、次の値を指定できます。

例 – AWS Glue ETL ジョブで設定する

AWS Glue ETL ジョブでは、ドット表記キーを持つ additional_options パラメータを使用して結果出力を設定します。

result = EvaluateDataQuality.process_rows(
    frame=dynamic_frame,
    ruleset=ruleset,
    publishing_options={
        "dataQualityEvaluationContext": "my_context",
        "enableDataQualityResultsPublishing": True
    },
    additional_options={
        "observations.scope": "ALL",
        "dataQualityResultsPublishing.strategy": "BEST_EFFORT",
        "dataQualityResultsPublishing.resultsFormat.profilingResults.writeProfilingResultsEnabled": "true",
        "dataQualityResultsPublishing.resultsFormat.profilingResults.catalogTableConfig.databaseName": "my_db",
        "dataQualityResultsPublishing.resultsFormat.profilingResults.catalogTableConfig.tableName": "profiling_results",
        "dataQualityResultsPublishing.resultsFormat.profilingResults.catalogTableConfig.s3Location": "s3://amzn-s3-demo-bucket/profiling/",
        "dataQualityResultsPublishing.resultsFormat.profilingResults.catalogTableConfig.catalogId": "123456789012"
    }
)

例 – 観測結果を設定する

観測結果は、他の結果タイプと同じ方法で設定できます。観測結果では、異常検出を有効にする必要があります (ObservationScope: ALL)。

aws glue start-data-quality-ruleset-evaluation-run \
  --data-source '{
    "GlueTable": {
      "DatabaseName": "my_database",
      "TableName": "my_table"
    }
  }' \
  --role "arn:aws:iam::123456789012:role/GlueServiceRole" \
  --ruleset-names '["my_ruleset"]' \
  --additional-run-options '{
    "ObservationScope": "ALL",
    "ObservationResults": {
      "WriteObservationResultsEnabled": true,
      "CatalogTableConfig": {
        "DatabaseName": "quality_results",
        "TableName": "observation_results"
      }
    }
  }'

テーブルスキーマ

AWS Glue Data Quality は、各結果タイプを個別の Iceberg テーブルに書き込みます。ルール結果、プロファイリング結果 (個別の分布結果テーブルを含む)、観測結果テーブルは、効率的なクエリを可能にするために、catalog_id、database_name、table_name、day(stored_on) でパーティション分割されます。時間ベースのクエリでは stored_on を直接フィルタリングでき、Iceberg はパーティションのプルーニングを自動的に処理します。

ルール結果テーブル

ルール結果テーブルでは、データ品質の実行中に評価された各ルールの合格または不合格の結果が保存されます。

プロファイリング結果テーブル

次の表では、プロファイリング結果テーブルについて説明します。このテーブルには、アナライザーとルール (Mean、StandardDeviation、Completeness など) によって収集されたスカラー統計が保存されます。AWSGlue Data Quality は、分布統計を別の分布結果テーブルに保存します。

分布結果テーブル

次の表では、分布結果テーブルについて説明します。分布結果は、スカラープロファイリング統計とは別に、ビンまたはカテゴリごとに 1 行ずつ保存されます。このテーブルは、ProfilingResults.DistributionResults ブロック内で設定できます。

行レベルの結果テーブル

次の表では、行レベルの結果テーブルについて説明します。このテーブルを使用して、データ品質ルールに失敗した特定のレコードを特定できます。

観察結果テーブル

観測結果テーブルには、各評価実行における各統計の異常検出予測が保存されます。このテーブルには、異常、正常値、スキップされた予測など、すべての予測結果が含まれます。これにより、予測バンドを使用して連続傾向グラフをレンダリングできます。

を使用した結果のクエリ

データ品質評価が完了したら、を使用して結果テーブルを直接クエリできます。次の例は、一般的なクエリパターンを示しています。

例: 特定の実行で失敗したルールを検索する

SELECT rule_name, rule_description, evaluation_message, evaluated_metrics
FROM quality_results.rule_results
WHERE ruleset_evaluation_run_id = 'dqr-12345678'
  AND rule_result = 'FAIL'
ORDER BY rule_name;

例: プロファイリング統計を経時的に表示する

SELECT stored_on, statistics_value
FROM quality_results.profiles
WHERE database_name = 'my_database'
  AND table_name = 'my_table'
  AND statistic_name = 'Mean'
  AND columns_referenced = ARRAY['salary']
ORDER BY stored_on;

例 – 特定のルールに対して不合格の行を特定する

SELECT *
FROM quality_results.row_level_results
WHERE data_quality_evaluation_result = 'Failed'
  AND contains(data_quality_rules_fail, 'IsComplete "email"');

例 – 数値ヒストグラムを表示する

SELECT bin_index, bin_lower_bound, bin_upper_bound, bin_count
FROM quality_results.distributions
WHERE column_name = 'salary'
  AND ruleset_evaluation_run_id = 'dqrun-abc123'
ORDER BY bin_index;

例 – カテゴリ値の分布を表示する

SELECT bin_label, bin_count
FROM quality_results.distributions
WHERE column_name = 'department'
  AND ruleset_evaluation_run_id = 'dqrun-abc123'
ORDER BY bin_count DESC;

例 – カテゴリの頻度を経時的に追跡する

SELECT started_on, bin_count
FROM quality_results.distributions
WHERE column_name = 'status' AND bin_label = 'active'
ORDER BY started_on;

例: 予測バンドを使用して異常検出の傾向を表示する

SELECT o.recorded_on, 
       p.statistics_value AS actual_value,
       o.expected_value, 
       o.lower_bound, 
       o.upper_bound,
       o.prediction_outcome
FROM quality_results.profiles p
JOIN quality_results.observation_results o
  ON p.statistic_id = o.statistic_id
  AND p.ruleset_evaluation_run_id = o.ruleset_evaluation_run_id
WHERE p.database_name = 'my_database'
  AND p.table_name = 'my_table'
  AND p.statistic_name = 'RowCount'
  AND p.stored_on >= DATE '2025-03-01'
ORDER BY p.stored_on;

例 – 注釈の後に最新の観察状態をクエリする

観察結果テーブルは追加のみのモデルを使用するため、除外注釈は新しい行を追加します。重複排除クエリを使用して、各観察の最新状態を取得します。

SELECT statistic_id, statistic_name, prediction_outcome, 
       expected_value, lower_bound, upper_bound, training_input, stored_on
FROM (
  SELECT *, ROW_NUMBER() OVER (
    PARTITION BY statistic_id, ruleset_evaluation_run_id 
    ORDER BY stored_on DESC
  ) AS rn
  FROM quality_results.observation_results
  WHERE database_name = 'my_database'
    AND table_name = 'my_table'
)
WHERE rn = 1
ORDER BY stored_on;

考慮事項

データ品質結果を Data Catalog テーブルに書き込むときは、次の考慮事項に注意してください。