本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

將資料品質結果寫入 Data Catalog 資料表

您可以設定 AWS Glue Data Quality 評估執行，以自動將結果寫入 Glue Data Catalog 中的 Apache Iceberg AWS 資料表。啟用結果輸出後，您可以直接使用 查詢資料品質結果、使用視覺化工具建置儀表板，並在整個帳戶中維護資料品質結果的集中式歷史記錄。

您可以將下列類型的資料品質結果寫入 Data Catalog 資料表：

先決條件

若要將資料品質結果寫入 Data Catalog 資料表，您用於評估執行的 IAM 角色必須具有下列許可：

評估執行會使用您指定的 IAM 角色來寫入結果資料表。這是可存取來源資料表的相同角色。

設定結果輸出

您可以使用 StartDataQualityRulesetEvaluationRun API 的 --additional-run-options 參數或 Glue ETL AWS 任務中的 additional_options 參數來設定資料品質結果輸出。根據預設， AWS Glue Data Quality 不會將結果寫入 Data Catalog 資料表。您必須明確啟用要寫入的每個結果類型。

每個結果類型都有自己的組態區塊，並具有共用CatalogTableConfig結構。如果您未提供 CatalogTableConfig， AWS Glue Data Quality 會自動衍生預設值，包括資料表名稱和 Amazon S3 路徑。

CatalogTableConfig 結構包含下列欄位：

範例：設定規則結果和分析結果

aws glue start-data-quality-ruleset-evaluation-run \
  --data-source '{
    "GlueTable": {
      "DatabaseName": "my_database",
      "TableName": "my_table"
    }
  }' \
  --role "arn:aws:iam::123456789012:role/GlueServiceRole" \
  --ruleset-names '["my_ruleset"]' \
  --additional-run-options '{
    "DataQualityRuleResults": {
      "WriteDataQualityRuleResultsEnabled": true,
      "CatalogTableConfig": {
        "DatabaseName": "quality_results",
        "TableName": "rule_results"
      }
    },
    "ProfilingResults": {
      "WriteProfilingResultsEnabled": true,
      "CatalogTableConfig": {
        "DatabaseName": "quality_results",
        "TableName": "profiles"
      }
    }
  }'

範例：設定資料列層級結果

對於資料列層級結果，您也可以指定要包含的記錄類型，以及要寫入的資料列數目上限。

aws glue start-data-quality-ruleset-evaluation-run \
  --data-source '{
    "GlueTable": {
      "DatabaseName": "my_database",
      "TableName": "my_table"
    }
  }' \
  --role "arn:aws:iam::123456789012:role/GlueServiceRole" \
  --ruleset-names '["my_ruleset"]' \
  --additional-run-options '{
    "RowLevelResults": {
      "MaxRowsToWrite": 5000,
      "ResultType": "FAILED_ONLY",
      "CatalogTableConfig": {
        "DatabaseName": "quality_results",
        "TableName": "row_level_results"
      }
    }
  }'

ResultType 參數接受下列值：

範例 – AWS 在 Glue ETL 任務中設定

在 AWS Glue ETL 任務中，您可以使用具有點標記索引鍵的 additional_options 參數來設定結果輸出：

result = EvaluateDataQuality.process_rows(
    frame=dynamic_frame,
    ruleset=ruleset,
    publishing_options={
        "dataQualityEvaluationContext": "my_context",
        "enableDataQualityResultsPublishing": True
    },
    additional_options={
        "observations.scope": "ALL",
        "dataQualityResultsPublishing.strategy": "BEST_EFFORT",
        "dataQualityResultsPublishing.resultsFormat.profilingResults.writeProfilingResultsEnabled": "true",
        "dataQualityResultsPublishing.resultsFormat.profilingResults.catalogTableConfig.databaseName": "my_db",
        "dataQualityResultsPublishing.resultsFormat.profilingResults.catalogTableConfig.tableName": "profiling_results",
        "dataQualityResultsPublishing.resultsFormat.profilingResults.catalogTableConfig.s3Location": "s3://amzn-s3-demo-bucket/profiling/",
        "dataQualityResultsPublishing.resultsFormat.profilingResults.catalogTableConfig.catalogId": "123456789012"
    }
)

範例 – 設定觀察結果

您可以像其他結果類型一樣設定觀察結果。觀察結果需要啟用異常偵測 (ObservationScope: ALL)：

aws glue start-data-quality-ruleset-evaluation-run \
  --data-source '{
    "GlueTable": {
      "DatabaseName": "my_database",
      "TableName": "my_table"
    }
  }' \
  --role "arn:aws:iam::123456789012:role/GlueServiceRole" \
  --ruleset-names '["my_ruleset"]' \
  --additional-run-options '{
    "ObservationScope": "ALL",
    "ObservationResults": {
      "WriteObservationResultsEnabled": true,
      "CatalogTableConfig": {
        "DatabaseName": "quality_results",
        "TableName": "observation_results"
      }
    }
  }'

資料表結構描述

AWS Glue Data Quality 會將每個結果類型寫入單獨的 Iceberg 資料表。規則結果、分析結果 （包括單獨的分佈結果表） 和觀察結果表會依 catalog_id、table_name、 database_name和 進行分割day(stored_on)，以啟用有效的查詢。您可以stored_on直接篩選以時間為基礎的查詢，而 Iceberg 會自動處理分割區剔除。

規則結果資料表

規則結果資料表會儲存資料品質執行期間評估的每個規則的通過或失敗結果。

分析結果資料表

下表說明分析結果資料表中的資料欄。此資料表會儲存分析器和規則 （例如 Mean、 StandardDeviation和 Completeness) 收集的純量統計資料。 AWS Glue Data Quality 會將分佈統計資料存放在單獨的分佈結果資料表中。

分佈結果資料表

下表說明分佈結果表格中的資料欄。分佈結果與純量分析統計資料分開存放，每個儲存貯體或類別各一個資料列。您可以在 ProfilingResults.DistributionResults區塊內設定此資料表。

資料列層級結果資料表

下表說明資料列層級結果表格中的資料欄。您可以使用此表格來識別資料品質規則失敗的特定記錄。

觀察結果資料表

觀察結果資料表會在每次評估執行時，儲存每個統計資料的異常偵測預測。資料表包含所有預測結果：異常、正常值和略過的預測。這可讓您使用預測範圍轉譯連續趨勢圖。

使用 查詢結果

資料品質評估完成後，您可以直接使用 查詢結果資料表。下列範例示範常見的查詢模式。

範例：尋找特定執行的失敗規則

SELECT rule_name, rule_description, evaluation_message, evaluated_metrics
FROM quality_results.rule_results
WHERE ruleset_evaluation_run_id = 'dqr-12345678'
  AND rule_result = 'FAIL'
ORDER BY rule_name;

範例：檢視一段時間內的分析統計資料

SELECT stored_on, statistics_value
FROM quality_results.profiles
WHERE database_name = 'my_database'
  AND table_name = 'my_table'
  AND statistic_name = 'Mean'
  AND columns_referenced = ARRAY['salary']
ORDER BY stored_on;

範例 – 識別未通過特定規則的資料列

SELECT *
FROM quality_results.row_level_results
WHERE data_quality_evaluation_result = 'Failed'
  AND contains(data_quality_rules_fail, 'IsComplete "email"');

範例 – 檢視數值長條圖

SELECT bin_index, bin_lower_bound, bin_upper_bound, bin_count
FROM quality_results.distributions
WHERE column_name = 'salary'
  AND ruleset_evaluation_run_id = 'dqrun-abc123'
ORDER BY bin_index;

範例 – 檢視分類值分佈

SELECT bin_label, bin_count
FROM quality_results.distributions
WHERE column_name = 'department'
  AND ruleset_evaluation_run_id = 'dqrun-abc123'
ORDER BY bin_count DESC;

範例 – 追蹤一段時間內的類別頻率

SELECT started_on, bin_count
FROM quality_results.distributions
WHERE column_name = 'status' AND bin_label = 'active'
ORDER BY started_on;

範例：使用預測頻帶檢視異常偵測趨勢

SELECT o.recorded_on, 
       p.statistics_value AS actual_value,
       o.expected_value, 
       o.lower_bound, 
       o.upper_bound,
       o.prediction_outcome
FROM quality_results.profiles p
JOIN quality_results.observation_results o
  ON p.statistic_id = o.statistic_id
  AND p.ruleset_evaluation_run_id = o.ruleset_evaluation_run_id
WHERE p.database_name = 'my_database'
  AND p.table_name = 'my_table'
  AND p.statistic_name = 'RowCount'
  AND p.stored_on >= DATE '2025-03-01'
ORDER BY p.stored_on;

範例 – 查詢註釋後的最新觀察狀態

由於觀察結果資料表使用僅附加模型，排除註釋會新增資料列。使用重複資料刪除查詢來取得每個觀察的最新狀態：

SELECT statistic_id, statistic_name, prediction_outcome, 
       expected_value, lower_bound, upper_bound, training_input, stored_on
FROM (
  SELECT *, ROW_NUMBER() OVER (
    PARTITION BY statistic_id, ruleset_evaluation_run_id 
    ORDER BY stored_on DESC
  ) AS rn
  FROM quality_results.observation_results
  WHERE database_name = 'my_database'
    AND table_name = 'my_table'
)
WHERE rn = 1
ORDER BY stored_on;

考量事項

將資料品質結果寫入 Data Catalog 資料表時，請謹記下列考量：