Data Catalog 테이블에 데이터 품질 결과 작성

AWS Glue Data Quality 평가 실행을 구성하여 AWS Glue Data Catalog의 Apache Iceberg 테이블에 결과를 자동으로 기록할 수 있습니다. 결과 출력을 활성화한 후 을(를) 사용하여 데이터 품질 결과를 직접 쿼리하고, 시각화 도구를 사용하여 대시보드를 구축하고, 계정 전체에서 데이터 품질 결과의 중앙 집중식 기록을 유지할 수 있습니다.

다음과 같은 유형의 데이터 품질 결과를 Data Catalog 테이블에 작성할 수 있습니다.

사전 조건

Data Catalog 테이블에 데이터 품질 결과를 작성하려면 평가 실행에 사용하는 IAM 역할에 다음 권한이 있어야 합니다.

평가 실행은 지정한 IAM 역할을 사용하여 결과 테이블에 기록합니다. 이는 소스 데이터 테이블에 대한 액세스 권한이 있는 역할과 동일합니다.

결과 출력 구성

StartDataQualityRulesetEvaluationRun API의 --additional-run-options 파라미터 또는 AWS Glue ETL 작업의 additional_options 파라미터를 사용하여 데이터 품질 결과 출력을 구성합니다. 기본적으로 AWS Glue Data Quality는 Data Catalog 테이블에 결과를 쓰지 않습니다. 작성하려는 각 결과 유형을 명시적으로 활성화해야 합니다.

각 결과 유형에는 공유 CatalogTableConfig 구조가 있는 자체 구성 블록이 있습니다. CatalogTableConfig를 제공하지 않으면 AWS Glue Data Quality는 테이블 이름 및 Amazon S3 경로를 포함하여 기본값을 자동으로 도출합니다.

CatalogTableConfig 구조에는 다음과 같은 필드가 포함됩니다.

예제: 규칙 결과 및 프로파일링 결과 구성

aws glue start-data-quality-ruleset-evaluation-run \
  --data-source '{
    "GlueTable": {
      "DatabaseName": "my_database",
      "TableName": "my_table"
    }
  }' \
  --role "arn:aws:iam::123456789012:role/GlueServiceRole" \
  --ruleset-names '["my_ruleset"]' \
  --additional-run-options '{
    "DataQualityRuleResults": {
      "WriteDataQualityRuleResultsEnabled": true,
      "CatalogTableConfig": {
        "DatabaseName": "quality_results",
        "TableName": "rule_results"
      }
    },
    "ProfilingResults": {
      "WriteProfilingResultsEnabled": true,
      "CatalogTableConfig": {
        "DatabaseName": "quality_results",
        "TableName": "profiles"
      }
    }
  }'

예제: 행 수준 결과 구성

행 수준 결과의 경우 포함할 레코드 유형과 쓸 최대 행 수를 지정할 수도 있습니다.

aws glue start-data-quality-ruleset-evaluation-run \
  --data-source '{
    "GlueTable": {
      "DatabaseName": "my_database",
      "TableName": "my_table"
    }
  }' \
  --role "arn:aws:iam::123456789012:role/GlueServiceRole" \
  --ruleset-names '["my_ruleset"]' \
  --additional-run-options '{
    "RowLevelResults": {
      "MaxRowsToWrite": 5000,
      "ResultType": "FAILED_ONLY",
      "CatalogTableConfig": {
        "DatabaseName": "quality_results",
        "TableName": "row_level_results"
      }
    }
  }'

ResultType 파라미터는 다음 값 중 하나를 받습니다.

예제 – AWS Glue ETL 작업에서 구성

AWS Glue ETL 작업에서는 점 표기법 키가 있는 additional_options 파라미터를 사용하여 결과 출력을 구성합니다.

result = EvaluateDataQuality.process_rows(
    frame=dynamic_frame,
    ruleset=ruleset,
    publishing_options={
        "dataQualityEvaluationContext": "my_context",
        "enableDataQualityResultsPublishing": True
    },
    additional_options={
        "observations.scope": "ALL",
        "dataQualityResultsPublishing.strategy": "BEST_EFFORT",
        "dataQualityResultsPublishing.resultsFormat.profilingResults.writeProfilingResultsEnabled": "true",
        "dataQualityResultsPublishing.resultsFormat.profilingResults.catalogTableConfig.databaseName": "my_db",
        "dataQualityResultsPublishing.resultsFormat.profilingResults.catalogTableConfig.tableName": "profiling_results",
        "dataQualityResultsPublishing.resultsFormat.profilingResults.catalogTableConfig.s3Location": "s3://amzn-s3-demo-bucket/profiling/",
        "dataQualityResultsPublishing.resultsFormat.profilingResults.catalogTableConfig.catalogId": "123456789012"
    }
)

예제 – 관찰 결과 구성

관찰 결과를 다른 결과 유형과 동일한 방식으로 구성할 수 있습니다. 관찰 결과를 사용하려면 이상 탐지를 활성화해야 합니다(ObservationScope: ALL).

aws glue start-data-quality-ruleset-evaluation-run \
  --data-source '{
    "GlueTable": {
      "DatabaseName": "my_database",
      "TableName": "my_table"
    }
  }' \
  --role "arn:aws:iam::123456789012:role/GlueServiceRole" \
  --ruleset-names '["my_ruleset"]' \
  --additional-run-options '{
    "ObservationScope": "ALL",
    "ObservationResults": {
      "WriteObservationResultsEnabled": true,
      "CatalogTableConfig": {
        "DatabaseName": "quality_results",
        "TableName": "observation_results"
      }
    }
  }'

테이블 스키마

AWS Glue Data Quality는 각 결과 유형을 별도의 Iceberg 테이블에 기록합니다. 규칙 결과, 프로파일링 결과(별도의 분포 결과 테이블 포함), 관찰 결과 테이블은 효율적인 쿼리를 위해 catalog_id, database_name, table_name, day(stored_on)로 분할됩니다. 시간 기반 쿼리를 위해 stored_on을 직접 필터링할 수 있으며 Iceberg는 파티션 정리를 자동으로 처리합니다.

규칙 결과 테이블

규칙 결과 테이블에는 데이터 품질 실행 중에 평가된 각 규칙의 통과 또는 실패 결과가 저장됩니다.

프로파일링 결과 테이블

다음 표에서는 프로파일링 결과 테이블의 열을 설명합니다. 이 테이블에는 분석기 및 규칙(예: Mean, StandardDeviation, Completeness)에서 수집한 스칼라 통계가 저장됩니다. AWS Glue Data Quality는 분포 통계를 별도의 분포 결과 테이블에 저장합니다.

분포 결과 테이블

다음 표에서는 분포 결과 테이블의 열을 설명합니다. 분포 결과는 스칼라 프로파일링 통계와 별도로 저장되며, 빈 또는 범주당 하나의 행이 있습니다. ProfilingResults.DistributionResults 블록 내에서 이 테이블을 구성할 수 있습니다.

행 수준 결과 테이블

다음 표에서는 행 수준 결과 테이블의 열을 설명합니다. 이 테이블을 사용하여 데이터 품질 규칙에 실패한 특정 레코드를 식별할 수 있습니다.

관찰 결과 테이블

관찰 결과 테이블에는 평가 실행 시마다 각 통계에 대한 이상 탐지 예측이 저장됩니다. 테이블에는 이상 항목, 정상 값, 건너뛴 예측 등 모든 예측 결과가 포함되어 있습니다. 이를 통해 예측 구간을 사용하여 연속 추세 차트를 렌더링할 수 있습니다.

결과 쿼리

데이터 품질 평가가 완료되면 결과 테이블을 직접 쿼리할 수 있습니다. 다음 예제에서는 일반적인 쿼리 패턴을 보여줍니다.

예제: 특정 실행에 실패한 규칙 찾기

SELECT rule_name, rule_description, evaluation_message, evaluated_metrics
FROM quality_results.rule_results
WHERE ruleset_evaluation_run_id = 'dqr-12345678'
  AND rule_result = 'FAIL'
ORDER BY rule_name;

예제: 시간 경과에 따른 프로파일링 통계 보기

SELECT stored_on, statistics_value
FROM quality_results.profiles
WHERE database_name = 'my_database'
  AND table_name = 'my_table'
  AND statistic_name = 'Mean'
  AND columns_referenced = ARRAY['salary']
ORDER BY stored_on;

예제: 특정 규칙에 실패한 행 식별

SELECT *
FROM quality_results.row_level_results
WHERE data_quality_evaluation_result = 'Failed'
  AND contains(data_quality_rules_fail, 'IsComplete "email"');

예제: 숫자 히스토그램 보기

SELECT bin_index, bin_lower_bound, bin_upper_bound, bin_count
FROM quality_results.distributions
WHERE column_name = 'salary'
  AND ruleset_evaluation_run_id = 'dqrun-abc123'
ORDER BY bin_index;

예제: 범주형 값 분포 보기

SELECT bin_label, bin_count
FROM quality_results.distributions
WHERE column_name = 'department'
  AND ruleset_evaluation_run_id = 'dqrun-abc123'
ORDER BY bin_count DESC;

예제: 시간 경과에 따른 범주 빈도 추적

SELECT started_on, bin_count
FROM quality_results.distributions
WHERE column_name = 'status' AND bin_label = 'active'
ORDER BY started_on;

예제: 예측 구간을 사용하여 이상 탐지 추세 보기

SELECT o.recorded_on, 
       p.statistics_value AS actual_value,
       o.expected_value, 
       o.lower_bound, 
       o.upper_bound,
       o.prediction_outcome
FROM quality_results.profiles p
JOIN quality_results.observation_results o
  ON p.statistic_id = o.statistic_id
  AND p.ruleset_evaluation_run_id = o.ruleset_evaluation_run_id
WHERE p.database_name = 'my_database'
  AND p.table_name = 'my_table'
  AND p.statistic_name = 'RowCount'
  AND p.stored_on >= DATE '2025-03-01'
ORDER BY p.stored_on;

예제: 주석 후 최신 관찰 상태 쿼리

관찰 결과 테이블은 추가 전용 모델을 사용하므로 제외 주석은 새 행을 추가합니다. 중복 제거 쿼리를 사용하여 각 관찰에 대한 최신 상태를 가져옵니다.

SELECT statistic_id, statistic_name, prediction_outcome, 
       expected_value, lower_bound, upper_bound, training_input, stored_on
FROM (
  SELECT *, ROW_NUMBER() OVER (
    PARTITION BY statistic_id, ruleset_evaluation_run_id 
    ORDER BY stored_on DESC
  ) AS rn
  FROM quality_results.observation_results
  WHERE database_name = 'my_database'
    AND table_name = 'my_table'
)
WHERE rn = 1
ORDER BY stored_on;

고려 사항

Data Catalog 테이블에 데이터 품질 결과를 작성할 때는 다음 사항을 고려해야 합니다.