기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

에서 데이터 품질 검증AWS Glue DataBrew

데이터 세트의 품질을 보장하기 위해 규칙 세트에서 데이터 품질 규칙 목록을 정의할 수 있습니다. 규칙 세트는 다양한 데이터 지표를 예상 값과 비교하는 규칙 세트입니다. 규칙의 기준 중 하나라도 충족되지 않으면 규칙 세트는 전체적으로 검증에 실패합니다. 그런 다음 각 규칙에 대한 개별 결과를 검사할 수 있습니다. 검증 실패를 유발하는 모든 규칙의 경우 필요한 수정을 수행하고 다시 검증할 수 있습니다.

규칙의 예는 다음과 같습니다.

개별 열에 대해 각 규칙을 정의하거나 선택한 여러 열에 독립적으로 적용할 수 있습니다. 예를 들면 다음과 같습니다.

규칙은 여러 개의 간단한 검사로 구성될 수 있습니다. 예를 들어 모두 true인지 아니면 모두 true인지 정의할 수 있습니다.

비교되는 값이 하나뿐number of duplicate values인 max, 또는 min와 같은 집계 값 또는 열의 각 행에 집계되지 않은 값에 대한 규칙을 확인할 수 있습니다. 후자의 경우와 같은 "통과" 임계값을 정의할 수도 있습니다value in columnA > value in columnB for at least 95% of rows.

프로파일 정보와 마찬가지로 문자열 및 숫자와 같은 단순 유형의 열에 대해서만 열 수준 데이터 품질 규칙을 정의할 수 있습니다. 배열 또는 구조와 같은 복잡한 유형의 열에는 데이터 품질 규칙을 정의할 수 없습니다. 프로필 정보 작업에 대한 자세한 내용은 섹션을 참조하세요AWS Glue DataBrew프로필 작업 생성 및 작업.

데이터 품질 규칙 검증

규칙 세트가 정의되면 검증을 위해 프로파일 작업에 추가할 수 있습니다. 데이터 세트에 대해 둘 이상의 규칙 세트를 정의할 수 있습니다.

예를 들어 규칙 세트 하나에 최소 허용 기준의 규칙이 포함될 수 있습니다. 해당 규칙 세트에 대한 검증 실패는 데이터가 더 이상 사용할 수 없음을 의미할 수 있습니다. 기계 학습 훈련에 사용되는 데이터 세트의 키 열에 값이 누락된 경우를 예로 들 수 있습니다. 더 엄격한 규칙이 포함된 두 번째 규칙 세트를 사용하여 데이터 세트의 품질이 양호하여 정리가 필요하지 않은지 확인할 수 있습니다.

프로파일 작업 구성에서 지정된 데이터 세트에 정의된 규칙 세트를 하나 이상 적용할 수 있습니다. 프로파일 작업이 실행되면 데이터 프로파일 외에도 검증 보고서가 생성됩니다. 검증 보고서는 프로필 데이터와 동일한 위치에서 사용할 수 있습니다. 프로필 정보와 마찬가지로 DataBrew 콘솔에서 결과를 탐색할 수 있습니다. 데이터 세트 세부 정보 보기에서 데이터 품질 탭을 선택하여 결과를 봅니다. 프로필 정보 작업에 대한 자세한 내용은 섹션을 참조하세요AWS Glue DataBrew프로필 작업 생성 및 작업.

검증 결과에 대한 조치

DataBrew 프로파일 작업이 완료되면 DataBrew는 해당 작업 실행의 세부 정보가 포함된 Amazon CloudWatch 이벤트를 보냅니다. 또한 데이터 품질 규칙을 검증하도록 작업을 구성한 경우 DataBrew는 검증된 각 규칙 세트에 대한 이벤트를 전송합니다. 이벤트에는 결과(SUCCEEDED, FAILED또는 ERROR)와 세부 데이터 품질 검증 보고서에 대한 링크가 포함됩니다. 그런 다음 검증 상태에 따라 다음 작업을 호출하여 추가 작업을 자동화할 수 있습니다. Amazon SNS 알림,AWS Lambda함수 호출 등과 같은 대상 작업에 이벤트를 연결하는 방법에 대한 자세한 내용은 Amazon EventBridge 시작하기를 참조하세요.

다음은 DataBrew 검증 결과 이벤트의 예입니다.

{
  "version": "0",
  "id": "fb27348b-112d-e7c2-560d-85e7c2c09964",
  "detail-type": "DataBrew Ruleset Validation Result",   
  "source": "aws.databrew",                     
  "account": "123456789012",          
  "time": "2021-11-18T13:15:46Z", 
  "region": "us-east-1",
  "resources": [],
  "detail": {
    "datasetName": "MyDataset", 
    "jobName": "MyProfileJob",
    "jobRunId": "db_f07954d20d083de0c1fc1eee11498d8635ee5be4ca416af27d33933e91ff4e6e",
    "rulesetName": "MyRuleset",
    "validationState": "FAILED",
    "validationReportLocation": "s3://MyBucket/MyKey/MyDataset_f07954d20d083de0c1fc1eee11498d8635ee5be4ca416af27d33933e91ff4e6e_dq-validation-report.json"
  }
}

와 같은 이벤트의 속성detail-typesource과 detail 속성의 중첩 속성을 사용하여 Amazon Eventbridge에서 이벤트 패턴을 생성할 수 있습니다. 예를 들어 DataBrew 작업에서 실패한 모든 검증과 일치하는 이벤트 패턴은 다음과 같습니다.

{
  "source": ["aws.databrew"],
  "detail-type": ["DataBrew Ruleset Validation Result"],
  "detail": {
   "validationState": ["FAILED"]
  }
}

규칙 세트를 생성하고 규칙을 검증하는 예제는 섹션을 참조하세요데이터 품질 규칙을 사용하여 규칙 세트 생성. DataBrew에서 CloudWatch 이벤트 작업에 대한 자세한 내용은 섹션을 참조하세요. CloudWatch Events를 사용하여 DataBrew 자동화

검증 결과 검사 및 데이터 품질 규칙 업데이트

프로필 작업이 완료되면 데이터 품질 규칙에 대한 검증 결과를 보고 필요에 따라 규칙을 업데이트할 수 있습니다.

검증에 실패한 규칙의 경우 필요한 수정을 수행할 수 있습니다.