ColumnDataType
지정된 열의 값을 Apache Spark에서 제공된 유형으로 캐스팅할 수 있는지 여부를 확인합니다. with threshold 식을 수락하여 열에 있는 값의 하위 세트를 확인합니다.
구문
ColumnDataType<COL_NAME>=<EXPECTED_TYPE>
COL_NAME - 데이터 품질 규칙을 평가할 열의 이름입니다.
지원되는 열 유형: 문자열 유형
지원되는 열 유형: Byte, Decimal, Double, Float, Integer, Long, Short
EXPECTED_TYPE - 열에 있는 값의 예상 유형입니다.
지원되는 값: Boolean, Date, Timestamp, Integer, Double, Float, Long
지원되는 열 유형: Byte, Decimal, Double, Float, Integer, Long, Short
EXPRESSION - 예상 유형이어야 하는 값의 백분율을 지정하는 선택적 표현식입니다.
지원되는 열 유형: Byte, Decimal, Double, Float, Integer, Long, Short
예: 열 데이터 형식 정수 역할의 문자열
다음 예제 규칙은 문자열 유형인 지정된 열의 값을 정수로 캐스팅할 수 있는지 여부를 확인합니다.
ColumnDataType "colA" = "INTEGER"
예: 열 데이터 형식 정수 역할의 문자열에서 값의 하위 세트 확인
다음 예제 규칙은 문자열 유형인 지정된 열의 값 중 90%를 정수로 캐스팅할 수 있는지 여부를 확인합니다.
ColumnDataType "colA" = "INTEGER" with threshold > 0.9
