일정에 따라 열 통계 생성
다음 단계에 따라 AWS Glue 콘솔, AWS CLI 또는 CreateColumnStatisticsTaskSettings 작업을 실행하여 AWS Glue Data Catalog에서 열 통계를 생성하는 일정을 구성합니다.
- Console
-
콘솔을 사용하여 열 통계를 생성하는 방법
-
AWS Glue 콘솔(https://console.aws.amazon.com/glue/
)에 로그인합니다. -
데이터 카탈로그 테이블을 선택합니다.
-
목록에서 테이블을 선택합니다.
-
테이블 페이지의 하단 섹션에서 열 통계 탭을 선택하세요.
-
작업의 열 통계에서 일정에 따라 생성을 선택할 수도 있습니다.
-
일정에 따라 통계 생성 페이지에서 빈도 및 시작 시간을 선택하여 열 통계 태스크를 실행하는 반복 일정을 구성하세요. 빈도를 시간별, 일별, 주별로 선택하거나 cron 표현식을 정의하여 일정을 지정할 수 있습니다.
cron 표현식은 일정 패턴을 나타내는 문자열로, * * * <minute> <hour><day of month> <month> <day of week> <year>처럼 공백으로 구분된 6개 필드로 구성됩니다. 예를 들어 매일 자정에 태스크를 실행하는 경우 cron 표현식은 0 0 * * ? *입니다.
자세한 내용은 cron 표현식 섹션을 참조하세요.
그런 다음 열 옵션을 선택하여 통계를 생성하세요.
-
모든 열 - 표의 모든 열에 대한 통계를 생성하려면 이 옵션을 선택합니다.
-
선택한 열 - 특정 열에 대한 통계를 생성하려면 이 옵션을 선택합니다. 드롭다운 목록에서 를 선택합니다.
-
IAM 역할을 선택하거나 통계를 생성할 권한이 있는 기존 역할을 생성하세요. AWS Glue에서 이 역할을 수임하여 열 통계를 생성합니다.
더 빠른 접근 방식은 AWS Glue 콘솔에서 자동으로 역할을 생성하는 것입니다. 생성하는 역할은 특히 열 통계 생성을 위한 것이며
AWSGlueServiceRole
AWS 관리형 정책과 지정된 데이터 소스에 필요한 인라인 정책을 포함합니다.열 통계 생성에 대한 기존 역할을 지정하는 경우
AWSGlueServiceRole
정책 또는 이에 상응하는 것(또는 이 정책의 범위가 축소된 버전)과 필수 인라인 정책이 포함되어 있는지 확인합니다.-
(선택 사항) 다음으로 로그에 대해 저장 중 암호화를 활성화하는 보안 구성을 선택합니다.
-
(선택 사항) 테이블에서 특정 비율의 행만 표시하여 통계를 생성함으로써 샘플 크기를 선택할 수 있습니다. 기본값은 모든 행입니다. 위쪽 및 아래쪽 화살표를 사용하여 백분율 값을 늘리거나 줄입니다.
정확한 통계를 계산하려면 표에 모든 행을 포함하는 것이 좋습니다. 대략적인 값이 허용되는 경우에만 샘플 행을 사용하여 열 통계를 생성하십시오.
-
통계 생성을 선택하여 열 통계 생성 태스크를 실행하세요.
-
- AWS CLI
-
다음 AWS CLI 예제를 사용하여 열 통계 생성 일정을 생성할 수 있습니다. database-name, table-name, role은 필수 파라미터이며 schedule, column-name-list, catalog-id, sample-size, security-configuration은 선택적 파라미터입니다.
aws glue create-column-statistics-task-settings \ --database-name '
database_name
' \ --table-nametable_name
\ --role 'arn:aws:iam::123456789012
:role/stats-role
' \ --schedule 'cron(0 0-5 14 * * ?)
' \ --column-name-list 'col-1
' \ --catalog-id '123456789012
' \ --sample-size '10.0
' \ --security-configuration 'test-security
'StartColumnStatisticsTaskRun 작업을 호출하여 열 통계를 생성해도 됩니다.