View a markdown version of this page

Amazon EMR 7.6.0 - Hive 릴리스 정보 - Amazon EMR
Hive 변경 사항

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

Amazon EMR 7.6.0 - Hive 릴리스 정보

Amazon EMR 7.6.0 - Hive 변경 사항

Type 설명

개선 사항

ORC 비 ACID 분할 테이블에 대한 빠른 S3 접두사 나열 기능 추가

기능

S3AFileSystem에서 Hive 쓰기 쿼리를 위한 매직 커미터에 대한 지원 추가

알려진 문제

  • Amazon S3 Express One Zone을 출력 위치로 사용하는 Hive 삽입 덮어쓰기 쿼리의 경우 코어 사이트 구성: fs.s3a.directory.operations.purge.uploads를 false로 설정합니다.

Amazon EMR 7.6.0 - 새 구성

분류 이름 기본값 설명

hive-site

hive.exec.fast.s3.partition.discovery.enabled

true

분할 계산에 빠른 S3 파티션 검색을 사용할지 여부입니다. 이 작업을 수행하면 지원되는 파일 형식인 ORC에 대한 접두사 기반 목록이 활성화됩니다. 참고: 이 기능은 S3 Express One Zone 스토리지 클래스에서 지원되지 않는 S3 API 파라미터를 사용합니다. 이 기능을 사용할 때는 이 기능을 비활성화합니다.

hive-site

hive.exec.fast.s3.partition.discovery.max.thread.threshold

128

빠른 S3 파티션 검색을 위한 최대 병렬 처리 정도입니다.

hive-site

hive.exec.fast.s3.partition.discovery.parallelism

10

빠른 S3 파티션 검색의 단일 실행의 병렬 처리 정도입니다. 이 구성은 hive.exec.fast.s3.partition.discovery.enabled가 true로 설정된 경우에만 적용됩니다.

hive-site

hive.blobstore.output-committer.magic.track.commits.in.memory.enabled

true

Hive를 사용하는 매직 커미터가 메모리에서 보류 중인 모든 커밋을 추적해야 합니까?를 전환하는 플래그입니다. Magic 커미터에는 커밋 데이터를 메모리에 저장하는 옵션이 있어 S3 직접 호출을 줄여 TaskCommit 작업 속도를 높일 수 있습니다. 이 구성은 Hadoop 구성을 재정의합니다. fs.s3a.committer.magic.track.commits.in.memory.enabled

hive-site

hive.blobstore.output-committer.dp.skip.task.staging.dir.creation

true

전환할 플래그 매직 커미터가 blobstore에서 dp 스테이징 경로를 생성해야 합니까? 이 플래그는 Hive가 hive.blobstore.output-committer.magic.track.commits.in.memory.enabled을(를) 통해 Magic Committer를 사용할 때 메모리에서 커밋을 추적하는 경우에만 적용됩니다. 기본적으로 true로 설정되지만 hive.blobstore.output-committer.magic.track.commits.in.memory.enabled가 활성화되어 있고 blobstore에 작업 생성 시도 경로의 추가 S3 호출을 저장하는 경우에만 적용됩니다.

hive-site

hive.blobstore.output-committer.magic.disable.fs.cache.for.llap

true

Magic Committer를 사용할 때 LLAP의 쓰기 흐름에서 blobstore FS 캐시를 비활성화해야 하는지 여부를 전환하는 플래그입니다. LLAP가 활성화되면 이 플래그가 표시되고 기본적으로 true로 설정됩니다.