改进 Hive 性能 - Amazon EMR

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

改进 Hive 性能

Amazon EMR 提供一些功能,有助于优化使用 Hive 查询、读取和写入保存在 Amazon S3 中的数据的性能。

S3 Select 可通过将处理“向下推送”到 Amazon S3 来提高某些应用程序中 CSV 和 JSON 文件的查询性能。

EMRFS S3 优化的提交器是该OutputCommitter类的替代方案,它消除了列出和重命名操作,从而提高了使用 EMRFS 写入 Amazon S3 文件时的性能。